AGI Hunt· SumitGup·· 3 小时前AI 评分67
调整 Apple MLX 内核参数使 M5 Max 长上下文推理最高提速 10 倍
改一个数值让 M5 Max 长上下文推理快 10 倍,MLX 内核调参翻车实录
AI 导读
Apple MLX 的一行参数修改使 M5 Max 在 60K 上下文推理中最高提速 10 倍。问题源于注意力 Metal 内核 sdpavector.h 为旧硬件配置的 TK=4,改为在合并维度超过 512 时设为 2 后,BF16 从 14.8ms 降至 1.46ms(10.1x),FP32 快 2.4x,FP16 快 1.16x。
来源:AGI Hunt · agihunt.info