跳到正文
热点事件持续更新

调整 MLX 注意力内核参数提效

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

SumitGup 分析并修复了 Apple MLX 注意力 Metal 内核 sdpavector.h 中硬编码的 TK=4:当合并维度超过 512 时将其改为 2。M5 Max 在 60K 上下文实测中,BF16 耗时从 14.8 毫秒降至 1.46 毫秒,最高提速 10.1 倍;FP32 和 FP16 分别提速 2.4 倍和 1.16 倍。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    调整 Apple MLX 内核参数使 M5 Max 长上下文推理最高提速 10 倍

    Apple MLX 的一行参数修改使 M5 Max 在 60K 上下文推理中最高提速 10 倍。问题源于注意力 Metal 内核 sdpavector.h 为旧硬件配置的 TK=4,改为在合并维度超过 512 时设为 2 后,BF16 从 14.8ms 降至 1.46ms(10.1x),FP32 快 2.4x,FP16 快 1.16x。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。