MLX合入多项推理优化
热点事件持续更新
MLX合入多项推理优化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Apple 的 MLX 近期合入一批内核与推理优化，覆盖滑动窗口注意力、批量解码、小提示词 prefill 和量化计算。MLX 主要贡献者 zcbenz 称，批量解码速度提升约 2～3 倍，部分模型的小提示词 prefill 提速近 2 倍，较老 Mac 的 prefill 也提速约 1.4 倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 10:09
Apple MLX 合并多项内核与推理优化，加速批量解码与 prefill报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntApple MLX 合并多项内核与推理优化，加速批量解码与 prefill
MLX 近期合并多项内核与推理优化，涵盖滑动窗口 attention、批量解码、小 prompt prefill 和量化计算。文中称批量解码提速约 2~3 倍，部分模型的小 prompt prefill 提速近 2 倍，老 Mac prefill 提速 1.4 倍；作者建议通过 MLX commit 历史查看更多未列出的改动。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。