AGI Hunt· awnihannun·· 3 小时前AI 评分59
Apple MLX 合并多项内核与推理优化,加速批量解码与 prefill
苹果 MLX 合并多项优化:批量解码提速 2~3 倍,prefill 近 2 倍
AI 导读
MLX 近期合并多项内核与推理优化,涵盖滑动窗口 attention、批量解码、小 prompt prefill 和量化计算。文中称批量解码提速约 2~3 倍,部分模型的小 prompt prefill 提速近 2 倍,老 Mac prefill 提速 1.4 倍;作者建议通过 MLX commit 历史查看更多未列出的改动。
来源:AGI Hunt · agihunt.info