M4实测层内投机解码反而降速
热点事件持续更新
M4实测层内投机解码反而降速
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
azterizm 在 MacBook Air M4 上用 MLX 实测并开源一种层内投机解码变体,应用于 Qwen3 0.6B、1.7B 和 4B 模型。其每层多生成一个 token 仅增加约 2%–11% 的耗时,但猜测准确率约为三分之一,额外协调开销最终使 4B 模型生成速度比原版 mlx-lm 慢约 14%。
AI 根据报道生成 · 2 小时前更新
最新进展11月17日 11:41
Apple M4 实测层内投机解码:猜测 token 准确率不足导致速度下降报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntApple M4 实测层内投机解码:猜测 token 准确率不足导致速度下降
作者在 MacBook Air M4 上用 MLX 测试 Qwen3 0.6B、1.7B 和 4B 的层内投机解码变体,发现每层多跑一个 token 仅增加 2–11% 时间,但猜测正确率约 1/3,协调开销使 4B 模型整体比原版 mlx-lm 慢约 14%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。