AGI Hunt· azterizm·· 2 小时前AI 评分56
Apple M4 实测层内投机解码:猜测 token 准确率不足导致速度下降
Apple M4 实测「层内投机解码」:猜 token 太难,反慢 14%
AI 导读
作者在 MacBook Air M4 上用 MLX 测试 Qwen3 0.6B、1.7B 和 4B 的层内投机解码变体,发现每层多跑一个 token 仅增加 2–11% 时间,但猜测正确率约 1/3,协调开销使 4B 模型整体比原版 mlx-lm 慢约 14%。
来源:AGI Hunt · agihunt.info