本地推理实测：关闭MTP可提速20-30%

一位长期做本地大模型推理测试的用户称，在 3060 显卡加 32GB 内存、显存或内存吃紧的环境下，关闭默认开启的 MTP（多 token 预测）可让生成速度提升 20-30%。 其实测配置为 Gyrostrata/Strata 模型搭配 gyro-m 和 swift 1.5，仅关闭 MTP 这一项就获得上述 tok/s 提升。其给出的解释是，资源紧张时跑大参数模型，MTP 反而会拖慢性能，而不少应用把它设为默认开启，因此建议类似硬件条件的用户自行尝试关闭。 该结论来自单个用户的个人实测，适用范围限于上述硬件与资源紧张场景，是否在其他显卡或内存充裕的机器上成立，报道未提供验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。