跳到正文
AGI Hunt· InternalMode8159·· 3 小时前AI 评分45

本地运行大模型实测:关闭 MTP 可提升 20-30% 生成速度

本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度

AI 导读

一位长期进行本地推理测试的用户发现,在 3060 + 32GB 内存、显存或内存吃紧时,关闭 MTP 可使生成速度提升 20-30%。其实测使用 Gyrostrata/Strata 搭配 gyro-m 和 swift 1.5,建议类似硬件条件下的用户尝试关闭默认开启的 MTP。

来源:AGI Hunt · agihunt.info