AGI Hunt· InternalMode8159·· 3 小时前AI 评分45
本地运行大模型实测:关闭 MTP 可提升 20-30% 生成速度
本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度
AI 导读
一位长期进行本地推理测试的用户发现,在 3060 + 32GB 内存、显存或内存吃紧时,关闭 MTP 可使生成速度提升 20-30%。其实测使用 Gyrostrata/Strata 搭配 gyro-m 和 swift 1.5,建议类似硬件条件下的用户尝试关闭默认开启的 MTP。
来源:AGI Hunt · agihunt.info