AGI Hunt· nvidia·· 2 小时前AI 评分53
NVIDIA 发布 AutoCompress 框架,按硬件约束压缩 LLM
NVIDIA 发布 AutoCompress:按硬件约束自动压缩 LLM,精度反超 Minitron
AI 导读
NVIDIA 发布硬件导向的 AutoCompress LLM 压缩框架,将延迟、吞吐和内存约束纳入可微架构搜索。相较 Minitron 剪枝框架,该框架在 RTX 5070、RTX 5080 和 H100 的八项基准上,平均精度分别提升 6.57、2.35 和 0.57 个百分点。
来源:AGI Hunt · agihunt.info