NVIDIA 发布硬件导向的 AutoCompress 框架
热点事件持续更新
NVIDIA 发布硬件导向的 AutoCompress 框架
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
NVIDIA 发布 AutoCompress 框架，将延迟、吞吐和内存约束纳入大语言模型的可微架构搜索，并通过推理引擎成本模型优化全局及逐层结构，生成适配不同硬件的异构架构模型。 据 NVIDIA 披露，相比 Minitron 剪枝框架，AutoCompress 在 RTX 5070、RTX 5080 和 H100 的八项基准测试中，平均精度分别提升 6.57、2.35 和 0.57 个百分点；其将 Nemotron 3.5 Super 从 120B 参数压缩至 74B 后，可在单张 B200 上以 BF16 服务 128K 上下文，并保留 95% 的平均基准分数。
AI 根据报道生成 · 2 小时前更新
最新进展11月9日 16:17
NVIDIA 发布 AutoCompress 框架，按硬件约束压缩 LLM报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- AGI HuntNVIDIA 发布 AutoCompress 框架，按硬件约束压缩 LLM
NVIDIA 发布硬件导向的 AutoCompress LLM 压缩框架，将延迟、吞吐和内存约束纳入可微架构搜索。相较 Minitron 剪枝框架，该框架在 RTX 5070、RTX 5080 和 H100 的八项基准上，平均精度分别提升 6.57、2.35 和 0.57 个百分点。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。