NVIDIA发布NarrowSpec窄草稿解码研究
热点事件持续更新
NVIDIA发布NarrowSpec窄草稿解码研究
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
NVIDIA发布NarrowSpec研究,提出并测试让投机解码的草稿模型不再继承目标模型隐藏宽度:在DFlash、EAGLE-3测试中,残差流压缩至一半或四分之一后,接受率基本不变,端到端解码最高加速1.44倍。 在B200与DGX Spark、Qwen3-8B(NVFP4)和GPT-OSS-20B(MXFP4)、SGLang环境下,batch为1、temperature为0时,B200加速1.06—1.12倍,DGX Spark加速1.13—1.44倍;batch为32至单卡最大batch时最高加速1.21倍,测试中的窄草稿均未慢于全宽草稿。
AI 根据报道生成 · 4 小时前更新
最新进展11月20日 12:17
NVIDIA 发布 NarrowSpec 研究,窄草稿模型最高加速解码 1.44 倍报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- AGI HuntNVIDIA 发布 NarrowSpec 研究,窄草稿模型最高加速解码 1.44 倍
NVIDIA 发布 NarrowSpec 研究,提出投机解码中的草稿模型无需继承目标模型隐藏宽度,可将残差流压缩到一半甚至四分之一并保持接受率基本不变。在 DFlash、EAGLE-3、Qwen3-8B 和 GPT-OSS-20B 的实测中,基于 B200 与 DGX Spark、运行于 SGLang 的端到端解码最高加速 1.44 倍。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月20日 13:00
- 近 24 小时变化
- –
02.557.510
13:0014:0015:0016:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。