跳到正文
热点事件持续更新

NVIDIA发布NarrowSpec窄草稿解码研究

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

NVIDIA发布NarrowSpec研究,提出并测试让投机解码的草稿模型不再继承目标模型隐藏宽度:在DFlash、EAGLE-3测试中,残差流压缩至一半或四分之一后,接受率基本不变,端到端解码最高加速1.44倍。 在B200与DGX Spark、Qwen3-8B(NVFP4)和GPT-OSS-20B(MXFP4)、SGLang环境下,batch为1、temperature为0时,B200加速1.06—1.12倍,DGX Spark加速1.13—1.44倍;batch为32至单卡最大batch时最高加速1.21倍,测试中的窄草稿均未慢于全宽草稿。

AI 根据报道生成 · 4 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    NVIDIA 发布 NarrowSpec 研究,窄草稿模型最高加速解码 1.44 倍

    NVIDIA 发布 NarrowSpec 研究,提出投机解码中的草稿模型无需继承目标模型隐藏宽度,可将残差流压缩到一半甚至四分之一并保持接受率基本不变。在 DFlash、EAGLE-3、Qwen3-8B 和 GPT-OSS-20B 的实测中,基于 B200 与 DGX Spark、运行于 SGLang 的端到端解码最高加速 1.44 倍。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月20日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。