AGI Hunt· nvidia·· 4 小时前AI 评分52
NVIDIA 发布 NarrowSpec 研究,窄草稿模型最高加速解码 1.44 倍
NVIDIA NarrowSpec:草稿模型隐藏宽度减半仍可加速 1.44 倍
AI 导读
NVIDIA 发布 NarrowSpec 研究,提出投机解码中的草稿模型无需继承目标模型隐藏宽度,可将残差流压缩到一半甚至四分之一并保持接受率基本不变。在 DFlash、EAGLE-3、Qwen3-8B 和 GPT-OSS-20B 的实测中,基于 B200 与 DGX Spark、运行于 SGLang 的端到端解码最高加速 1.44 倍。
来源:AGI Hunt · agihunt.info