跳到正文
AGI Hunt· LucaAmb·· 2 小时前AI 评分46

Uno 论文:用 AR 权重校验扩散草稿,实现 LLM 无损加速

Uno 论文:AR 权重校验扩散草稿,实现无损加速 LLM 推理

AI 导读

Uno 论文提出结合扩散式并行生成与自回归 LLM 的方法,以 Diffusion 权重一次草拟整块 token,并由未改动的 AR 权重校验。其速度超过 DFlash、EAGLE-3 等投机解码方法,质量优于 Mercury 2、Diffusion Gemma、Llada。该方法可直接构建在 Qwen3-8B 等开源模型之上。

来源:AGI Hunt · agihunt.info