跳到正文
AGI Hunt· UIUC-CS·· 2 小时前AI 评分48

LoopFill:免训练投机解码加速 Looped Transformer 推理

LoopFill 无训练投机解码加速 Looped Transformer 推理

AI 导读

UIUC 团队发布免训练投机解码算法 LoopFill,通过合并多 token 后缀草稿与浅循环预测,并用全深度验证加速 Looped Transformer 推理,同时保持自回归输出分布不变。在 Ouro-2.6B 的 T=4 循环中,一次循环后的 top-1 token 与全深度贪心 token 一致率达 88.8%,两次循环后达 95.6%。

来源:AGI Hunt · agihunt.info