AGI Hunt· LucaAmb·· 2 小时前AI 评分55
LoopUno用52分钟LoRA训练将3B模型加速至每步生成2.04个token
LoopUno:52 分钟 LoRA 训练让 3B 模型每步出 2 个 token 且无损
AI 导读
UC Riverside与Georgia Tech研究者发布LoopUno,以扩散式草稿叠加在自回归模型上进行采样加速。该方法冻结Nanbeige4.2-3B基座并训练gated LoRA,使用60步、3100万token和8×A100训练约52分钟,平均每步生成2.04个token,端到端解码提速1.47×。LoRA适配器已在Hugging Face发布,代码也已开源。
来源:AGI Hunt · agihunt.info