跳到正文
AGI Hunt· kastnerkyle·· 3 小时前AI 评分43

arXiv 论文统一层循环与深度增长:推理时循环使部分推理原语准确率最高提升至 2 倍

arXiv 论文统一层循环与深度增长:推理时循环使部分推理原语准确率提升至 2 倍

AI 导读

arXiv 论文《From Growing to Looping: A Unified View of Iterative Computation in LLMs》将层循环与深度增长统一解释为迭代计算机制,并发现二者可以组合。对深度增长模型施加推理时循环,即使模型从未经过循环训练,部分推理原语准确率最高提升至 2 倍;高质量、数学密集的 cooldown 数据混合可带来最大推理收益。

来源:AGI Hunt · agihunt.info