跳到正文
热点事件持续更新

论文统一层循环与深度增长机制

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Kapl、von Oswald等在arXiv论文中提出,层循环与深度增长可统一视为大语言模型的迭代计算机制,二者还能组合;对深度增长模型在推理时施加循环,即使未经循环训练,部分推理原语的准确率最高也可提升至2倍。 论文称,高质量、数学密集的 cooldown 数据混合能够带来最大的推理收益,但该结果针对特定数据与任务设置,不代表所有模型和推理任务均能获得同等提升。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月31日
  1. AGI Hunt
    arXiv 论文统一层循环与深度增长:推理时循环使部分推理原语准确率最高提升至 2 倍

    arXiv 论文《From Growing to Looping: A Unified View of Iterative Computation in LLMs》将层循环与深度增长统一解释为迭代计算机制,并发现二者可以组合。对深度增长模型施加推理时循环,即使模型从未经过循环训练,部分推理原语准确率最高提升至 2 倍;高质量、数学密集的 cooldown 数据混合可带来最大推理收益。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。