层复制与循环加速上下文学习

TUM、Helmholtz AI与谷歌团队发现，在3B参数规模下，复制层 grown 和循环 looped 语言模型比同深度 dense 模型更早形成上下文学习能力，并在任意 few-shot 数量下的 GSM8K 成绩更高。 两类结构也更善于利用后置上下文，对未见过的形式语言预测更准确；当任务既可通过上下文解决、也能靠权重记忆固定标签解决时，它们更倾向依赖上下文。机制分析显示，复制层会同步复制早期的 induction heads，looped 模型在各次 pass 中也呈现重复模式。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。