研究：层复制与循环结构如何让语言模型更早学会上下文学习

研究显示，3B 参数的 grown 与 looped 语言模型比同深度 dense 模型更早形成 ICL 能力，并在任意 few-shot 数量下取得更高 GSM8K 成绩。它们对未见过的形式语言预测更准，复制层会同步复制早期 induction heads，looped 模型各次 pass 也呈现重复模式。