研究发现注意力电路训练早期即定型

研究团队发现，模型预训练中的注意力电路在训练初期就基本定型；两次仅初始化不同的运行，到第1000步时各自已更接近自身训练至1万步的模式，而彼此最终差异仍很大。研究认为，初始注意力权重会在反向传播中过滤弱关注键，形成特定键的注意力持续增强的反馈机制。 团队还构建了识别弱关注键的 oracle，并尝试用自然梯度扩大注意力模式，但该方法在扩大模式的同时提高了验证损失，尚未形成明确改进效果。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。