研究称注意力电路在训练初期定型，最终模式接近随机选择

一项预训练研究发现，注意力电路在训练早期便停止明显演化，不同初始化形成的最终模式差异较大。研究指出，既有注意力权重会在反向传播中过滤弱关注的键，形成某些键的注意力持续增强的反馈机制。团队还构建了识别弱关注键的 oracle，并提出自然梯度方法，但该方法扩大注意力模式的同时提高了验证损失。