mlpowered论证残差态可编码远期预测信息

mlpowered补充称，训练中下一 token 的预测误差梯度会经注意力机制回传至此前多个残差态，使这些状态在相隔许多 token 的预测中仍可被更新。他援引多篇论文作为实证支持，以反驳“最后 token 的残差态只为下一 token 优化”的观点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。