Titans小型实验显示错误记忆难以完全复原

Reddit 用户 pardhu-- 通过视觉化讲解和小型合成实验分析 Google Titans，发现模型在推理时更新神经记忆并学到错误信息后，即使纠正输入，记忆召回虽有所改善，却无法完全恢复到未受污染的状态。该结论来自个人实验，并非 Google 官方验证。 Titans 将处理当前窗口细节的固定参数注意力，与把早期信息压缩进可变权重、在使用中持续学习的神经记忆结合；实验指出，这类错误记忆的残留可能难以仅靠后续纠正消除。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。