AGI Hunt· its_vayishu·· 3 小时前AI 评分27
变分线性注意力 VLA:用固定大小记忆替代无限增长的注意力缓存
AI 导读
Metriqual 团队发布 Variational Linear Attention(VLA)研究论文,探索用固定大小的联想记忆缓解长对话中注意力缓存无限增长的问题。该方法预测 value、计算误差,并通过自适应矩阵塑造下一次记忆更新,以减少已存关联之间的干扰。作者指出,处理虽可持续进行,但有限记忆无法保证完美召回。
来源:AGI Hunt · agihunt.info