研究发现 token embedding 对 value 贡献有限
热点事件持续更新
研究发现 token embedding 对 value 贡献有限
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Muyu He 的研究显示，标准 Transformer 中，token embedding 在各层 value 矩阵 Wv 的输入方向上都有异常大的投影，但按投影后平方范数衡量，其对 value 向量的实际贡献很小。研究基于 780M 模型，对各注意力头的 Wv、Wq、Wk 进行奇异值分解并测量各层输出；Q、K 对层级没有明显偏好。 这一结果与 arXiv:2606.02780 通过消融实验和验证损失得到的结论相互印证，表明“受到 Wv 强烈偏好”并不等于“对 value 向量贡献显著”。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 15:44
研究发现 token embedding 在 Transformer value 向量中的投影远超表象报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- AGI Hunt研究发现 token embedding 在 Transformer value 向量中的投影远超表象
研究揭示，标准 Transformer 的 token embedding 虽在所有层的 Wv 上呈现异常大投影，其对 value 向量的实际贡献却很小。基于 780M 模型各层 Wv/Wq/Wk 的奇异值分解与投影测量，该发现与 arXiv:2606.02780 论文基于消融和验证损失的结论相互印证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。