研究发现 token embedding 在 Transformer value 向量中的投影远超表象

研究揭示，标准 Transformer 的 token embedding 虽在所有层的 Wv 上呈现异常大投影，其对 value 向量的实际贡献却很小。基于 780M 模型各层 Wv/Wq/Wk 的奇异值分解与投影测量，该发现与 arXiv:2606.02780 论文基于消融和验证损失的结论相互印证。