KV共享机制解析与梯度作用
热点事件持续更新
KV共享机制解析与梯度作用
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
X 用户 huskydogewoof 分析一篇 KV 共享论文后称，在 AdamW、FineWeb 数据集且不使用深度专属技巧的设定下，60 层模型仅保留 21% 的 KV cache，loss 反而低 0.039 nats，增益也可迁移至非循环模型。 他推测，这源于 pre-LN 架构的“深度诅咒”：深层输入变化较小，键值与浅层存在冗余，而共享缓存消除了部分冗余。若将共享 cache 的梯度分离，训练增益便会消失，因此共享缓存之间的梯度传递可能是效果来源。
AI 根据报道生成 · 2 小时前更新
最新进展10月24日 22:20
KV 共享机制解析：60 层模型仅保留 21% KV cache，loss 反而更低报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- AGI HuntKV 共享机制解析：60 层模型仅保留 21% KV cache，loss 反而更低
X 用户 huskydogewoof 对 KV 共享论文进行分析，指出在 AdamW + FineWeb 且无深度专属技巧的设定下，60 层模型仅保留 21% 的 KV cache，loss 还低 0.039 nats，且增益可迁移至非循环模型。其推测这源于 pre-LN 架构的“深度诅咒”，但若 detach 共享 cache 的梯度，增益便会消失。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。