KV 共享机制解析：60 层模型仅保留 21% KV cache，loss 反而更低

X 用户 huskydogewoof 对 KV 共享论文进行分析，指出在 AdamW + FineWeb 且无深度专属技巧的设定下，60 层模型仅保留 21% 的 KV cache，loss 还低 0.039 nats，且增益可迁移至非循环模型。其推测这源于 pre-LN 架构的“深度诅咒”，但若 detach 共享 cache 的梯度，增益便会消失。