华为诺亚提出 LowRAM：注意力头内摊销 Value 实现 4 倍 KV 压缩

华为诺亚伦敦实验室与 UCL 提出 LowRAM，利用每个注意力头内 value 大部分可由对应 key 预测的特性，实现 4 倍近无损 value 压缩。该方法通过轻量 per-head 预测器仅重建最差 token 的残差，并可结合 meta-learning、跨层低秩 key 压缩、量化和 eviction，提升解码吞吐且兼容现有后训练压缩手段。