华为诺亚与UCL提出LowRAM压缩方法
热点事件持续更新
华为诺亚与UCL提出LowRAM压缩方法
1 篇报道1 个报道来源33 分钟前更新
先了解这件事
AI 综述
华为诺亚伦敦实验室与UCL提出LowRAM，通过预测每个注意力头内可由对应Key推导的Value，并仅重建误差最大的Token残差，实现最高4倍、近无损的Value压缩，从而缩小KV Cache并提升解码吞吐。 该方法可结合元学习、跨层低秩Key压缩、量化和Token淘汰，并兼容现有后训练压缩手段。论文将其定位为与现有KV Cache压缩互补的新路径。
AI 根据报道生成 · 20 分钟前更新
最新进展11月9日 22:17
华为诺亚提出 LowRAM：注意力头内摊销 Value 实现 4 倍 KV 压缩报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- AGI Hunt华为诺亚提出 LowRAM：注意力头内摊销 Value 实现 4 倍 KV 压缩
华为诺亚伦敦实验室与 UCL 提出 LowRAM，利用每个注意力头内 value 大部分可由对应 key 预测的特性，实现 4 倍近无损 value 压缩。该方法通过轻量 per-head 预测器仅重建最差 token 的残差，并可结合 meta-learning、跨层低秩 key 压缩、量化和 eviction，提升解码吞吐且兼容现有后训练压缩手段。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。