BeNice让循环Transformer跨递归共享KV缓存
热点事件持续更新
BeNice让循环Transformer跨递归共享KV缓存
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Cornell/IBM的Yoav Artzi团队展示BeNice方法：预训练时仅在第一次递归写入KV缓存，后续递归通过短窗口共享，从而减少循环Transformer的上下文内存占用。 在150M至1B参数规模、FineWeb-Edu数据上，LPT及混合变体进行5次递归时，相对同尺寸标准Transformer的验证困惑度降低1.12至1.82，同时节省76%至79%的上下文内存；团队称，共享缓存未造成明显质量损失，混合版还改善了模型质量。
AI 根据报道生成 · 1 小时前更新
最新进展10月24日 08:30
Cornell/IBM 新方法让循环 Transformer 跨递归共享 KV 缓存，节省 76-79% 内存报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- AGI HuntCornell/IBM 新方法让循环 Transformer 跨递归共享 KV 缓存，节省 76-79% 内存
Yoav Artzi 团队的 BeNice 方法让循环 Transformer 在递归间共享 KV 缓存，5 次递归下节省 76-79% 上下文内存。在 150M-1B 参数规模上，LPT 及混合变体在 FineWeb-Edu 上将相对验证困惑度降低 1.12-1.82，并改善模型质量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。