T-Tech提出LIMe降低Transformer训练算力
热点事件持续更新
T-Tech提出LIMe降低Transformer训练算力
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
T-Tech团队在EMNLP 2026提出LIMe（Layer-Integrated Memory），让注意力头复用更早层的key-value表示；在约10亿参数模型上，该方法使用少15%的训练算力，达到与LLaMA基线相同的训练loss。 LIMe在语言建模和多步推理基准上超过同类方法，并改善token可分性、缓解表示坍缩，官方实现已开源。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 15:11
LIMe 方法省 15% 训练算力：让注意力头复用更早层的表示报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntLIMe 方法省 15% 训练算力：让注意力头复用更早层的表示
T-Tech 团队在 EMNLP 2026 提出 LIMe（Layer-Integrated Memory），通过让注意力头复用更早层的表示，在约 10 亿参数模型上以少 15% 的算力达到与 LLaMA 基线相同的训练 loss。该方法在语言建模和多步推理基准上超过同类方法，并改善 token 可分性、缓解表示坍缩；官方实现已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。