TRL异步GRPO训练器支持线性注意力，最高提速3.46倍
热点事件持续更新
TRL异步GRPO训练器支持线性注意力，最高提速3.46倍
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Hugging Face TRL 的 AsyncGRPOTrainer 已在 tree attention 中支持线性注意力（linear attention）模型，TRL 称相比原有实现最高提速 3.46 倍。 具体改造包括两个基于 FLA chunked Triton 的 state-scan 内核，使共享前缀只被处理一次，各 continuation 并行执行并在反向传播时回加梯度；同时修正了 causal conv1d 层的 token 处理方式。该改动面向使用线性注意力模型的异步 GRPO 训练场景，3.46 倍为项目方给出的加速上限。
AI 根据报道生成 · 1 小时前更新
最新进展10月27日 18:50
TRL AsyncGRPOTrainer 树注意力支持线性注意力，最高提速 3.46x报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- AGI HuntTRL AsyncGRPOTrainer 树注意力支持线性注意力，最高提速 3.46x
TRL 的 AsyncGRPOTrainer 已让 tree attention 支持线性注意力模型，并宣称最高提速 3.46 倍。实现改造了两个基于 FLA chunked Triton 的 state-scan 内核，使共享前缀只处理一次，各 continuation 并行执行并在反向传播时回加梯度，同时修正了 causal conv1d 层的 token 处理。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。