跳到正文
AGI Hunt· SergioPaniego·· 3 小时前AI 评分66

TRL AsyncGRPOTrainer 树注意力支持线性注意力,最高提速 3.46x

TRL AsyncGRPOTrainer 树注意力支持线性注意力,提速最高 3.46x

AI 导读

TRL 的 AsyncGRPOTrainer 已让 tree attention 支持线性注意力模型,并宣称最高提速 3.46 倍。实现改造了两个基于 FLA chunked Triton 的 state-scan 内核,使共享前缀只处理一次,各 continuation 并行执行并在反向传播时回加梯度,同时修正了 causal conv1d 层的 token 处理。

来源:AGI Hunt · agihunt.info