跳到正文
AGI Hunt· woct0rdho·· 2 小时前AI 评分61

FeatherAttn在Strix Halo上优化注意力反向传播,速度最高提升4倍

FeatherAttn:Strix Halo 上注意力反向传播比 FlashAttn 快 4 倍

AI 导读

开发者woct0rdho发布开源项目FeatherAttn,针对AMD RDNA3/3.5 GPU优化注意力反向传播kernel。其流水线设计在head dim 128时比FlashAttn快4倍、head dim 64时快1.3倍,实测让Anima LoRA训练提速40%。

来源:AGI Hunt · agihunt.info