跳到正文
AGI Hunt· bclavie·· 2 小时前AI 评分38

Zyphra 发布 Zyphra FlashAttention(ZYFA):AMD MI355X 上 FP8 注意力吞吐达 AITER 1.16–1.76 倍

Zyphra 发布 ZYFA:AMD MI355X 上 FP8 注意力吞吐达 AITER 1.16-1.76 倍

AI 导读

Zyphra 发布 Zyphra FlashAttention(ZYFA),提供面向 AMD MI355X 的 FP8 注意力实现。在真实模型输入、16K token 和持续负载条件下,其 prefill 内核吞吐量达到 AMD 官方推理内核库 AITER 的 1.16–1.76 倍。

来源:AGI Hunt · agihunt.info