AGI Hunt· bclavie·· 2 小时前AI 评分38
Zyphra 发布 Zyphra FlashAttention(ZYFA):AMD MI355X 上 FP8 注意力吞吐达 AITER 1.16–1.76 倍
Zyphra 发布 ZYFA:AMD MI355X 上 FP8 注意力吞吐达 AITER 1.16-1.76 倍
AI 导读
Zyphra 发布 Zyphra FlashAttention(ZYFA),提供面向 AMD MI355X 的 FP8 注意力实现。在真实模型输入、16K token 和持续负载条件下,其 prefill 内核吞吐量达到 AMD 官方推理内核库 AITER 的 1.16–1.76 倍。
来源:AGI Hunt · agihunt.info