跳到正文
AGI Hunt· No-Dragonfly6246·· 52 分钟前AI 评分68

AMD Strix Halo 借助 int4×int4 WMMA 将 Gemma 4 31B 推理提速 2.43 倍

AMD Strix Halo 实现 int4×int4 WMMA,Gemma 4 31B 推理提速 2.43 倍且精度持平

AI 导读

No-Dragonfly6246 在 AMD Strix Halo 上自写 GEMM 内核,以 int4 权重和 int4 激活运行 Gemma 4,并通过旋转、GPTQ 和选择性混合精度保持结果精度。

来源:AGI Hunt · agihunt.info