AGI Hunt· No-Dragonfly6246·· 52 分钟前AI 评分68
AMD Strix Halo 借助 int4×int4 WMMA 将 Gemma 4 31B 推理提速 2.43 倍
AMD Strix Halo 实现 int4×int4 WMMA,Gemma 4 31B 推理提速 2.43 倍且精度持平
AI 导读
No-Dragonfly6246 在 AMD Strix Halo 上自写 GEMM 内核,以 int4 权重和 int4 激活运行 Gemma 4,并通过旋转、GPTQ 和选择性混合精度保持结果精度。
来源:AGI Hunt · agihunt.info