跳到正文
热点事件持续更新

Strix Halo实现INT4量化加速Gemma 4

1 篇报道1 个报道来源40 分钟前更新

先了解这件事

AI 综述

No-Dragonfly6246在AMD Strix Halo上编写int4×int4 WMMA GEMM内核,以INT4权重和激活运行Gemma 4 31B,使单流解码速度从llama.cpp的11.0提升至24.4 tok/s,约为2.43倍。 测试使用31B QAT Q40、2K提示词:在Ryzen AI Max+ 395上,pp512和pp2048预填充速度分别为679和724 tok/s,对比llama.cpp的287和276 tok/s。开发者通过旋转、GPTQ及选择性混合精度保持精度;全量测试中,GSM8K为96.4对96.2、IFEval为91.7对92.2、MMLU-Pro均为85.1。

AI 根据报道生成 · 14 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    AMD Strix Halo 借助 int4×int4 WMMA 将 Gemma 4 31B 推理提速 2.43 倍

    No-Dragonfly6246 在 AMD Strix Halo 上自写 GEMM 内核,以 int4 权重和 int4 激活运行 Gemma 4,并通过旋转、GPTQ 和选择性混合精度保持结果精度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。