Strix Halo实现INT4量化加速Gemma 4
热点事件持续更新
Strix Halo实现INT4量化加速Gemma 4
1 篇报道1 个报道来源40 分钟前更新
先了解这件事
AI 综述
No-Dragonfly6246在AMD Strix Halo上编写int4×int4 WMMA GEMM内核,以INT4权重和激活运行Gemma 4 31B,使单流解码速度从llama.cpp的11.0提升至24.4 tok/s,约为2.43倍。 测试使用31B QAT Q40、2K提示词:在Ryzen AI Max+ 395上,pp512和pp2048预填充速度分别为679和724 tok/s,对比llama.cpp的287和276 tok/s。开发者通过旋转、GPTQ及选择性混合精度保持精度;全量测试中,GSM8K为96.4对96.2、IFEval为91.7对92.2、MMLU-Pro均为85.1。
AI 根据报道生成 · 14 分钟前更新
最新进展11月17日 18:08
AMD Strix Halo 借助 int4×int4 WMMA 将 Gemma 4 31B 推理提速 2.43 倍报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntAMD Strix Halo 借助 int4×int4 WMMA 将 Gemma 4 31B 推理提速 2.43 倍
No-Dragonfly6246 在 AMD Strix Halo 上自写 GEMM 内核,以 int4 权重和 int4 激活运行 Gemma 4,并通过旋转、GPTQ 和选择性混合精度保持结果精度。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。