RDNA3定制llama.cpp加速27B模型推理
热点事件持续更新
RDNA3定制llama.cpp加速27B模型推理
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
开发者 Jebbyk1 公开了一套针对 RDNA3 优化的社区 llama.cpp fork 配置，使 RX 7900 XTX 在运行 Qwen3.8-27B Q4KM 时，解码速度达到约 97–110 tok/s，代码输出场景最高约 130–150 tok/s。其称主观上未观察到质量损失，但该效果属于个人实测评价。 方案使用 DFlash 草稿模型投机解码、q80 KV cache、flash-attn 和 Resizable BAR，并将桌面 UI 交由核显运行，以将约 21–22GB 显存尽量留给模型；这些结果仅对应 RX 7900 XTX 和上述模型、量化及配置。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AGI HuntRDNA3 定制 llama.cpp fork 让 RX 7900 XTX 推理 Qwen3.8-27B 达到约 100 tok/s
作者使用社区针对 RDNA3 优化的 llama.cpp fork，在 RX 7900 XTX 上运行 Qwen3.8-27B Q4KM，推理速度达到 90-100 tok/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。