Swift微调模型移植hipfire提速
热点事件持续更新
Swift微调模型移植hipfire提速
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Queasy_Asparagus69将Qwen3.8-27B的Swift-1.5微调版量化为hipfire的MQ4格式,并捆绑MTP头进行投机解码;在AMD RX 7900 XT上,端到端速度较Q4KS GGUF提升2.24倍,16K上下文prefill约1100 tok/s,真实提示解码36.5 tok/s,6个Rust编码任务耗时237秒,对比为530秒。 该方案需hipfire运行时v0.4.2.1及以上,llama.cpp无法加载其.mq4文件,目前仅在gfx1100/7900 XT验证。62K上下文带MTP、124K不带MTP已验证可卸载至内存,但解码速度降至16–31 tok/s。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 06:17
Swift-1.5-Qwen3.8-27B 移植 hipfire:RX 7900 XT 端到端快 2.2 倍报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- AGI HuntSwift-1.5-Qwen3.8-27B 移植 hipfire:RX 7900 XT 端到端快 2.2 倍
Swift-1.5-Qwen3.8-27B 移植 hipfire,在 RX 7900 XT 端到端提速 2.24 倍。16K 上下文 prefill 约 1100 tok/s、真实 prompt 解码 36.5 tok/s;6 个 Rust 编码任务耗时 237 秒,对比 Q4KS GGUF 的 530 秒。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。