跳到正文
热点事件持续更新

Swift微调模型移植hipfire提速

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Queasy_Asparagus69将Qwen3.8-27B的Swift-1.5微调版量化为hipfire的MQ4格式,并捆绑MTP头进行投机解码;在AMD RX 7900 XT上,端到端速度较Q4KS GGUF提升2.24倍,16K上下文prefill约1100 tok/s,真实提示解码36.5 tok/s,6个Rust编码任务耗时237秒,对比为530秒。 该方案需hipfire运行时v0.4.2.1及以上,llama.cpp无法加载其.mq4文件,目前仅在gfx1100/7900 XT验证。62K上下文带MTP、124K不带MTP已验证可卸载至内存,但解码速度降至16–31 tok/s。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. AGI Hunt
    Swift-1.5-Qwen3.8-27B 移植 hipfire:RX 7900 XT 端到端快 2.2 倍

    Swift-1.5-Qwen3.8-27B 移植 hipfire,在 RX 7900 XT 端到端提速 2.24 倍。16K 上下文 prefill 约 1100 tok/s、真实 prompt 解码 36.5 tok/s;6 个 Rust 编码任务耗时 237 秒,对比 Q4KS GGUF 的 530 秒。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。