跳到正文
AGI Hunt· Queasy_Asparagus69·· 3 小时前AI 评分56

Raon-1-mini 原生移植实测与 hipfire 优化补丁

Raon-1-mini 原生移植实测:prefill 慢 200 倍,作者开源补丁求优化

AI 导读

开发者将 KRAFTON 的 Raon-1-mini-preview 移植为 hipfire 原生 MQ4 量化,并开源了可复现补丁与 kernel 文件。实测显示,hipfire 的 prefill 速度为 12.6 t/s,较官方 GGUF 的 2,055 t/s 慢约 200 倍,decode 也慢约 10 倍,但文件小 1.29 GB。

来源:AGI Hunt · agihunt.info