Raon-1-mini本地推理提速至232 tok/s
热点事件持续更新
Raon-1-mini本地推理提速至232 tok/s
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户 McNiiby 公开并开源 KRAFTON Raon-1-mini-preview 的本地推理调优方案，称其使用 RTX 5070 Ti 16GB 显卡将解码速度从 50 提升至 232 tok/s，量化模型质量与原 Q4KM 基本持平。 方案包括 IQ3KS GGUF 量化模型和 ikllama.cpp 优化分支。因 IK4KS 模型占 16.3GB、无法装入 16GB 显卡，作者改用可全驻 GPU 的 IQ3KS，并通过 KLD 对比各量化版本与原模型的分布差异；相关模型、代码及编译运行说明已发布在 Hugging Face 和 GitHub。
AI 根据报道生成 · 1 小时前更新
最新进展10月29日 10:05
Raon-1-mini-preview 在 16GB 显卡上的调优记录：解码速度从 50 提至 232 tok/s报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntRaon-1-mini-preview 在 16GB 显卡上的调优记录：解码速度从 50 提至 232 tok/s
一位 Reddit 用户仅用 RTX 5070 Ti，将 KRAFTON 的 Raon-1-mini-preview 解码速度从 50 tok/s 提升至 232 tok/s，质量与原始 Q4KM 量化基本持平。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。