跳到正文
AGI Hunt· smflx·· 4 小时前AI 评分72

tandem.cpp 让单张 RTX 4090 跑 Qwen3.8-Flash-Next 达到 97.3 tok/s

tandem.cpp 让单张 4090 跑 Qwen3.8-Flash-Next 达 97 tok/s,3.3 倍于 llama.cpp

AI 导读

独立开发者发布 llama.cpp 补丁集 tandem.cpp,通过让高频 MoE 专家驻留 GPU、其余专家交由 CPU 协同,提升单用户解码速度。在 i5-12400F、64GB DDR4 和 RTX 4090 上,Qwen3.8-Flash-Next IQ3S + MTP 的 GSM8K 解码速度从 29.8 提升至 97.3 tok/s。

来源:AGI Hunt · agihunt.info