AGI Hunt· smflx·· 4 小时前AI 评分72
tandem.cpp 让单张 RTX 4090 跑 Qwen3.8-Flash-Next 达到 97.3 tok/s
tandem.cpp 让单张 4090 跑 Qwen3.8-Flash-Next 达 97 tok/s,3.3 倍于 llama.cpp
AI 导读
独立开发者发布 llama.cpp 补丁集 tandem.cpp,通过让高频 MoE 专家驻留 GPU、其余专家交由 CPU 协同,提升单用户解码速度。在 i5-12400F、64GB DDR4 和 RTX 4090 上,Qwen3.8-Flash-Next IQ3S + MTP 的 GSM8K 解码速度从 29.8 提升至 97.3 tok/s。
来源:AGI Hunt · agihunt.info