tandem.cpp 加速单卡 MoE 解码
热点事件持续更新
tandem.cpp 加速单卡 MoE 解码
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
独立开发者发布 llama.cpp 补丁集 tandem.cpp，通过让高频 MoE 专家驻留 GPU、其余专家交由 CPU 协同，提升单用户解码速度。在 i5-12400F、64GB DDR4 和 RTX 4090 上，运行 Qwen3.8-Flash-Next IQ3S 并启用 MTP 时，GSM8K 解码速度从 29.8 提升至 97.3 tok/s。 该项目针对 Qwen3.8 调优效果最佳，也兼容 llama.cpp 支持的其他 MoE 模型；它由个人独立开发，并非 ggml-org 官方项目。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 04:23
tandem.cpp 让单张 RTX 4090 跑 Qwen3.8-Flash-Next 达到 97.3 tok/s报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- AGI Hunttandem.cpp 让单张 RTX 4090 跑 Qwen3.8-Flash-Next 达到 97.3 tok/s
独立开发者发布 llama.cpp 补丁集 tandem.cpp，通过让高频 MoE 专家驻留 GPU、其余专家交由 CPU 协同，提升单用户解码速度。在 i5-12400F、64GB DDR4 和 RTX 4090 上，Qwen3.8-Flash-Next IQ3S + MTP 的 GSM8K 解码速度从 29.8 提升至 97.3 tok/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。