TokenSpeed公布Kimi K3推理测试结果

LightSeek基金会发布TokenSpeed推理博客，称在完整SemiAnalysis AgentX trace上，以32张NVIDIA GB300服务Kimi K3 NVFP4时，单卡输出吞吐达到331.18 tokens/s，是标准8卡DCP8基线的1.92倍。 博客将这一表现归因于两项调度设计：共享缓存跨轮保留智能体会话历史，使prefill部署不再受会话亲和性限制；异步调度则减少准备工作和数据传输对GPU有效工作的打断。上述性能数据来自该博客公布的测试。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。