跳到正文
AGI Hunt· zhyncs42·· 2 小时前AI 评分44

TokenSpeed 在 32 张 NVIDIA GB300 上运行 Kimi K3,单卡吞吐达 331.18 tokens/s

TokenSpeed 在 32 张 GB300 上跑 Kimi K3,单卡 331 tokens/s

AI 导读

LightSeek 基金会发布 TokenSpeed 推理博客:在完整 SemiAnalysis AgentX trace 上,以 32 张 NVIDIA GB300 服务 Kimi K3 NVFP4,单 GPU 输出吞吐达 331.18 tokens/s,是标准 8 卡 DCP8 基线的 1.92 倍。

来源:AGI Hunt · agihunt.info