AGI Hunt· scaling01·· 4 小时前AI 评分44
英伟达 Rubin NVL72 运行 Kimi K3,每用户吞吐达 850 tokens/s
英伟达 Rubin NVL72 跑 Kimi K3 达每用户 850 tokens/s
AI 导读
英伟达基于 Rubin NVL72 提交了首个 Kimi K2.5/K3 推理方案,2.8 万亿参数模型实现每用户超过 850 tokens/s,vLLM 吞吐提升 3 倍以上。Rubin Software 1.0 GA 即将推出。
来源:AGI Hunt · agihunt.info