AGI Hunt· bookwormengr·· 3 小时前AI 评分47
GB300 单托盘运行 DeepSeek Flash:SGLang 实现近 1000 tok/s,百万 token 仅 7 美分
GB300 单托盘跑 DeepSeek Flash:每用户近 1000 tok/s,百万 token 仅 7 美分
AI 导读
SGLang 在 NVIDIA GB300 NVL72 上通过激进融合 kernel 运行 DeepSeek Flash v4.1,单个 NVL72 托盘即可实现每用户接近 1000 tok/s 的交互速度。按 TCO 折算,1 美元可产出 1300 万 token,即每百万 token 约 7 美分;TileRT 正推动 OSS 前沿模型采用 megakernel 引擎。
来源:AGI Hunt · agihunt.info