跳到正文
AGI Hunt· ying11231·· 1 小时前AI 评分58

SGLang Day-0 支持 Kimi K3.1 Pro,单卡吞吐最高 33.7K tok/s

SGLang Day-0 支持 Kimi K3.1 Pro:单卡 33.7K tok/s,稀疏注意力更省

AI 导读

SGLang 宣布 Day-0 支持 Kimi K3.1 Pro,并通过稀疏注意力 DSA 替代稠密 MLA,以提升服务效率和部署便利性。其在 AgentX、GB300 环境下单卡吞吐最高达 33.7K tok/s,DFlash2 与 MegaKernel 组合下单用户速度为 450 tok/s。

来源:AGI Hunt · agihunt.info