AGI Hunt· AnushElangovan·· 1 小时前AI 评分49
Kimi K3.1 Pro 在 8 卡 AMD MI350X 上跑出 300 tok/s,较 K3 提速 5 倍
Kimi K3.1 Pro 在 8 卡 MI350X 跑出 300 tok/s,较 K3 提速 5 倍
AI 导读
tinygrad 团队用 8 张 AMD MI350X 和默认 SGLang 配置跑通支持 Day 0 的 Kimi K3.1 Pro,解码速度约 300 tok/s,较 K3 的约 60 tok/s 提升约 5 倍。在 16,125 tokens 输入下,prefill 吞吐约 5,993 tok/s,解码速度为 310 tok/s,TTFT 为 2.706s。
来源:AGI Hunt · agihunt.info