跳到正文
AGI Hunt· ravikantagrawal·· 45 分钟前AI 评分60

开源模型本地部署算账:Kimi K3.1 权重 594GB,四台 Mac Studio 仅 15 tok/s

AI 导读

Kimi K3.1 本地部署的最小构建约 594GB,单台 512GB Mac Studio 无法容纳。四台 Studio 互联成本约 $38k,吞吐约 15 tok/s,低于 AntSeed 云端约 24 tok/s;Kimi K3.1 Pro 权重达 1.56TB,仅内存约需 $91k 的四台顶配 M5 Ultra Studio。

来源:AGI Hunt · agihunt.info