跳到正文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分48

Kimi K3 推理服务成本分析:计算量过大,服务难以承受

分析称 Kimi K3 计算量过大,推理服务成本难承受

AI 导读

分析认为,Kimi K3 的 KV cache 虽大,但在 compute bound 的 batch size 下仍可服务,核心瓶颈是计算量本身过大。即使仅按 6 倍激活参数计算且不计 CED,Kimi 也无法完成服务;考虑 dense MLA 的计算开销,77k 上下文相当于 400B 激活参数,问题更严重。这一限制主要源于算力与成本,而非 infra 效率。

来源:AGI Hunt · agihunt.info