AGI Hunt· teortaxesTex·· 3 小时前AI 评分48
Kimi K3 推理服务成本分析:计算量过大,服务难以承受
分析称 Kimi K3 计算量过大,推理服务成本难承受
AI 导读
分析认为,Kimi K3 的 KV cache 虽大,但在 compute bound 的 batch size 下仍可服务,核心瓶颈是计算量本身过大。即使仅按 6 倍激活参数计算且不计 CED,Kimi 也无法完成服务;考虑 dense MLA 的计算开销,77k 上下文相当于 400B 激活参数,问题更严重。这一限制主要源于算力与成本,而非 infra 效率。
来源:AGI Hunt · agihunt.info