AGI Hunt· YouJiacheng·· 3 小时前AI 评分41
Kimi K3 推理实为 compute bound:96 头 MLA 计算强度达 363 FLOPs/Byte
MLA 推理实为 compute bound,Kimi K3 算力吃紧
AI 导读
分析认为,Kimi K3 的推理瓶颈主要是 compute bound,而非 memory bound;在 77k 上下文下,MLA 计算量约 386B,即使拉满 MFU,现有显卡也不够用。96 头 MLA 的计算强度达 363 FLOPs/Byte,采用 FP8 KV 也难以改变这一局面。
来源:AGI Hunt · agihunt.info