热点事件持续更新

Kimi K3推理瓶颈被指为算力受限

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

分析认为，Kimi K3 在 77k 上下文下主要受算力而非显存带宽限制，推理瓶颈是 compute bound。其 96 头 MLA 的计算强度约为 363 FLOPs/Byte，相关计算量约 386B；即使采用 FP8 KV cache 并将现有显卡的 MFU 拉满，报道判断其算力仍不足。

AI 根据报道生成 · 2 小时前更新

最新进展10月26日 21:09

沿着报道，了解事件的不同侧面。

10月26日

21:09
AGI Hunt
Kimi K3 推理实为 compute bound：96 头 MLA 计算强度达 363 FLOPs/Byte
分析认为，Kimi K3 的推理瓶颈主要是 compute bound，而非 memory bound；在 77k 上下文下，MLA 计算量约 386B，即使拉满 MFU，现有显卡也不够用。96 头 MLA 的计算强度达 363 FLOPs/Byte，采用 FP8 KV 也难以改变这一局面。

还没有足够的连续观测数据，暂不绘制趋势。