跳到正文
AGI Hunt· mdancho84·· 2 小时前AI 评分40

LLM 上线后问题全变:从 Prefill 与 Decode 讲推理工程

AI 导读

LLM 进入生产环境后,核心关注点从模型精度转向毫秒级延迟、吞吐、KV cache、GPU 利用率与单请求成本。Prefill 负责处理 prompt 并构建 KV cache,通常计算密集;Decode 逐 token 生成,更容易受显存带宽限制。

来源:AGI Hunt · agihunt.info