跳到正文
AGI Hunt· AccBalanced·· 3 小时前AI 评分37

业内人士:缺乏 DeepSeek 级 KV-cache 管理的推理厂商难生存

业内人士:没有 DeepSeek 级 KV-cache 管理,推理厂商难生存

AI 导读

业内人士指出,缺乏 DeepSeek 级全局 KV-cache 管理与状态化负载均衡等基础设施能力的 LLM 推理服务商,难以在价格竞争中生存。DeepSeek 的工程体系还包括按机架规模拆分 prefill/decode 部署,以及自持数据中心。

来源:AGI Hunt · agihunt.info