AGI Hunt· AccBalanced·· 3 小时前AI 评分37
业内人士:缺乏 DeepSeek 级 KV-cache 管理的推理厂商难生存
业内人士:没有 DeepSeek 级 KV-cache 管理,推理厂商难生存
AI 导读
业内人士指出,缺乏 DeepSeek 级全局 KV-cache 管理与状态化负载均衡等基础设施能力的 LLM 推理服务商,难以在价格竞争中生存。DeepSeek 的工程体系还包括按机架规模拆分 prefill/decode 部署,以及自持数据中心。
来源:AGI Hunt · agihunt.info