Latent Space·· 5 小时前AI 评分72
DeepSeek 开源 DeepInfer 推理框架并披露生产服务数据
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了用于 V4.1 Flash 生产推理的 DeepInfer，并同时发布 deepseek-recipe 接口处理组件。DeepSeek 披露单集群每日服务 155T tokens、96% 输入缓存命中率、400 ms 首 token 延迟和 $38 加速器小时收入，但这些属于未经独立审计的生产数据，KV cache 管理与负载均衡等组件也尚未完整开源。
来源：Latent Space · latent.space