DeepSeek开源DeepInfer推理框架

DeepSeek 开源了用于运行自有模型的 DeepInfer 框架。该框架面向模型规模化推理，公开了其在提升运行效率、降低计算成本方面的技术实现。

DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证并同步发布 deepseek-recipe。

DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，用于快速规模化运行 V4.1-Flash。DeepInfer 基于 vLLM，加入优化计算内核、多芯片分布式处理和更快的文本生成技术，DeepSeek 还将同步开源后续模型代码，并发布复现官方 API token 处理方式的 deepseek-recipe。

DeepSeek 以 Apache 2.0 许可证开源了生产推理框架 DeepInfer，并发布 MIT 许可的 token 编解码层 deepseek-recipe。

DeepSeek 开源 DeepInfer 高性能推理框架，支持 DeepSeek-V4.1-Flash 的离线推理。框架提供 Attention DP、MoE EP + EPLB、异步批调度、确定性采样和结构化输出，并支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU；完整生产推理服务所需的部分组件尚未包含在本次发布中。