跳到正文
Hacker News·· 1 天前AI 评分61

DeepSeek 开源 DeepInfer 高性能推理框架

DeepInfer: High-performance inference framework for DeepSeek models

AI 导读

DeepSeek 开源 DeepInfer 高性能推理框架,支持 DeepSeek-V4.1-Flash 的离线推理。框架提供 Attention DP、MoE EP + EPLB、异步批调度、确定性采样和结构化输出,并支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU;完整生产推理服务所需的部分组件尚未包含在本次发布中。

来源:Hacker News · github.com