Hacker News·· 1 天前AI 评分61
DeepSeek 开源 DeepInfer 高性能推理框架
DeepInfer: High-performance inference framework for DeepSeek models
AI 导读
DeepSeek 开源 DeepInfer 高性能推理框架,支持 DeepSeek-V4.1-Flash 的离线推理。框架提供 Attention DP、MoE EP + EPLB、异步批调度、确定性采样和结构化输出,并支持 NVIDIA SM100 GPU 与华为昇腾 950 NPU;完整生产推理服务所需的部分组件尚未包含在本次发布中。
来源:Hacker News · github.com