跳到正文
AGI Hunt· musicurgy·· 3 小时前精选AI 评分80

Delta Inference Engine v0.93 支持单卡 RTX 3090 运行 DeepSeek-V4.1-Flash

单卡 3090 跑 DeepSeek-V4.1-Flash:Delta 引擎 v0.93 达 41 tok/s

AI 导读

开发者 musicurgy 发布开源的 Delta Inference Engine v0.93,可在 24GB RTX 3090 与大内存 Windows 主机上原生运行 DeepSeek-V4.1-Flash 量化版。

推荐理由

文章提供了消费级显卡运行量化模型的配置、速度、内存门槛和测试方法,可用于评估本地部署方案。

来源:AGI Hunt · agihunt.info