AGI Hunt· saranormous·· 2 小时前AI 评分61
开发者用 Rust + CUDA 从零构建 deepseek v4.1-flash 推理引擎
从零用 Rust+CUDA 写 DeepSeek 推理引擎,4 卡 B300 跑出 1740 TPS
AI 导读
开发者 saltyph 公开了从零构建的 deepseek v4.1-flash 推理引擎，核心仅使用 Rust + CUDA，不依赖 PyTorch、SGLang 或 DSL。该项目已在 GitHub 开源，4 张 B300 可实现约 1740 TPS 解码，8 卡 B300 达 2060 TPS，100 万 token 预fill 约需 12 秒。
来源：AGI Hunt · agihunt.info