AGI Hunt· Front_Eagle739·· 4 小时前AI 评分70
单卡 RTX 5090 运行 DeepSeek V4.1 的速度与部署实测
单卡 5090 跑 DeepSeek V4.1：prefill 超 4000 tok/s，解码 7-24 tok/s 可调
AI 导读
开源项目 streaming-llama-stack 可在单张 RTX 5090、32GB 内存和双 PCIe5 NVMe RAID0 上本地运行 fp4/fp8 量化的 DeepSeek V4.1。
来源：AGI Hunt · agihunt.info