streaming-llama-stack单卡运行DeepSeek

Reddit 用户 Front_Eagle739 发布开源项目 streaming-llama-stack，可在单张 RTX 5090、32GB 内存和双 PCIe5 NVMe RAID0 配置下，本地运行 FP4/FP8 量化的 DeepSeek V4.1。项目支持用逐 token 速度与质量滑块切换推理速度、代码及工具调用质量；作者称，在约 1.5bpw 等效 KL 散度设置下速度可达 24 tok/s，较上一版性能翻倍。 作者称 NVMe 越快，整体效果越好；目前这些结果仅基于其个人机器测试，尚不能证明其他硬件配置也能达到相同速度或效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。