跳到正文
AGI Hunt· TumbleweedNew6515·· 3 小时前精选AI 评分80

律师用 2 台 DGX Spark 和 3090 跑 DeepSeek-V4.1-Flash:256K,预填充达 2600+ tok/s

律师用 2 台 DGX Spark 加 3090 跑 DeepSeek-V4.1-Flash:256K 预.fill 2600+ tok/s,全部数据开源

AI 导读

律师 Nick Mermiges 更新了本地推理配置,以两台 DGX Spark 通过 vLLM 张量并行运行 DeepSeek-V4.1-Flash-1017,并用 EPYC 3090 机器提供 Engram 表和运行 DSpark 投机解码 drafter。

推荐理由

公开了硬件配置、启动脚本、跑分工具和原始 JSON,并呈现不同工作负载下的吞吐与短板,便于复用本地推理方案。

来源:AGI Hunt · agihunt.info