AGI Hunt· TumbleweedNew6515·· 3 小时前精选AI 评分80
律师用 2 台 DGX Spark 和 3090 跑 DeepSeek-V4.1-Flash:256K,预填充达 2600+ tok/s
律师用 2 台 DGX Spark 加 3090 跑 DeepSeek-V4.1-Flash:256K 预.fill 2600+ tok/s,全部数据开源
AI 导读
律师 Nick Mermiges 更新了本地推理配置,以两台 DGX Spark 通过 vLLM 张量并行运行 DeepSeek-V4.1-Flash-1017,并用 EPYC 3090 机器提供 Engram 表和运行 DSpark 投机解码 drafter。
推荐理由
公开了硬件配置、启动脚本、跑分工具和原始 JSON,并呈现不同工作负载下的吞吐与短板,便于复用本地推理方案。
来源:AGI Hunt · agihunt.info