跳到正文
AGI Hunt· morgymcg·· 2 小时前AI 评分37

vLLM 运行 DeepSeek v4.1:解码速度比 SGLang 快 10-20%

vLLM 跑 DeepSeek v4.1:解码速度比 SGLang 快 10-20%

AI 导读

YourLocalAILab 提供的 vLLM 镜像运行 DeepSeek v4.1 时,在 RTX Pro 6000 上的解码速度比 SGLang 快约 10-20%。目前暂未观察到质量下降,但相关评测仍在进行中。

来源:AGI Hunt · agihunt.info