AGI Hunt· morgymcg·· 2 小时前AI 评分37
vLLM 运行 DeepSeek v4.1:解码速度比 SGLang 快 10-20%
vLLM 跑 DeepSeek v4.1:解码速度比 SGLang 快 10-20%
AI 导读
YourLocalAILab 提供的 vLLM 镜像运行 DeepSeek v4.1 时,在 RTX Pro 6000 上的解码速度比 SGLang 快约 10-20%。目前暂未观察到质量下降,但相关评测仍在进行中。
来源:AGI Hunt · agihunt.info