AGI Hunt· vllm_project·· 43 分钟前AI 评分72
vLLM v0.34.0 发布:支持 10 个新模型并提升 GB200 解码性能
vLLM v0.34.0 发布:1061 次提交,GB200 解码提速近 2 倍
AI 导读
vLLM v0.34.0 正式发布,包含 1061 次提交和 412 位贡献者的工作。新增 10 个模型,并启用可扩展 KV cache、Model Runner V2;GB200 上 Step5 NVFP4 解码最高快 1.95×。版本默认 block size 改为 64,需使用 huggingfacehub ≥ 2.0.0,部分现有部署需按官方迁移办法调整。
来源:AGI Hunt · agihunt.info