跳到正文
热点事件持续更新

vLLM v0.34.0发布并调整默认配置

1 篇报道1 个报道来源33 分钟前更新

先了解这件事

AI 综述

vLLM 项目发布 v0.34.0,新增支持10个模型,并引入可扩展 KV cache 和 Model Runner V2;项目称,Step5 在 GB200 上采用 NVFP4 解码时最高可提速1.95倍。 新版本默认根据预热后的实际空闲内存设定 KV cache 大小,GPU 内存利用率默认值改为1.0;Model Runner V1 被移除,禁用 V2 的环境变量将导致启动报错。默认 block size 从16改为64,ROCm 分页注意力仍为16,同时移除 ROCm 7.2 镜像,并要求使用 huggingfacehub ≥2.0.0。部分现有部署需按官方迁移办法调整。

AI 根据报道生成 · 11 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    vLLM v0.34.0 发布:支持 10 个新模型并提升 GB200 解码性能

    vLLM v0.34.0 正式发布,包含 1061 次提交和 412 位贡献者的工作。新增 10 个模型,并启用可扩展 KV cache、Model Runner V2;GB200 上 Step5 NVFP4 解码最高快 1.95×。版本默认 block size 改为 64,需使用 huggingfacehub ≥ 2.0.0,部分现有部署需按官方迁移办法调整。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。