跳到正文
AGI Hunt· aakashgupta·· 3 小时前AI 评分54

vLLM 推进 Nemotron-3.5-Transcribe 原生集成

Nemotron-3.5-Transcribe 接入 vLLM:原生语音塔+FP8/NVFP4 推理

AI 导读

vLLM 项目宣布 NVIDIA Nemotron-3.5-Transcribe 原生集成 PR 已进入 review(#64282)。该 PR 新增语音塔架构与 OpenAI 兼容的含音频对话、转写端点,支持 30B-A4B 权重及 FP8、NVFP4 量化变体、MTP 和 DFlash2 投机解码,并可通过 NeMo Speech 的 vLLM 0.32.0 插件运行。

来源:AGI Hunt · agihunt.info