跳到正文
AGI Hunt· anbarth·· 3 小时前AI 评分47

vLLM 适配 Rubin 双芯架构:权重分片就近绑定本地算力

vLLM 适配 Rubin 双芯架构:权重分片就近绑定本地算力

AI 导读

anbarth 展示 vLLM 在 CUDA 13.4 下利用 GreenContext 分区调度 NVIDIA Vera Rubin 双 compute die GPU,通过权重分片将计算就近绑定各 die 的本地算力。

来源:AGI Hunt · agihunt.info