跳到正文
AGI Hunt· Ren-WuJun·· 53 分钟前AI 评分55

Project MAYA fork 实现 CUDA 与 ROCm 双后端混用,推理最高提速 48%

CUDA+ROCm 双后端混用 NVIDIA/AMD GPU 推理,最高提速 48%

AI 导读

开发者基于 Project MAYA 推理引擎开发 fork,让 RTX 5090 的 CUDA 后端与 Strix Halo iGPU 的 ROCm 后端在同一进程内协同运行 GLM 5.3-Flash Maya-M GGUF,实测最高提速 48%。

来源:AGI Hunt · agihunt.info