跳到正文
AGI Hunt· henriquegogo·· 1 小时前AI 评分59

lowvram通过拦截CUDA调用让6GB显存运行需24GB显存的YuE2

lowvram 拦截 CUDA 调用,6GB 显存跑动需 24GB 的 YuE2

AI 导读

lowvram通过在库层拦截CUDA调用,使应用误判系统内存可供GPU kernel使用,从而尝试在6GB显存的RTX 3060上运行通常需要24GB VRAM且使用BF16的YuE2。原帖分享了基本思路,但未提供完整配置和性能数据。

来源:AGI Hunt · agihunt.info