AGI Hunt· Distinct-Pie2389·· 2 小时前AI 评分62
开发者发布开源 GPU 资源管理器 berth
开源 GPU 资源管理器 Berth:多 GPU 调度、引擎停驻与显存防抢占
AI 导读
开发者发布开源 GPU 资源管理器 berth,用于管理本地 LLM、图像生成和语音克隆等任务的 GPU 资源。它支持系统内存停驻、基于 CUDA checkpoint 的停驻、优先级映射、调度、部分显存池出借,以及通过 VFIO 直通出租整块 GPU。
来源:AGI Hunt · agihunt.info