AGI Hunt· pipecanon·· 1 小时前AI 评分31
三台机器跑本地 LLM:多机 GPU/显存管理怎么搞
三台机器跑本地 LLM 失控:多机 GPU/显存管理怎么搞
AI 导读
一位 homelab 玩家讲述三台机器混插不同显卡并配一台笔记本、分别运行独立模型 runner 的管理困境,需逐台 SSH 排查异常加载的量化模型。gpustack 可跨节点集中部署并提供模型服务,但不会把物理显存合并成一个大池,仍受硬件约束。帖子就采用中央服务器还是各机独立 runner,以及如何估算权重、KV cache 和加载过程的 RAM/VRAM 需求征求方案。
来源:AGI Hunt · agihunt.info