AGI Hunt· ruffus_or·· 34 分钟前AI 评分22
Mac 统一内存加双 RTX 3090 拼 212GB 跑 120B 大模型,可行吗?
用 Mac 统一内存加双 3090 拼 212GB 跑 120B 大模型,可行吗?
AI 导读
一位用户计划以 Mac mini M4 Pro(64GB)、Mac Studio M4 Max(36GB)和 2×RTX 3090 Windows PC 搭建分布式 AI 集群,运行 120B+ 参数大模型。三机合计 212GB 物理内存,但并非统一内存池,计划通过 llama.cpp RPC 等软件串联 Metal、CUDA 与 CPU offload,并征询成功案例。
来源:AGI Hunt · agihunt.info