跳到正文
热点事件持续更新

用户尝试用 Mac 与双 RTX 3090 组建大模型集群

1 篇报道1 个报道来源24 分钟前更新

先了解这件事

AI 综述

一位用户计划将配备 64GB 统一内存的 Mac mini M4 Pro、配备 36GB 统一内存的 Mac Studio M4 Max,以及搭载 2 张 RTX 3090 的 Windows PC 组建分布式 AI 集群,用于运行 120B 以上参数的大模型。 三台设备合计拥有 212GB 物理内存,但这些内存并不构成统一内存池;用户计划通过 llama.cpp RPC 等软件串联 Metal、CUDA 和 CPU offload,并正在征询成功案例。目前报道描述的是搭建计划,尚未证明该配置能够成功运行目标模型。

AI 根据报道生成 · 14 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    Mac 统一内存加双 RTX 3090 拼 212GB 跑 120B 大模型,可行吗?

    一位用户计划以 Mac mini M4 Pro(64GB)、Mac Studio M4 Max(36GB)和 2×RTX 3090 Windows PC 搭建分布式 AI 集群,运行 120B+ 参数大模型。三机合计 212GB 物理内存,但并非统一内存池,计划通过 llama.cpp RPC 等软件串联 Metal、CUDA 与 CPU offload,并征询成功案例。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。