Apple Machine Learning Research·· 7 天前精选AI 评分78
Apple 使用 MLX 与 Thunderbolt RDMA 在 Mac Studio 上进行本地及分布式 LLM 推理
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
Apple 使用 MLX v0.30.1 和 Thunderbolt 5 RDMA 在 Mac Studio 集群上运行 Muse Spark Open、Mistral Medium 3.5 与 Qwen 3.8，并比较流水线并行和张量并行方案。
推荐理由
文章提供单机和多机推理方案、配置命令与对比数据，便于评估大模型在 Mac Studio 集群上的部署表现。
来源：Apple Machine Learning Research · machinelearning.apple.com