AGI Hunt· JeremyCMorgan·· 3 小时前AI 评分57
Apple MLX 实测四台 Mac Studio 部署 816B 模型，每秒推理超过 36 token
苹果 MLX 实测：四台 Mac Studio 跑 816B 模型，每秒 36 token
AI 导读
Apple 的 MLX 团队报告将一个 816B 参数模型分布部署在四台 Mac Studio 上，推理速度达到 36 tokens/秒以上。团队同时公布了部署方法与功耗测量数据，但每 token 成本仍未给出。
来源：AGI Hunt · agihunt.info