48GB M4 Pro 本地运行 8 个智能体共享 40B 模型

cong_ml 演示了在 48GB M4 Pro 上通过 llama.cpp 运行 40B 参数 Flint 模型，并让 8 个智能体共享同一份模型权重执行写代码和测试想法等任务。借助服务端请求批量处理，8 个并发请求的总 token 吞吐达到单请求的 1.9 倍，呈现了消费级硬件运行本地多智能体协作的效率。