AGI Hunt· cong_ml·· 3 小时前AI 评分56
llama.cpp 本地蜂群机制让 8 个研究 Agent 并发吞吐提升 1.9 倍
本地 8 Agent 研究蜂群:共享最优程序并发提速 1.9 倍
AI 导读
一项技术分享演示了在本地 llama.cpp 实例上运行 8 个研究 Agent 的蜂群机制。8 个 Agent 共享 Flint 模型和当前最优程序,并通过四类指令轮换减少同质化,在 M4 Pro 上总 token 吞吐达到单请求的 1.9 倍。
来源:AGI Hunt · agihunt.info