AGI Hunt· Icy_Bumblebee8159·· 2 小时前AI 评分33
高保密场景下 16GB MacBook 本地化运行 MCP Agent 的 GPU 需求
高保密客户要本地化 LLM:16GB MacBook 跑 MCP Agent 不够用
AI 导读
一家代理商为拒绝数据经过 Claude/OpenAI 等云端大语言模型的高保密客户搭建本地 on-prem 方案,16GB MacBook 的 POC 结论是远远不够。POC 采用 Ollama + Qwen3 abliterated 7B,模型一次只能做一个 tool call,作者正在征集适合该场景的 GPU 建议。
来源:AGI Hunt · agihunt.info