跳到正文
AGI Hunt· blaizedsouza·· 39 分钟前AI 评分66

NVIDIA 开源 Personal AI Router,将家庭电脑组成推理集群

NVIDIA 开源 Personal AI Router:家中所有电脑组成一个推理集群

AI 导读

NVIDIA 开源 Personal AI Router,将 Windows、Linux 和 Mac 电脑组成统一的本地推理入口。Agent 请求会自动路由至装有对应模型且负载最低的机器,用户可从 repo Releases 下载安装包,选择 Ollama 或 LM Studio,并用 6 位 PIN 码配对设备。所有 Prompt 均留在本地网络,项目采用 Apache 2.0 协议并免费使用。

来源:AGI Hunt · agihunt.info