跳到正文
AGI Hunt· carrycooldude·· 57 分钟前AI 评分48

高通演示 Laya 端侧小模型分流:每请求 8.6ms 决定本地或上云

高通演示端侧小模型分流:每请求 8.6ms 决定本地还是上云

AI 导读

高通开发者账号转发 Lucas da Silva 的实验:开源小模型 Laya 在骁龙 X Elite 的 NPU 上预判每个 AI 请求,识别隐私数据并决定留在本地还是交给云端大模型。模型未量化、未重训,每次决策耗时 8.6ms,CPU 为 36ms,能耗降低 20 倍以上,验证了低延迟、低能耗的本地优先 AI 工作流。

来源:AGI Hunt · agihunt.info