跳到正文
热点事件持续更新

高通演示Laya端侧小模型分流

1 篇报道1 个报道来源48 分钟前更新

先了解这件事

AI 综述

高通开发者账号转发 Lucas da Silva 的实验:开源小模型 Laya 运行在骁龙 X Elite 的 NPU 上,先检查每个 AI 请求,识别隐私数据并决定任务留在本地,还是交给云端大模型。 该模型未量化、未重训,每次分流决策耗时 8.6 毫秒,CPU 耗时为 36 毫秒。高通称,这一方案可实现低延迟、低能耗的本地优先 AI 工作流,能耗降低 20 倍以上;目前内容属于高通转发的实验演示。

AI 根据报道生成 · 31 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    高通演示 Laya 端侧小模型分流:每请求 8.6ms 决定本地或上云

    高通开发者账号转发 Lucas da Silva 的实验:开源小模型 Laya 在骁龙 X Elite 的 NPU 上预判每个 AI 请求,识别隐私数据并决定留在本地还是交给云端大模型。模型未量化、未重训,每次决策耗时 8.6ms,CPU 为 36ms,能耗降低 20 倍以上,验证了低延迟、低能耗的本地优先 AI 工作流。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。