UCSB 组建持久型 AI 研究员团队，自主发现超越 GDN2 的线性注意力架构

UCSB、宾州州立与 LinkedIn 构建持久型 AI 研究员团队，通过多学科背景、私有研究历史和自适应任务分配搜索线性注意力架构。发现的架构在 1.3B 规模的语言建模、常识推理、合成与真实检索任务上均超越 GDN2。消融实验显示，移除学科背景或私有历史都会拖慢搜索，均匀分配也逊于自适应分配。