多机构AI研究员团队发现线性注意力架构

UCSB、宾州州立大学与 LinkedIn 的研究团队构建了由多学科背景AI研究员组成的持久型团队，并通过自适应任务分配搜索线性注意力架构，发现的新架构在1.3B规模的语言建模、常识推理以及合成和真实检索任务上均超过GDN2。 消融实验显示，移除研究员的学科背景或私有研究历史会拖慢搜索进程，均匀分配任务的效果也逊于自适应分配。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。