新研究：不同任务使神经网络权重趋向权重空间中不同聚类

FAU Erlangen-Nürnberg 等机构团队在 Frontiers in Cognition 发表研究，发现不同学习任务会像“吸引子”一样，把训练中的神经网络拉向与任务相关、可复现的权重空间区域。团队对齐独立初始化浅层网络的隐藏单元后发现，同一数据集训练的网络权重结构更相似；SGD 最初几次更新中准确率急剧上升，模型离初始化的位移虽小却并非结构中性。