AGI Hunt· burny_tech·· 3 小时前AI 评分38
新研究:CalcCon 探讨训练后权重的 α≈2 幂律尾与优化器设计
新研究:训练后权重为何呈现 α≈2 幂律尾,或可指导优化器设计
AI 导读
CalcCon 发布论文《A Spectral Renormalization-Group View of Learning》,提出神经网络会在权重中留下可分析的“学习谱记录”。论文聚焦训练良好的层为何常呈现接近 α≈2 的幂律尾,作者认为这一谱现象或可用于设计更优优化器并防止过拟合,全文共 11 部分。
来源:AGI Hunt · agihunt.info