AGI Hunt· teortaxesTex·· 1 小时前AI 评分58
模型自主跑完机器学习实验,teortaxesTex称时代已变
模型自发跑完机器学习实验,研究者感叹时代已变
AI 导读
teortaxesTex表示,向模型提问后,它会主动设计并运行机器学习实验,让他仍感震惊。实验用小规模幂律特征问题比较 SGD、Adam 与 Muon,发现优化器的收益主要存在于瞬态阶段,噪声占主导后优势消失甚至反转;估算 AdamW 之上仍有约 24 倍理论空间,Muon 系已拿下 1.32 倍。
来源:AGI Hunt · agihunt.info