研究者提出 bubbleforce：揭示 Muon 等 non-adaptive 优化器稳定边界并刷新 nanoGPT 纪录

研究者提出 bubbleforce，揭示 Muon 等 non-adaptive 优化器的稳定边界。基于这一理解，他们将 nanoGPT 的 Muon 训练纪录再削减 100 次迭代，改进约 -3.2%。这项工作解释了此类优化器为何能在特定超参范围内保持稳定，为优化器理论与实践提供参考。