Toner：用激活统计对 Muon 优化器进行 precondition，将临界 batch size 提升约 2 倍

Toner 是一种利用每层输入激活统计对优化器更新进行 precondition 的通用规则，并应用于 Muon 和 AdamW，形成 MuonT 和 AdamT。实验显示，该方法可加速语言模型预训练，相比 Muon 将临界 batch size 提升约 2 倍，在大 batch 训练场景中收益尤为明显。