Toner用激活统计优化预训练
热点事件持续更新
Toner用激活统计优化预训练
1 篇报道1 个报道来源49 分钟前更新
先了解这件事
AI 综述
Amin提出Toner，利用每层输入激活统计对优化器更新进行预条件处理，并将其应用于Muon和AdamW，分别形成MuonT和AdamT。实验显示，Toner能加速语言模型预训练，相比Muon将临界批量大小提升约两倍，在大批量训练场景中的收益尤其明显。
AI 根据报道生成 · 43 分钟前更新
最新进展11月13日 06:00
Toner：用激活统计对 Muon 优化器进行 precondition，将临界 batch size 提升约 2 倍报道时间线
沿着报道，了解事件的不同侧面。
11月13日
- AGI HuntToner：用激活统计对 Muon 优化器进行 precondition，将临界 batch size 提升约 2 倍
Toner 是一种利用每层输入激活统计对优化器更新进行 precondition 的通用规则，并应用于 Muon 和 AdamW，形成 MuonT 和 AdamT。实验显示，该方法可加速语言模型预训练，相比 Muon 将临界 batch size 提升约 2 倍，在大 batch 训练场景中收益尤为明显。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。