复旦团队提出AIR学习率调度器
热点事件持续更新
复旦团队提出AIR学习率调度器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
复旦团队在arXiv论文中提出AIR学习率调度器，以有效学习率而非名义学习率作为调度目标，并结合理论推导的1/√t衰减与仿射调整。在128B token的MoE预训练中，AIR优于cosine等调度；在同等累计学习率下，终端损失约降低0.01，将同一有效学习率轨迹用于权重衰减也复现了收益。
AI 根据报道生成 · 2 小时前更新
最新进展10月30日 23:58
AIR 调度器：按有效学习率设计，128B token MoE 预训练超越 cosine报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- AGI HuntAIR 调度器：按有效学习率设计，128B token MoE 预训练超越 cosine
复旦团队发布 arXiv 论文并提出 AIR 调度器，以有效学习率 ELR 而非名义学习率作为调度目标。AIR 融合理论推导的 1/√t 衰减与仿射调整，在 128B token 的 MoE 预训练中优于 cosine 等调度，同等累计 LR 下终端损失降低约 0.01；将同一 ELR 轨迹用于 WD 也可复现收益。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。