DeepSeek-V3学习率分四阶段调整
热点事件持续更新
DeepSeek-V3学习率分四阶段调整
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
据AGI Hunt梳理，DeepSeek-V3在14.8T tokens预训练中采用预热、峰值保持、余弦衰减和最终退火四阶段学习率计划。峰值学习率为2.2×10⁻⁴，保持至约10T tokens；随后余弦衰减，在约14.3T tokens处降至2.2×10⁻⁵。 最后167B tokens进入退火阶段，学习率降至7.3×10⁻⁶，以完成模型收敛。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 11:52
DeepSeek-V3 学习率计划拆解：预热、峰值、余弦衰减与退火四阶段报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI HuntDeepSeek-V3 学习率计划拆解：预热、峰值、余弦衰减与退火四阶段
DeepSeek-V3 的 14.8T tokens 预训练采用四阶段学习率计划，依次为预热、峰值、余弦衰减和最终退火。峰值学习率 2.2×10⁻⁴ 维持至约 10T tokens，余弦衰减后在约 14.3T 处降至 2.2×10⁻⁵，最后 167B tokens 降至 7.3×10⁻⁶ 以完成收敛。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。