Fleuret调侃仍在排查梯度爆炸

法国国家信息与自动化研究所研究者 François Fleuret 发推称，训练大模型时仍需排查梯度爆炸这一数值稳定性问题，并自嘲做法像“2013 年的原始人”。 这番调侃并非宣布发现了新的训练故障，而是借基础技术问题延续至今，调侃顶尖研究者面对大模型训练时仍会反复检查数值稳定性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。