跳到正文
AGI Hunt· tatsu_hashimoto·· 3 小时前AI 评分42

斯坦福 CS312 课程长文:预训练中「尖锐度」与稳定性边缘之谜

CS312 课程长文:预训练中「尖锐度」与稳定性边缘之谜

AI 导读

斯坦福 CS312 课程本周讲解预训练中的 sharpness(尖锐度),以及梯度下降理论上应发散、实际训练却接近「稳定边缘」的反直觉现象。文章还梳理了围绕 sharpness 尚未解决的研究问题,适合作为理解预训练动力学与优化稳定性的入门材料。

来源:AGI Hunt · agihunt.info