AGI Hunt· tatsu_hashimoto·· 3 小时前AI 评分42
斯坦福 CS312 课程长文:预训练中「尖锐度」与稳定性边缘之谜
CS312 课程长文:预训练中「尖锐度」与稳定性边缘之谜
AI 导读
斯坦福 CS312 课程本周讲解预训练中的 sharpness(尖锐度),以及梯度下降理论上应发散、实际训练却接近「稳定边缘」的反直觉现象。文章还梳理了围绕 sharpness 尚未解决的研究问题,适合作为理解预训练动力学与优化稳定性的入门材料。
来源:AGI Hunt · agihunt.info