跳到正文
AGI Hunt· micahgoldblum·· 2 小时前AI 评分38

研究定位 LM 预训练后期 loss spike 根因:输出层舍入误差

研究定位 LM 预训练后期 loss spike:输出层舍入误差所致

AI 导读

研究定位了 LM 预训练中后期 loss spike 的根因:高学习率下输出 logit 范数持续增长,最终由输出层舍入误差(quantization effect)引发损失突刺。

来源:AGI Hunt · agihunt.info