François Fleuret 探讨大模型训练 loss spike 恢复后的最终损失表现

François Fleuret 向严肃大模型训练从业者提出，训练中出现 loss spike 后恢复，最终 loss 通常会更差、不变还是更好。相关讨论汇集一线训练经验，为关注预训练稳定性的从业者提供参考，但原文未给出统一结论。