跳到正文
AGI Hunt· kalomaze·· 3 小时前AI 评分26

Astra 模型训练日志显示语料倒序排列后 loss 升高

训练怪现象:语料倒序排列 loss 反而更高

AI 导读

Astra 模型训练日志显示,语料按时间倒序排列后,验证 loss 从 1.5124 恶化至 1.5803。其最新 crop 验证 loss 为 1.4730(27.51M tokens),显示该模型对数据时序顺序异常敏感。

来源:AGI Hunt · agihunt.info