跳到正文
AGI Hunt· dlwh·· 4 小时前AI 评分34

Marin 535B 预训练进度超过 80%,held-out loss 优于 scaling 预测

Marin 535B 预训练超 80%,loss 优于 scaling 预测

AI 导读

开源 Marin 项目的 Hero 535B-A23B 预训练进度已超过 80%,实际 held-out loss 曲线整体低于 scaling ladder 的预测线。进入训练最后阶段后,模型切换至 cooldown 数据配比,自然科学研究内容采样权重从 6.9% 上调,代码与 agent 对话记录仍占较高比重。

来源:AGI Hunt · agihunt.info