跳到正文
热点事件持续更新

Marin 535B模型预训练超过八成

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Marin项目公布,开源模型Hero 535B-A23B的预训练进度已超过80%,实际观测到的held-out loss曲线整体低于其scaling ladder预测线,显示训练表现优于项目此前的规模缩放预期。 进入最后阶段后,模型切换至cooldown数据配比,其中自然科学研究内容的采样权重由6.9%上调,代码和agent对话记录仍占较高比重。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. AGI Hunt
    Marin 535B 预训练进度超过 80%,held-out loss 优于 scaling 预测

    开源 Marin 项目的 Hero 535B-A23B 预训练进度已超过 80%,实际 held-out loss 曲线整体低于 scaling ladder 的预测线。进入训练最后阶段后,模型切换至 cooldown 数据配比,自然科学研究内容采样权重从 6.9% 上调,代码与 agent 对话记录仍占较高比重。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。