Marin开源MoE完成主预训练
热点事件持续更新
Marin开源MoE完成主预训练
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Marin项目称，其开源MoE模型Mochi 535B-A23B已于11月5日上午完成主预训练，共使用18T tokens，激活参数量为23B。训练日志、loss曲线及事故记录均已公开，期间经历多次梯度尖峰和重启，近期MFU提高约3个百分点。 模型仍需完成目标为262K输入的长上下文训练及后续SFT；若欧盟相关手续顺利，checkpoint预计于下周发布，因此目前完成的是主预训练阶段，而非完整训练与公开交付。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 03:03
开源 Marin 535B-A23B 完成主预训练，18T tokens，checkpoint 预计下周发布报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI Hunt开源 Marin 535B-A23B 完成主预训练，18T tokens，checkpoint 预计下周发布
Marin 项目的开源 MoE 模型 535B-A23B 于 11 月 5 日上午完成主预训练，共消耗 18T tokens，激活参数为 23B。训练过程公开了 WandB 日志、loss 曲线和事故记录，其间经历多次梯度尖峰与重启，近期 MFU 提升约 3 个百分点。计划本周末进行目标为 262K 输入的长上下文训练，下周开展 SFT，checkpoint 预计下周发布。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。