开源 Marin 535B-A23B 完成主预训练，18T tokens，checkpoint 预计下周发布

Marin 项目的开源 MoE 模型 535B-A23B 于 11 月 5 日上午完成主预训练，共消耗 18T tokens，激活参数为 23B。训练过程公开了 WandB 日志、loss 曲线和事故记录，其间经历多次梯度尖峰与重启，近期 MFU 提升约 3 个百分点。计划本周末进行目标为 262K 输入的长上下文训练，下周开展 SFT，checkpoint 预计下周发布。