AGI Hunt· AkariAsai·· 6 小时前AI 评分61
AI2 发布 Olmo-core MoE 训练技术报告,支持 1.2T 参数模型在 512 张 B300 上训练
AI2 发布 MoE 训练技术报告:重构 Olmo-core,最高 1.2T 参数跑在 512 张 B300 上
AI 导读
AI2 在 arXiv 发布《Supercharging Olmo-core for Efficient and Scalable MoE Training》,通过重构 Olmo-core,支持在最多 512 张 B300 GPU 上训练 12.9B 到 1.2T 参数的 MoE 模型。
来源:AGI Hunt · agihunt.info