AGI Hunt· jiqizhixin·· 1 小时前AI 评分65
SII 与 Xinxu AI 发布 801-30B-A3B-Base 预训练技术报告
801-30B-A3B 技术报告:拆解预训练自改进环,11.8 万亿 token 三个月炼成
AI 导读
SII 与 Xinxu AI 发布 801-30B-A3B-Base 及其预训练官方技术报告,探索在无法低成本重跑完整预训练时改进训练流程。报告将预训练拆分为基础设施调试、数据调试、配方环和评测集开发等小闭环,并通过共享上下文记录保存证据与失败尝试。团队从零训练的 30B-A3B MoE 基座模型使用 11.8 万亿 token,历时三个月完成,报告同时评测了基座模型与轻量监督模型。
来源:AGI Hunt · agihunt.info