Apex-3训练结果与检查点公开

独立开发者 Prestigious-Taste-63 公开了从零训练的 Apex-3 MoE 模型及稳定 checkpoint，总参数 20.99B、每个 token 激活 3.36B，训练使用 70B tokens，供社区继续训练。 Apex-3 采用 64 个路由专家加 1 个共享专家、Top-4 路由，在 GH200 上使用 Muon 和 DiLoCo 训练；开发者同时发布训练代码与运行日志。作者提醒，算术任务仅含 64 题，标准误可达 ±6 个百分点。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。