AGI Hunt· Prestigious-Taste-63·· 2 小时前AI 评分56
独立开发者公开 Apex-3 MoE 训练结果与稳定 checkpoint
个人从零训练 21B MoE(激活 3.36B),仅用 70B tokens 观察到涌现现象
AI 导读
独立开发者公开从零训练的 Apex-3 MoE 模型，总参数 20.99B、每 token 激活 3.36B，训练使用 70B tokens，并发布稳定 checkpoint 供社区继续训练。
来源：AGI Hunt · agihunt.info