跳到正文
AGI Hunt· Tall_Abrocoma_3533·· 1 小时前AI 评分59

Aurora2-400M-A20M 发布:单卡 36 小时用 100B tokens 从零预训练

单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型

AI 导读

AuroraAI-Research 发布 Aurora2-400M-A20M 稀疏 MoE 模型,称其仅用一块 RTX Pro 6000、约 36 小时和 100B tokens 从零预训练完成。

来源:AGI Hunt · agihunt.info