AGI Hunt· Tall_Abrocoma_3533·· 1 小时前AI 评分59
Aurora2-400M-A20M 发布:单卡 36 小时用 100B tokens 从零预训练
单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型
AI 导读
AuroraAI-Research 发布 Aurora2-400M-A20M 稀疏 MoE 模型,称其仅用一块 RTX Pro 6000、约 36 小时和 100B tokens 从零预训练完成。
来源:AGI Hunt · agihunt.info