跳到正文
AGI Hunt· liuziwei7·· 1 小时前AI 评分62

微软发布 MAI Base 2:80B 激活参数、2.8T 总参数的 MoE 基座模型

微软发布 MAI Base 2:80B 激活/2.8T 总参 MoE,预训练 FLOPs 效率超 DeepSeek-V4-Pro-Base 4-12 倍

AI 导读

微软 AI 宣布完成 MAI Base 2 的预训练,采用 80B 激活参数、2.8T 总参数的 MoE 架构。该模型在 held-out 评测中超过被测开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4-12 倍,研究者还提到其视觉编码器方案可省去编码器预训练开销。

来源:AGI Hunt · agihunt.info