AGI Hunt· teortaxesTex·· 5 小时前AI 评分38
网友核算盘古(Pangu)与 DeepSeek V3 训练成本:方法差异或影响对比
网友核算盘古与DeepSeek V3训练成本:部分差距可能是方法问题
AI 导读
博主核算盘古(Pangu)与 DeepSeek V3 的训练成本和耗时后指出,参数规模、激活参数量及优化器等方法差异可能造成部分差距。盘古为 505B 参数、18B 激活,DeepSeek V3 为 671B、37B 激活;盘古还采用成本高于 AdamW 的 Muon 优化器,并叠加 mHC 和 SWA,原对比数据也可能大幅高估。
来源:AGI Hunt · agihunt.info