AGI Hunt· teortaxesTex·· 1 小时前AI 评分35
Inkling 2 系列模型 RL 训练成本估算:约 2000-4000 块 GPU,MXFP8 混合精度提速 20%
Inkling RL 训练成本估算:约 2000-4000 块 GPU,MXFP8 混合精度提速 20%
AI 导读
一条转发推文估算,Inkling 2 系列模型在 RL 阶段需约 3000 块 GPU,区间为 2000-4000 块。TML 称该配方令预训练实际提速 8%,RL 相对全 MXFP8 训练提速 20%;但 RL 前第 2/3/4 阶段仍运行在 ≥512k 上下文,相关 FLOPs 不可忽略。
来源:AGI Hunt · agihunt.info