跳到正文
AGI Hunt· RobertTLange·· 4 小时前AI 评分43

nanoGPT 式速度纪录再破:30M 参数训练从 499.6 秒降至 22.89 秒

nanoGPT 式速度纪录再破:30M 训练从 499 秒压到 22.9 秒

AI 导读

qlabs-eng/noise 仓库 Track 2 的 30M 参数速度纪录被 PR #52 刷新,单节点 8×H100 跑出 3.4976 验证损失仅用 22.89 秒,较此前纪录快 21.8 倍。优化包括 Cut with two single roots、融合 Gluon chain kernel 与 bf16 集合通信重叠,运行间验证损失波动约 ±0.0015。

来源:AGI Hunt · agihunt.info