nanoGPT式30M训练提速至22.89秒
热点事件持续更新
nanoGPT式30M训练提速至22.89秒
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
qlabs-eng/noise仓库的PR #52刷新Track 2速度纪录：在单节点8张H100、固定seed 0的条件下，30M参数训练以3.4976验证损失完成，用时22.89秒。AGI Hunt称，这一成绩较此前499.6秒的纪录快21.8倍，也较PR #51的123.2秒快5.4倍。 此次优化包括“Cut with two single roots”结构改动，以及融合Gluon chain kernel与bf16集合通信重叠；训练沿用PR #51的identity phase和端部merge流程，不同运行间验证损失波动约为±0.0015。
AI 根据报道生成 · 3 小时前更新
最新进展10月29日 20:42
nanoGPT 式速度纪录再破：30M 参数训练从 499.6 秒降至 22.89 秒报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- AGI HuntnanoGPT 式速度纪录再破：30M 参数训练从 499.6 秒降至 22.89 秒
qlabs-eng/noise 仓库 Track 2 的 30M 参数速度纪录被 PR #52 刷新，单节点 8×H100 跑出 3.4976 验证损失仅用 22.89 秒，较此前纪录快 21.8 倍。优化包括 Cut with two single roots、融合 Gluon chain kernel 与 bf16 集合通信重叠，运行间验证损失波动约 ±0.0015。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。