Noise speedrun 将无反向传播预训练提速约4000倍
热点事件持续更新
Noise speedrun 将无反向传播预训练提速约4000倍
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Noise speedrun 称，其用零阶优化（无反向传播）方式训练 transformer 预训练的速度在 10 天内从 1.76 小时提升到 1.6 秒，约提速 4000 倍。同一发布中的最新可复现纪录是在单节点 8×H100 上用 22.7 秒完成 FineWeb-30M 预训练并达到 3.5 val loss，此前纪录为 123 秒。 该团队计划从 3000 万 token 起步逐步扩大数据集验证效果，并表示 scaling（随规模扩展的表现）仍是最大的开放问题，目前结果尚限于小规模数据集。
AI 根据报道生成 · 2 小时前更新
最新进展10月30日 05:03
Noise speedrun：零阶优化 10 天提速 4000 倍，预训练仅需 1.6 秒报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- AGI HuntNoise speedrun：零阶优化 10 天提速 4000 倍，预训练仅需 1.6 秒
Noise speedrun 发布 10 天内，将 transformer 无反向传播预训练从 1.76 小时缩短至 1.6 秒，提速 4000 倍。其最新纪录是在单节点 8xH100 上以 22.7 秒完成 FineWeb-30M 预训练并达到 3.5 val loss，此前为 123 秒；scaling 仍是最大开放问题。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。