前向预训练在Noise基准追平反向传播

Emanuele Rodăola报告称，其仅使用前向传播、无需 autograd 的预训练方法，在 Noise 基准上用 8×H100 运行 2.5 分钟取得 val 3.704；在相同模型、数据和优化器下，反向传播的得分为 3.712，因此被报告为追平。此前该方法在 Boost→Cut 上的纪录为 val 3.945、耗时 7.6 分钟。 这一结果通过 data-free 初始化、权重尾部平均、跳过部分 attention credit、重叠集合通信和编译前向计算实现，结论目前限于 Noise 基准及上述实验设置。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。