无反向传播预训练追平 backprop：8×H100 上 2.5 分钟达 val 3.704

Emanuele Rodăola 报告，无反向传播预训练在 Noise benchmark 上以 8×H100、2.5 分钟达到 val 3.704，追平相同模型、数据和优化器下 backprop 的 3.712。全程不使用 autograd，并通过 data-free start、权重尾部平均、跳过部分 attention credit、重叠集合通信和编译 forward pass 等技术实现。