Q Labs 在 Dust 中展示无反向传播预训练 Transformer：随机前向扰动估计更新，实测至 2.43 亿参数

Q Labs 在 Dust 技术报告中展示了在 FineWeb 数据上预训练 GPT 风格 Transformer 的无反向传播方法，通过随机前向评估的 loss 变化估计参数更新。已验证至 2.43 亿参数，直接预训练预算达 2000 万 token，单次 draw 可生成 1,448 个扰动样本；更大种群可改善与梯度的对齐，但计算开销显著增加。