Q Labs展示无反向传播预训练方法
热点事件持续更新
Q Labs展示无反向传播预训练方法
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Q Labs在Dust技术报告中称，其团队利用随机前向评估的损失变化估计参数更新，在不进行反向传播的情况下预训练了GPT风格Transformer，实验规模达到2.43亿参数。 该方法在FineWeb数据上完成预训练，直接预算为2000万token；每次抽样可生成1448个扰动样本。扩大种群可提升参数更新与梯度的对齐程度，但会显著增加计算开销。
AI 根据报道生成 · 32 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月7日
- AGI HuntQ Labs 在 Dust 中展示无反向传播预训练 Transformer：随机前向扰动估计更新，实测至 2.43 亿参数
Q Labs 在 Dust 技术报告中展示了在 FineWeb 数据上预训练 GPT 风格 Transformer 的无反向传播方法，通过随机前向评估的 loss 变化估计参数更新。已验证至 2.43 亿参数，直接预训练预算达 2000 万 token，单次 draw 可生成 1,448 个扰动样本；更大种群可改善与梯度的对齐，但计算开销显著增加。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。