跳到正文
AGI Hunt· Xuyuan Xiong·· 2 小时前AI 评分34

Looped Transformer 近 600 次训练研究:全量 BPTT 优于截断反向传播

近600次训练证明:Looped Transformer 全量BPTT优于截断反向传播

AI 导读

港大 MMLab 与 Yale 团队通过近 600 次训练证明,在联合优化前后向循环次数时,Looped Transformer 的 scaling law 仍偏好全量 BPTT。算力匹配对比中,更少循环的全量 BPTT 一致胜过同算力截断设置;固定模型大小时,最优循环数与训练 token 预算随算力增长。

来源:AGI Hunt · agihunt.info