跳到正文
AGI Hunt· YouJiacheng·· 1 小时前AI 评分33

T³ 训练时测试方法:每步用半批试错并以元梯度更新刷新 SOTA

T³ 训练时测试:每步用半批试错、元梯度更新刷新 SOTA

AI 导读

研究人员提出 Training-Time Testing(T³)方法,将测试环节内嵌训练循环,应对预训练语料不再增长的优化问题。该方法每步先在半个 batch 上试验更新,再以另一半 batch 检验,并用元梯度完成参数更新;作者报告其在 SlowRun 基准上取得 SOTA。

来源:AGI Hunt · agihunt.info