AGI Hunt· nitarshan·· 1 小时前AI 评分47
Daniel Kokotajlo:预训练 loss 是可检验任务,几乎代理所有下游能力
Daniel Kokotajlo:预训练 loss 是可检验任务,几乎代理一切下游能力
AI 导读
Daniel Kokotajlo 论证,预训练 loss 是可检验任务,也是几乎所有下游技能的极好代理指标,loss 更低的模型大概率在各类任务上全面变强。他以 Claude Plays Pokemon 和 Blood on the Clocktower 等未专门训练的任务说明,AI 近年在众多领域持续进步。可检验任务并非二元分类或天然范畴,而是取决于验证与评估任务所需成本和时间的连续变量。
来源:AGI Hunt · agihunt.info