Kokotajlo称预训练loss可检验下游能力

Daniel Kokotajlo 认为，预训练 loss 是一个可检验的任务，也是几乎所有下游技能的极好代理指标；模型 loss 更低，意味着其大概率在各类任务上全面变强。他以 Claude Plays Pokemon、Blood on the Clocktower 等未专门训练的任务为例，指出近年模型在多个领域持续取得进步。 他同时强调，可检验任务并非天然的二元分类或固定范畴，而是取决于验证、评估任务所需成本和时间的连续变量。

AI 根据报道生成 · 28 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。