跳到正文
AGI Hunt· novasarc01·· 2 小时前AI 评分44

基准饱和后如何应对:研究者提出持续演化基准与 OOD 技能习得测量

基准饱和后怎么办:研究者提出持续演化基准与 OOD 技能习得测量

AI 导读

研究者指出,多数已饱和 benchmark 除数据污染外还存在分布过拟合,并主张构建包含未见任务族与开放式环境的持续演化基准。测量应覆盖学习效率、向独立创作新任务的迁移能力与 OOD 技能习得,并通过对照组区分基准特化训练和真实能力提升。

来源:AGI Hunt · agihunt.info