AGI Hunt· irinarish·· 3 小时前AI 评分50
WhatIf-Bench 揭示时序模型外推短板:新情景成绩降至 -7%-50%
WhatIf-Bench 揭示时序模型外推短板:遇到新情景成绩跌至-7%~50%
AI 导读
Lacuna Research 团队发布 WhatIf-Bench,以 37,665 个任务评估时序模型的「干预感知」能力。模型读取已见协变量时相对朴素基线的技能分数为 48%-85%,外推至新协变量值后骤降至 -7%-50%,且前沿 LLM 总体表现最好。
来源:AGI Hunt · agihunt.info