WhatIf-Bench揭示时序模型外推短板
热点事件持续更新
WhatIf-Bench揭示时序模型外推短板
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Lacuna Research 团队发布 WhatIf-Bench，以 37,665 个任务评估时序模型在干预条件变化下的预测能力。模型处理已见协变量时，相对朴素基线的技能分数为 48%—85%；外推至新协变量值后则降至 -7%—50%，显示其干预感知和外推能力明显不足，前沿大语言模型总体表现最佳。 该基准基于数据中心、电网、道路交通和水网等仿真器构建，是首个专门评估时序模型干预感知能力的大规模基准。
AI 根据报道生成 · 1 小时前更新
最新进展11月4日 00:31
WhatIf-Bench 揭示时序模型外推短板：新情景成绩降至 -7%-50%报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- AGI HuntWhatIf-Bench 揭示时序模型外推短板：新情景成绩降至 -7%-50%
Lacuna Research 团队发布 WhatIf-Bench，以 37,665 个任务评估时序模型的「干预感知」能力。模型读取已见协变量时相对朴素基线的技能分数为 48%-85%，外推至新协变量值后骤降至 -7%-50%，且前沿 LLM 总体表现最好。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。