Agent榜单评测错误足以改变排名
热点事件持续更新
Agent榜单评测错误足以改变排名
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
arXiv论文作者审计HAL和tau2-bench的公开运行记录后称，评测流程存在四类不会报错的静默错误，足以改变Agent榜单排名；补评后，原有13分差距变为平局。 论文还称，使用新版评分器重评tau2-bench后，部分分数漂移7分至2.5分，其中一个telecom案例的分数变动82分，但运行过程未显示任何错误提示。
AI 根据报道生成 · 1 小时前更新
最新进展11月10日 20:01
arXiv 论文揭示 Agent 榜单四类静默 bug，13 分差距实为平局报道时间线
沿着报道，了解事件的不同侧面。
11月10日
- AGI HuntarXiv 论文揭示 Agent 榜单四类静默 bug，13 分差距实为平局
arXiv 论文《Silent Instrument Errors Reorder Agent Leaderboards》基于 HAL 和 tau2-bench 的公开运行记录，发现四类未报错的评测错误，足以重排 Agent 榜单。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。