亚马逊审计九个规则基准并发布BAR修订集
热点事件持续更新
亚马逊审计九个规则基准并发布BAR修订集
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
亚马逊团队审计九个用于评估模型按税务、法律和商业规则决策的公开基准，称部分答案键和评分代码存在错误，曾将模型的正确回答误判为错误，并发布修订基准集BAR。 该论文同时质疑RuleArena、LegalBench等基准的可信度，表明部分模型成绩可能受到评分实现缺陷影响。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 05:24
亚马逊论文审计发现多个规则类基准评分有误报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- AGI Hunt亚马逊论文审计发现多个规则类基准评分有误
亚马逊团队发表《Follow the Policy, Fail the Benchmark》，审计九个评估 AI 模型按税务、法律与商业规则决策的公开基准。研究发现部分答案键和评分代码存在错误，导致正确答案被误判，并发布修订基准集 BAR，对 RuleArena、LegalBench 等基准的可信度提出质疑。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。