跳到正文
AGI Hunt· rohanpaul_ai·· 2 小时前AI 评分51

亚马逊论文审计发现多个规则类基准评分有误

AI 导读

亚马逊团队发表《Follow the Policy, Fail the Benchmark》,审计九个评估 AI 模型按税务、法律与商业规则决策的公开基准。研究发现部分答案键和评分代码存在错误,导致正确答案被误判,并发布修订基准集 BAR,对 RuleArena、LegalBench 等基准的可信度提出质疑。

来源:AGI Hunt · agihunt.info