VerifierBench 用 222 个任务实测 LLM Agent 验证器可靠性

宾大、UIUC、UC Berkeley、NYU 等机构团队发布 VerifierBench，评估 AI 智能体为任务生成可执行验证器的可靠性。基准覆盖工具调用、基于状态和代码验证三类任务，包含 222 个任务与 4,993 个隐藏测试用例。研究发现，智能体生成的验证器常因隐含假设错误拒绝正确解，论文建议测试验证器对多样化正确答案的接受度，因为错误验证器会影响 RL 中的奖励与合成训练数据过滤。