AGI Hunt· jgarg27·· 3 小时前AI 评分60
开发者分享 LLM 评委准确率低于 Agent 的排查与改进
开发者实测:LLM 评委准确率竟低于被评测的 Agent
AI 导读
一位开发者在“生成搜索查询的 Agent + LLM 评委打分”系统中发现,基线测试中 Agent 9 题答对 8 题,LLM 评委仅答对 7 题。问题源于临时追加规则造成误判失败和误判通过;改进方案是建立含“应返回空”标签的固定标注集,并存储 Agent 运行结果,以便评委修改后低成本执行回归。
来源:AGI Hunt · agihunt.info