跳到正文
AGI Hunt· chich2017·· 3 小时前AI 评分58

开发者复盘 AI 监工器的误报与改进方案

手动复核 AI 监工器:多数检查项错多对少,作者自曝踩坑全过程

AI 导读

一位开发者复盘了用于监测长 AI 对话的检查器,发现其存在追踪对象错误、对不可见工作误判和只计数不验证等问题。开发者撤回 10/0 的成绩,冻结两个关键检查项,并要求代码变更后对 30 个真实样本重新打分,目前诚实记录为 0/30。

来源:AGI Hunt · agihunt.info