Agent 方向性基准设计难题：任务自相矛盾时如何为「敢于质疑」打分

HyperHat 创始人在 Reddit 分享构建 agent 方向性基准时的设计思路：当任务要求互相矛盾时，正确做法是停下并追问优先级，而非硬着头皮执行。方案包括要求 agent 指出冲突所在、只停下来无法说明冲突则得较低分，用可正常完成的对照组任务配对以防「质疑一切」刷分，并校验澄清是否真正落到最终实现。作者还留下开放问题：如何评估提问本身的质量，并向社区征集已有评测方案与对对照组设计的批评。