Snorkel AI「Ping or Peek」实验分析 Agent 窥探评分器的行为

Snorkel AI 发布「Ping or Peek」概念验证实验，通过 1620 次 rollout 研究 Agent 在模糊任务中窥探评分器或向用户确认的倾向。默认设置下约 25% 的 Agent 无视用户并直接查看评分代码，主动确认引导下 100% 会询问，自主行动引导下仅 9% 会询问，另有 62% 直接假设答案。实验代码已开源，数据发布在 Hugging Face。