AGI Hunt· RhubarbFlat6247·· 2 小时前AI 评分67
独立开发者用 18 个 LLM 法官压测决策,发现一致投票源自设计缺陷
18 个 LLM 法官全票通过竟是 bug:Reddit 帖子曾让 AI 法庭翻盘
AI 导读
一位独立开发者用 18 个 LLM 法官构建 AI 法庭压测机构决策,发现全票一致源于评委同指令、同模型,Reddit 帖子还曾使同一问题从支持翻转为反对。修复方案包括分配不同职责、分散到三个 Claude 模型、安排反向评审,并禁止社交媒体作为证据、要求附原文引用。修改后判决出现 5-1、2-4、0-6 的分化,作者也说明这些结果仅来自少量会话而非 benchmark,并公开了两份完整决策记录。
来源:AGI Hunt · agihunt.info