AGI Hunt· TibboPlayz·· 4 小时前AI 评分53
Grok 4.7 与 Claude Haiku 5.5 盲评同一模型任务，分差达 28 分
两个 AI 评委给同一批模型打分差 28 分,LLM-as-judge 可靠性遭质疑
AI 导读
TibboPlayz 用同一商业任务让 Grok 4.7 和 Claude Haiku 5.5 盲评多个模型，两名评委对同一模型的评分分差达到 28 分。任务要求把 4 封英国供应商邮件线索转换为台账 JSON，并处理退货、汇率变化、VAT 免税许可费及页脚中的 prompt injection；完成作答的模型均算对最终总额并忽略 £500 附加费，但每行 VAT 均计算错误。
来源：AGI Hunt · agihunt.info