AGI Hunt· dhadfieldmenell·· 1 小时前AI 评分60
Anthropic TASTE 基准藏有捷径,移除后强模型得分跌破随机水平
Anthropic TASTE 基准藏捷径:移除后强模型跌破随机水平
AI 导读
Anthropic 的 TASTE 基准被发现存在可使强模型失真的捷径,移除后 28 个模型的得分与能力呈负相关(r=-0.60, p<0.001)。Haiku 4.5 得分最高,为 61.5%;Opus 5.5 与 Fable 5.1/5.2 接近 50% 随机线,9 个 OpenAI 模型中有 8 个显著低于随机,GPT-6 Sol 仅为 21.2%。
来源:AGI Hunt · agihunt.info