TASTE基准被发现存在评分捷径
热点事件持续更新
TASTE基准被发现存在评分捷径
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
fzzq2002等人在Anthropic的TASTE基准中发现一处简单捷径;移除该捷径后,28个模型的得分与模型能力呈显著负相关,强模型整体低于随机水平,说明原基准可能失真。 移除捷径后,Haiku 4.5得分最高,为61.5%;Opus 5.5及Fable 5.1/5.2接近50%的随机线。OpenAI表现尤其突出,9个受测模型中有8个显著低于随机,GPT-6 Sol仅得21.2%。TASTE用于衡量大模型对AI安全研究的判断品味,相关结果表明其原评测结果不能直接反映模型能力。
AI 根据报道生成 · 1 小时前更新
最新进展11月17日 06:23
Anthropic TASTE 基准藏有捷径,移除后强模型得分跌破随机水平报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AGI HuntAnthropic TASTE 基准藏有捷径,移除后强模型得分跌破随机水平
Anthropic 的 TASTE 基准被发现存在可使强模型失真的捷径,移除后 28 个模型的得分与能力呈负相关(r=-0.60, p<0.001)。Haiku 4.5 得分最高,为 61.5%;Opus 5.5 与 Fable 5.1/5.2 接近 50% 随机线,9 个 OpenAI 模型中有 8 个显著低于随机,GPT-6 Sol 仅为 21.2%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。