跳到正文
AGI Hunt· allen_ai·· 2 小时前AI 评分47

Ai2 评测细节:GPT-5.4 判定人类点子更新颖的比例随问法从 93.5% 跌至 40.9%

Ai2 评测细节:GPT-5.4 判人类点子更新的比例随问法从 93.5% 跌至 40.9%

AI 导读

Ai2 新颖性评测发现,GPT-5.4 在人类-人类配对中,被问“哪个点子被评审认为更新颖”时 93.5% 选对人类点子,直接问“哪个更新颖”时则降至 40.9%。提示词调整可能顾此失彼,增加推理或提供相关论文也不总能改善结果,两个专门构建的新颖性评委得分低于 Claude Opus 4.6 提示基线的 85 分。

来源:AGI Hunt · agihunt.info