Ai2 发布 LLM 研究点子新颖性判断基准，提示措辞显著影响准确率

Ai2 发布「Old Ideas, Novel Problems」基准及受控研究（arXiv 2610.02022），检验 LLM 判断研究点子新颖性的能力。测试包含 154 组配对，比较经 ICLR 评审认可的人写 idea 与 Claude Sonnet 4.5 生成的 idea；仅改变提示措辞，GPT-5.4 的判断准确率就从 93.5% 降至 40.9%。