Ai2评估LLM评判科研想法新颖性

Ai2发布论文、基准、数据和代码，评估大语言模型判断科研想法新颖性的可靠性。测试显示，六个模型评审对提示词设置高度敏感，仅改写提示词就可能使准确率下降超过50个百分点；增加检索和推理未带来一致改善，两个专用评审系统表现还低于Claude Opus 4.6基线。 该研究使用“老想法、新问题”和LLM新颖性评判基准，其中“生成想法不如人类原创”仅是研究采用的弱标签，并非逐项核实后的新颖性结论，因此结果主要反映受测系统在特定设置下的判断表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。