研究 LLM 评判科研想法新颖性的可靠性

Ai2 发布论文、基准、数据和代码，评估 LLM 判断科研想法新颖性的可靠性。六个 LLM 评审对设置变化高度敏感，仅改写提示词就可能使准确率下降超过 50 个百分点；增加检索和推理未带来一致改善，两个专用评审系统的表现还低于简单的 Claude Opus 4.6 基线。