Ai2发布研究点子新颖性基准
热点事件持续更新
Ai2发布研究点子新颖性基准
2 篇报道2 个报道来源1 小时前更新
先了解这件事
AI 综述
艾伦人工智能研究院（Ai2）发布“Old Ideas, Novel Problems”基准及受控研究，测试大模型判断研究点子新颖性的可靠性；结果显示，模型裁判的表现并不稳定。 基准包含154组配对，比较经ICLR评审认可的人写idea与Claude Sonnet 4.5生成的idea。受控实验中仅改变提示措辞，GPT-5.4的判断准确率就从93.5%降至40.9%，表明其新颖性判断明显受提示方式影响。Ai2同时公开了基准、数据、代码和自动化流水线。
AI 根据报道生成 · 38 分钟前更新
最新进展10月28日 00:36
Ai2 发布 LLM 研究点子新颖性判断基准，提示措辞显著影响准确率报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- AGI HuntAi2 发布 LLM 研究点子新颖性判断基准，提示措辞显著影响准确率
Ai2 发布「Old Ideas, Novel Problems」基准及受控研究（arXiv 2610.02022），检验 LLM 判断研究点子新颖性的能力。测试包含 154 组配对，比较经 ICLR 评审认可的人写 idea 与 Claude Sonnet 4.5 生成的 idea；仅改变提示措辞，GPT-5.4 的判断准确率就从 93.5% 降至 40.9%。
10月27日
- AIHOTAi2 发布 Old Ideas, Novel Problems 研究与 benchmark，揭示 LLM 新颖性裁判不稳定
Ai2 发布研究 Old Ideas, Novel Problems 及配套 benchmark、数据、代码和自动化流水线，用于测试 LLM 作为研究想法新颖性裁判的可靠性。相关结果显示，这类 LLM 裁判的新颖性判断并不稳定。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。