Ai2公布两套新颖性评测设置

Ai2称，其新颖性评测采用人类—人类、人类—AI两套配对测试集，分别比较新颖性证据强弱的点子，以及带新颖性证据的人类点子与假定新颖性较低的大模型基础点子。 两套测试均由评委模型执行两种任务：从每对点子中选出更新颖者，或对单个点子标注是否新颖。此次说明明确了评测对象与任务形式，未涉及具体得分或模型优劣结论。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。