跳到正文
热点事件持续更新

CMU与MBZUAI发布IdeaTaste研究提案基准

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

CMU与MBZUAI团队发布IdeaTaste基准,评测大语言模型能否提出与人类研究者实际成果相匹配的论文选题:受测模型的引用匹配约为人类社区的26%,想法匹配仅约18%。 该基准让6个当代语言模型基于2025年的文献快照撰写研究提案,再与同一研究社区在2026年实际发表的论文比对,从引用和核心想法两个层面衡量模型的“研究品味”,覆盖4个研究领域、超过9万份提案。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. AGI Hunt
    CMU 与 MBZUAI 发布 IdeaTaste:LLM 引用匹配约为人类 26%,想法匹配仅约 18%

    CMU 与 MBZUAI 团队发布 IdeaTaste benchmark,以文献快照和实际论文比对衡量 LLM 的研究品味。评测覆盖 6 个当代语言模型、4 个研究领域及超过 9 万份提案,LLM 的引用匹配约为人类社区的 26%,想法匹配仅约 18%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。