跳到正文
AGI Hunt· _reachsumit·· 3 小时前AI 评分49

AutoRAGBench:智能体从零开发 RAG 系统,GPT-6.1 得分 56.1 超人类基线

AutoRAGBench:智能体从零造 RAG 系统,GPT-6.1 得分 56.1 超人类基线

AI 导读

新 benchmark AutoRAGBench 首次系统评估 LLM 智能体能否在开放代码空间中从零开发 RAG 系统,共设 9 个任务、不给起始代码与指定策略,单个 H800 GPU 上限 6 小时。评测 9 种智能体配置,最高分为 GPT-6.1 Sol + Codex CLI,平均 56.1 分,超过人类 SOTA 组合的 44.4 分。论文并分析了各配置的开发轨迹。

来源:AGI Hunt · agihunt.info