跳到正文
热点事件持续更新

AutoRAGBench评测智能体开发RAG能力

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AutoRAGBench公布首轮评测结果:在9个从零开发RAG系统的任务中,GPT-6.1 Sol搭配Codex CLI的9种智能体配置得分最高,平均56.1分,高于人类SOTA组合的44.4分。 评测要求智能体分析数据、实现检索增强生成管线,并根据实验反馈迭代;任务不提供起始代码或指定策略,每种配置可在单张H800 GPU上运行最多6小时。论文同时分析了各配置的开发轨迹。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. AGI Hunt
    AutoRAGBench:智能体从零开发 RAG 系统,GPT-6.1 得分 56.1 超人类基线

    新 benchmark AutoRAGBench 首次系统评估 LLM 智能体能否在开放代码空间中从零开发 RAG 系统,共设 9 个任务、不给起始代码与指定策略,单个 H800 GPU 上限 6 小时。评测 9 种智能体配置,最高分为 GPT-6.1 Sol + Codex CLI,平均 56.1 分,超过人类 SOTA 组合的 44.4 分。论文并分析了各配置的开发轨迹。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。