蚂蚁发布仓库级代码搜索基准,公平评测下BM25追平稠密检索
先了解这件事
蚂蚁集团发布研究《Embeddings vs. Grep: Rethinking the Dense Advantage in Code Search》及配套的 Repo-Premium 仓库级代码搜索基准。在对模型与查询公平设置的评测中,稠密检索(embedding)相对传统关键词检索 BM25 的优势明显缩水,BM25 甚至可与其追平。 Repo-Premium 从 91 个真实仓库 2022—2026 年的 PR 中构建预注册测试池,覆盖 Python、JavaScript、TypeScript、Go、Rust 和 Java,并同时提供精选查询与原始查询,用于贴近真实仓库场景评估代码搜索方法。 需要说明的是,“BM25 可追平稠密检索”是该基准在自身公平评测设置下得出的结果,属蚂蚁集团发布的研究结论。
AI 根据报道生成 · 37 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AGI Hunt蚂蚁集团研究:公平评测下稠密检索代码搜索优势缩水
蚂蚁集团发布《Embeddings vs. Grep: Rethinking the Dense Advantage in Code Search》及 Repo-Premium 基准,测试公平条件下的代码搜索表现。基准基于 91 个真实仓库在 2022–2026 年间的 PR 构建,覆盖 Python、Java 等语言;结果显示,稠密检索优势明显缩水,传统 BM25 甚至可与其追平。
- AGI Hunt蚂蚁集团发布 Repo-Premium 代码搜索基准,公平评测下 BM25 可追平稠密检索
蚂蚁集团发布 Repo-Premium 仓库级代码搜索基准,基于 91 个真实仓库在 2022–2026 年的 PR 构建预注册测试池,覆盖 Python、JavaScript、TypeScript、Go、Rust 和 Java。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1011月18日 22:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。