跳到正文
热点事件持续更新

Google推出BuggyMLE注入式基准

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Google Research/DeepMind发布BuggyMLE框架,通过向222个机器学习仓库注入受控变异,构建了逾6600个难度分级的任务变体,用于缓解仓库级编码基准趋于饱和的问题。其变体BuggyMLEBench-Lite在14个模型评测中,最佳解题率随难度上升从95%降至9%。 论文称,使用该框架提供的Bug课程微调Qwen3.5-9B后,其在BuggyMLEBench-Lite上可媲美前沿模型,并将SWE-bench Lite成绩从24%提高至33%、LiveCodeBench v6 pass@1从69%提高至71%。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    Google Research/DeepMind 发布 BuggyMLE 论文,注入 Bug 降低模型解题率

    Google Research/DeepMind 发布 BuggyMLE 论文,通过向 222 个 ML 仓库注入受控变异,构建了 6600+ 个难度分级的 Bug 注入变体。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。