跳到正文
热点事件持续更新

Meta发布AutoRefine改进代码裁判

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Meta发表AutoRefine论文,利用测试结果及变更合并或放弃等标签,自动重写LLM代码裁判提示词,并通过可弃权的“知情的 teacher”处理不确定判断。论文称,在Meta部署的agent上重校准后,裁判一致率由0.16升至0.51,留出集Scott’s π由0.36升至0.60;标签噪声实验中的噪声由25%降至20%。该方法旨在缓解代码裁判提示词随agent迭代而失效的问题。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. AGI Hunt
    Meta AutoRefine:用工作流结果自动校准 LLM 代码裁判,一致率从 0.16 升至 0.51

    Meta 发表论文 AutoRefine,利用测试结果及变更合并或放弃等标签自动重写 LLM 代码裁判提示词,并引入可弃权的“知情的 teacher”。在 Meta 部署的 agent 上重校准后,一致率从 0.16 升至 0.51;留出集 Scott's π 一致率从 0.36 升至 0.60,标签噪声实验则将噪声从 25% 降至 20%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。