跳到正文
AGI Hunt· omarsar0·· 1 小时前AI 评分48

Meta AutoRefine:用工作流结果自动校准 LLM 代码裁判,一致率从 0.16 升至 0.51

Meta 论文 AutoRefine:用工作流结果自动校准 LLM 代码裁判,一致率 0.16 升至 0.51

AI 导读

Meta 发表论文 AutoRefine,利用测试结果及变更合并或放弃等标签自动重写 LLM 代码裁判提示词,并引入可弃权的“知情的 teacher”。在 Meta 部署的 agent 上重校准后,一致率从 0.16 升至 0.51;留出集 Scott's π 一致率从 0.36 升至 0.60,标签噪声实验则将噪声从 25% 降至 20%。

来源:AGI Hunt · agihunt.info