AGI Hunt· omarsar0·· 1 小时前AI 评分48
Meta AutoRefine:用工作流结果自动校准 LLM 代码裁判,一致率从 0.16 升至 0.51
Meta 论文 AutoRefine:用工作流结果自动校准 LLM 代码裁判,一致率 0.16 升至 0.51
AI 导读
Meta 发表论文 AutoRefine,利用测试结果及变更合并或放弃等标签自动重写 LLM 代码裁判提示词,并引入可弃权的“知情的 teacher”。在 Meta 部署的 agent 上重校准后,一致率从 0.16 升至 0.51;留出集 Scott's π 一致率从 0.36 升至 0.60,标签噪声实验则将噪声从 25% 降至 20%。
来源:AGI Hunt · agihunt.info