AGI Hunt· omarsar0·· 4 小时前AI 评分54
Meta 论文提出 Benchmark Factory,用 multi-agent 自动生成编码基准
Meta 发布 Benchmark Factory:用 agent 从自有代码库自动生成编码评测
AI 导读
Meta 论文提出 Benchmark Factory,通过 multi-agent 元循环将团队已合并的生产代码变更自动转化为编码基准。系统利用已知模型强弱关系作为质量锚点,反复诊断并修复任务查询、提示词和配置;在 Meta 5 个开发者群体的基准中,专家审计任务质量为 2.3/3,10 项群体间对比有 9 项方向正确。
来源:AGI Hunt · agihunt.info