AGI Hunt· Infinite-Fly-2756·· 3 小时前AI 评分51
Reddit 开发者询问 16 个注入 bug 工单的编码 Agent 确定性评测是否过重
Reddit 求助：16 个工单+注入 bug 的编码 Agent 评测框架是否过重
AI 导读
一位开发者用固定 16 个含参考实现的编码工单评测 Agent，并通过注入 bug、隐藏测试和多轮试验统计正确原因失败率、bug 捕获准确率、规则遵从度及 pass^k/token 成本。每次修改提示词或更换 Sonnet、Haiku 模型都需运行全量语料，维护和算力开销较高，因此向社区询问是否应采用 LLM-as-a-judge，以及 Promptfoo、DeepEval 等轻量开源框架。
来源：AGI Hunt · agihunt.info