Reddit 实用指南：用 20 个冻结任务评估 AI 智能体是否真正改进

Reddit 一篇长帖提出，用约 20 个来自真实工作流、包含完成定义与安全失败场景的冻结任务，即可评估 AI 智能体是否真正改进。每次改动提示词、工具、模型或脚手架后运行同一套任务，并保留 trace，评估任务完成、越权操作、求助时机、耗时与花费。该方法用于暴露局部提升造成的其他任务退化，但不能替代沙箱、密钥管理和预算上限。