前天文学家 Stephanie Jarmak 谈 Agent 评测：仅换评测框架成绩可差 30%

前天文学家 Stephanie Jarmak 提出，仅更换 Agent 评测框架，同一模型的成绩就可能波动 30%，公开 benchmark 只能用于初筛。她建议像设计实验一样设计 eval，包括贴近真实任务、多次重复运行、保留完整 trace，以及让度量指标匹配真正关注的目标；生产环境仍是最终测试，并需设置质量控制门与人工审核。