AGI Hunt· irombie·· 2 小时前精选AI 评分76
LLM 评估为何波动远大于改进:5 次评测结果相差 73% 至 93%
5 次评测 73%~93%:LLM 评估的波动远大于你的「提升」
AI 导读
同一模型和评测重复 5 次,结果可从 73% 波动到 93%,温度设为 0 也无法消除不确定性。文章建议对整条执行轨迹评估工具调用正确性、任务完成度、步骤效率和计划遵循度,并通过多次重跑报告波动区间,避免把小于波动幅度的变化当作结论。
推荐理由
文章用重复评测揭示 LLM 结果波动,并给出轨迹评分、多次重跑和报告区间等可迁移的评估方法。
来源:AGI Hunt · agihunt.info