跳到正文
AGI Hunt· JoshPurtell·· 1 小时前AI 评分57

JoshPurtell 解释模型评测中的 effort 档位设置

评测方披露方法:每个任务跑全部 effort 档位、每档 3 次 rollout 取最强档得分

AI 导读

JoshPurtell 说明其模型评测会对每个模型运行全部 effort 档位(如 low、max、xhigh),每个任务在每档进行 3 次 rollout,并取最强档位得分。由于不同模型的最佳档位不一致,统一覆盖全部档位可避免因设置不当而误判模型能力。

来源:AGI Hunt · agihunt.info