跳到正文
AGI Hunt· krishnan·· 1 小时前AI 评分54

严谨评测智能体应设置留出验证集噪声门槛

评测防作弊的关键:留出验证集噪声门槛而非聪明提示词

AI 导读

一套严谨的智能体评测要求候选方案在留出验证集上以超过噪声余量的幅度击败现有方案,最终得分来自仅使用一次的隐藏测试集。评测期间模型权重保持不变,评测器、数据切分与算力预算全部锁定,Agent 无法改写评分机制。

来源:AGI Hunt · agihunt.info