跳到正文
AGI Hunt· cnakazawa·· 3 小时前AI 评分54

开发者实测揭示 Agent 基准可能偏袒特定实现

自己造基准自己赢:开发者实测揭穿 agent 基准的系统性作弊

AI 导读

cnakazawa 转述开发者 boshenc 对 Agent 基准公平性的质疑,基准设计者可能围绕自身实现设计题目。tsrs 的首个基准曾加入其项目中并不存在的 `--extendedDiagnostics` 参数,使 TypeScript 显得异常慢。作者借此强调,只有亲手尝试操纵基准,才能了解基准可能被怎样影响。

来源:AGI Hunt · agihunt.info