开发者披露Agent基准操纵案例

开发者 boshenc 披露，Agent 基准可能因设计者围绕自身实现出题而对其他方案不公平；cnakazawa 转述了这一质疑。boshenc 实测发现，tsrs 的首个基准加入了其项目中并不存在的“--extendedDiagnostics”参数，使 TypeScript 运行速度显得异常慢，相当于为自身提供便利、给对手设置障碍。该案例显示，基准设计方式可能影响 Agent 的性能比较结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。