mini-swe-agent评测基准疑遭训练污染

Xeophon称，实验室开始针对 mini-swe-agent 工具集进行训练，以抬高其评测分数，使这一原用于隔离测试模型真实能力的基准受到污染。 他表示，mini-swe-agent 缺少 compaction、multi-agent 和真实用户环境，其评测参考价值又因训练目标化而下降。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。