MaxxBench揭示编码基准的格式敏感性
热点事件持续更新
MaxxBench揭示编码基准的格式敏感性
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
notesbydev发布的MaxxBench研究线索称，六种编码智能体配置在DeepSWE基准上的得分接近，均约为74%，彼此差距不到1.5分；但将文件名改为小写或要求使用UTC时间戳后，最高与最低分差扩大至23分。 这表明编码智能体的基准成绩不仅取决于任务内容，也会受到指令格式与智能体训练或执行习惯是否匹配的影响。
AI 根据报道生成 · 50 分钟前更新
最新进展11月15日 00:46
MaxxBench：微改任务格式，编码智能体成绩骤差 23 分报道时间线
沿着报道，了解事件的不同侧面。
11月15日
- AGI HuntMaxxBench：微改任务格式，编码智能体成绩骤差 23 分
MaxxBench 发布研究线索：六种编码智能体配置在 DeepSWE 基准上的得分相差不到 1.5 分，均约为 74%。仅将文件名改为小写或要求 UTC 时间戳，分差便扩大至 23 分，说明基准成绩还受任务格式契合度影响。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。