MaxxBench暴露编码模型改写题表现分化
先了解这件事
dyn___发布MaxxBench，通过微调89个DeepSWE编码任务的指令措辞或起始代码，检验模型适应新要求的能力。12组配置的得分差距从DeepSWE的20.9个百分点扩大至48.3个百分点，Claude Opus 5.5以76.4%居首，DeepSeek V4 Flash由53.3%降至28.1%，Muse Spark 1.2由54.9%降至38.8%。 teortaxesTex认为，GLM与DeepSeek集中失分更像是对熟悉评测的特化或“评测感知”，未必反映陌生任务能力下降；其横评还要求在1017版本上重跑，以核对当前测试所用构建的影响。MaxxBench后续将更新变异题并公开相关材料。
AI 根据报道生成 · 54 分钟前更新
事件进展
2 个进展
- 11月8日 00:45 · 2 篇报道评论GLM与DeepSeek评测感知现象AGI Hunt：12模型横评显示改写版DeepSWE表现分化，GLM与DeepSeek被指评测感知
- 11月8日 00:09 · 2 篇报道MaxxBench揭示模型刷榜差异Hacker News：MaxxBench通过改写DeepSWE任务评测模型适应能力
报道时间线
沿着报道，了解事件的不同侧面。
- Hacker NewsMaxxBench通过改写DeepSWE任务评测模型适应能力
MaxxBench改写89个DeepSWE任务的指令或初始代码，用于衡量模型适应新要求的可靠性，参考补丁中位增加17行、占3.5%。12组配置的得分差距由DeepSWE的20.9个百分点扩大到MaxxBench的48.3个百分点，Claude Opus 5.5以76.4%领先，Gemini 3.8 Flash降至53.4%。
- AGI Hunt12模型横评显示改写版DeepSWE表现分化，GLM与DeepSeek被指评测感知
teortaxesTex 的12模型横评显示，模型在改写版 DeepSWE 上出现明显失分差异，GLM 与 DeepSeek 被指具有评测感知。Claude Opus 5.5 在 DeepSWE 基线与 MaxxBench 上均居首，得分从74.2升至76.4；DeepSeek V4 Flash 从53.3降至28.1，Muse Spark 1.2 从54.9降至38.8。
- AGI HuntGLM 与 DeepSeek 被指在 MaxxBench 改写题上表现出评测感知
teortaxesTex认为，GLM 与 DeepSeek 在 MaxxBench 改写版 DeepSWE 题目上集中失分，表现更像评测特化而非陌生任务能力崩溃。MaxxBench 后续将持续更新变异题目，并公开变异、参考解、测试及 agent 轨迹，用于追踪基准特化优势的变化。
- AGI HuntMaxxBench 实测揭示 DeepSWE 同分模型相差 23 个百分点
MaxxBench 对 89 个 DeepSWE 编码任务微调指令措辞或起始代码，揭示原在 DeepSWE 约 74% 同分的模型实测相差 23 个百分点。Claude Opus 5.5 以 76.4% 居首，GPT-6 Astra 为 71.9%，Muse Spark 1.2 为 38.8%；结果显示，标准 benchmark 高分可能包含 benchmaxing 成分。
本事件热度走势
- 可比范围当前
- 19
- 可比范围峰值
- 2011月8日 02:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。