跳到正文
Hacker News·· 2 小时前AI 评分61

MaxxBench通过改写DeepSWE任务评测模型适应能力

MaxxBench – "Nice DeepSWE score. But is it true?"

AI 导读

MaxxBench改写89个DeepSWE任务的指令或初始代码,用于衡量模型适应新要求的可靠性,参考补丁中位增加17行、占3.5%。12组配置的得分差距由DeepSWE的20.9个百分点扩大到MaxxBench的48.3个百分点,Claude Opus 5.5以76.4%领先,Gemini 3.8 Flash降至53.4%。

来源:Hacker News · maxxbench.unlap.ai