AGI Hunt· kevrussell·· 3 小时前AI 评分57
MATH-500 数据审计显示截断错误率从 93.0% 降至 33.05%
追查继续:MATH-500 截断错误从 93% 降至 33%,但 400 例中仍有 20 例死循环
AI 导读
kevrussell 继续审计模型评测数据,修复后的编辑版可逐字节重建,两个编辑矩阵均与公布哈希完全一致。MATH-500 截断错误率从 93.0% 降至 33.05%,但抽查的 400 个答案中仍有 20 个以超过 10 万个空白字符结尾,且全部为错误答案。
来源:AGI Hunt · agihunt.info