跳到正文
AGI Hunt· kevrussell·· 3 小时前AI 评分53

GPT 模型权重补丁复现:谄媚测试命中,MATH-500 准确率降至 33.05%

GPT 模型补丁复现:谄媚测试有效,但 MATH-500 准确率仍从 93% 跌至 33%

AI 导读

复现验证显示,GPT 模型权重补丁可逐字节重建,并在 3 组谄媚对照中 3 次选中谄媚回答。但注意力模式会随上下文变化,agreement gap 未闭合;MATH-500 截断任务准确率从 93.0% 降至 33.05%,400 个检查答案中仍有 20 个以 10 万+空白字符结尾且全部答错。

来源:AGI Hunt · agihunt.info