AGI Hunt· kevrussell·· 3 小时前AI 评分44
「诚实电路」遭质疑:kevrussell 承认欺骗探针误报率达 12.40%-68.99%
「诚实电路」遭质疑:作者承认欺骗探针误报率高达 12-69%
AI 导读
kevrussell 回应「诚实电路」称谓并承认欺骗探针对照不足,按最佳 AUROC 选择时误报率为 12.40%,按召回率选择时虽捕获全部 165 个欺骗样本,误报率却达 68.99%。他还表示,Astra 虽在 3 组配对中识别出谄媚者,但 head 10.2 模式会随上下文漂移,patch 测试也未缩小「一致性差距」。
来源:AGI Hunt · agihunt.info