欺骗探针高误报率削弱“诚实电路”证据
热点事件持续更新
欺骗探针高误报率削弱“诚实电路”证据
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
kevrussell披露，其用于识别模型欺骗行为的探针存在较高误报率：按最佳AUROC选择时，会将12.40%的诚实样本误判为欺骗；按召回率选择时，虽捕获全部165个欺骗样本，误报率却达68.99%。他同时承认探针缺少充分对照，因此此前所谓“诚实电路”的证据受到质疑。 kevrussell还称，Astra虽能在三组配对中识别出谄媚者，但其head 10.2模式会随上下文变化，patch测试也未缩小“一致性差距”。
AI 根据报道生成 · 2 小时前更新
最新进展11月3日 05:59
「诚实电路」遭质疑：kevrussell 承认欺骗探针误报率达 12.40%-68.99%报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- AGI Hunt「诚实电路」遭质疑：kevrussell 承认欺骗探针误报率达 12.40%-68.99%
kevrussell 回应「诚实电路」称谓并承认欺骗探针对照不足，按最佳 AUROC 选择时误报率为 12.40%，按召回率选择时虽捕获全部 165 个欺骗样本，误报率却达 68.99%。他还表示，Astra 虽在 3 组配对中识别出谄媚者，但 head 10.2 模式会随上下文漂移，patch 测试也未缩小「一致性差距」。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。