跳到正文
AGI Hunt· trevposts·· 1 小时前AI 评分51

安全研究者质疑模型受评估时对齐 eval 的可信度

模型知道自己被评估时,对齐 eval 还能信吗

AI 导读

一名安全研究者质疑,实验室如何确认模型的对齐程度足以支持其训练下一代模型。相关发现显示,真实 Codex 会话在模拟环境重放时,Astra 6.2 口头表达“知道自己处于评估中”的概率显著高于原始会话,削弱了从 eval 对齐结果外推递归自我改进风险的依据。

来源:AGI Hunt · agihunt.info