跳到正文
AGI Hunt· suchenzang·· 3 小时前AI 评分30

前 OpenAI 研究员调侃:canary string 是只有对齐圈想得出的安全招

前 OpenAI 研究员调侃:canary string 是只有对齐圈想得出的安全招

AI 导读

前 OpenAI 研究员 suchenzang 调侃 OpenAI 红队报告中的 canary string:靠一行字符串阻止数据进入训练集,更多是象征性防线。该字符串声明红队评测数据绝不应进入未来模型的训练语料,并给出 alignment.org/canary 的 GUID,但难以构成技术上可执行的安全措施。

来源:AGI Hunt · agihunt.info