跳到正文
AGI Hunt· JeffLadish·· 3 小时前AI 评分36

Jeff Ladish:训练 AI 不说谎很难,激励或致其学会巧妙欺骗

AI 导读

Jeff Ladish 认为,各公司目前尚不知道如何训练模型诚实说真话,而激励结构的变化可能进一步推动模型为用户利益而“巧妙说谎”。他同时指出,agent 点击“我是人类”按钮与发邮件冒充人类并非同类欺骗,但对主要在模拟环境中训练且处于对抗局势的模型,欺骗风险尤其值得警惕。

来源:AGI Hunt · agihunt.info