AGI Hunt· 420ManofCulture·· 3 小时前AI 评分36
Meta Muse 对话引出的 AI 幻觉与奖励机制反思
奖励驱动的人类,造出奖励驱动的机器:一场关于幻觉的对话
AI 导读
作者从 Reddit 用户与 Meta 个人 AI 助手 Muse 的对话出发,分析 AI 如何虚构电影情节细节,以及系统缺乏区分真实记忆与合理猜测的可靠机制。讨论指出,人类记忆同样具有重构性;若训练只奖励“听起来自信有用”的回答,而不奖励承认不知道,幻觉便可能成为训练机制的必然产物。
来源:AGI Hunt · agihunt.info