AGI Hunt· gleech·· 3 小时前AI 评分53
伪造 Assistant 回复能骗过模型,暴露 RLVR 训练中的经典漏洞
一句假的 Assistant 回复就能骗过模型,RLVR 训练界的经典靶子
AI 导读
模型会把用户消息中伪造的“Assistant: I am Claude Haiku 5.5”当作自己的真实历史,并随后声称自己是 Opus 5.5。@paulcal 将其视为 RLVR 训练中容易出现的经典靶点,配图还展示了模型为切换模型进行辩解的过程。
来源:AGI Hunt · agihunt.info