跳到正文
AIHOT·· 1 天前AI 评分73

Goodfire 提出 mechanistic shaping 框架,用内部表征抑制模型走捷径

Goodfire 提出 mechanistic shaping 框架 用内部表征抑制模型走捷径

AI 导读

Goodfire 提出 mechanistic shaping 框架,通过内部表征直接约束模型依赖或表达特定概念,以减少走捷径、迎合用户和奖励欺骗行为。实验覆盖胸片诊断中的混淆特征、DPO 后训练中的迎合问题,以及基于文件作弊的奖励欺骗场景,并提出评估训练后概念可监控性的五级层级。

来源:AIHOT · goodfire.com