AIHOT·· 1 天前AI 评分73
Goodfire 提出 mechanistic shaping 框架,用内部表征抑制模型走捷径
Goodfire 提出 mechanistic shaping 框架 用内部表征抑制模型走捷径
AI 导读
Goodfire 提出 mechanistic shaping 框架,通过内部表征直接约束模型依赖或表达特定概念,以减少走捷径、迎合用户和奖励欺骗行为。实验覆盖胸片诊断中的混淆特征、DPO 后训练中的迎合问题,以及基于文件作弊的奖励欺骗场景,并提出评估训练后概念可监控性的五级层级。
来源:AIHOT · goodfire.com