AGI Hunt· teortaxesTex·· 3 小时前AI 评分41
Goodfire 发布「机制塑形」框架:用可解释性信号训练模型
Goodfire 发「机制塑形」:用可解释性信号训练模型
AI 导读
Goodfire 与 Thomas Fel 等研究者发布「机制塑形」(mechanistic shaping)框架,将模型内部表征转化为训练反馈信号。该方法在数学上严格统一,可跨领域、跨任务、跨模态使用,并通过模型自身概念编写训练规则,抑制模型已经知道且可被观测的 reward hacking 行为。
来源:AGI Hunt · agihunt.info