AGI Hunt· burny_tech·· 58 分钟前AI 评分49
用 1 万个任务定位 reward hacking:机制可解释性的数据工程思路
机制可解释性也是数据问题:1 万个任务即可定位 reward hacking
AI 导读
sensho 提出将机制可解释性视为数据工程,并用 1 万个任务定位 reward hacking。任务包含 5000 个明确定义 reward hacking 的样本和 5000 个干净样本,通过大量 rollout 比较模型激活差异,寻找内部激活簇与发生概率的对应关系。他认为这主要是繁琐的数据工作,而非算法或架构上的完全突破。
来源:AGI Hunt · agihunt.info