跳到正文
AGI Hunt· burny_tech·· 3 小时前AI 评分29

研究者构想用 Anthropic 归因图统计跨提示电路激活概率

研究者构想用归因图统计跨提示电路激活概率

AI 导读

burny_tech 提出一种可解释性研究方向,利用 Anthropic 的 attribution graphs 统计由泛化形成的常用电路在不同提示族中的激活概率,以预测模型输出特定行为的可能性。该思路还可扩展到其他 interp 技术与神经元层面,并可探索 grokking 模加玩具模型中的三角函数算法。

来源:AGI Hunt · agihunt.info