AGI Hunt· CatAstro_Piyush·· 2 小时前AI 评分45
Goodfire 发布 VPD 方法:将语言模型参数分解为可解释子组件
Goodfire 发布 VPD 方法:把语言模型参数分解成可解释子组件
AI 导读
Goodfire 发布《Interpreting Language Model Parameters》研究,提出对抗性参数分解方法(adVersarial Parameter Decomposition, VPD),用于解释语言模型参数与非线性计算机制。VPD 将参数分解为多个子组件,通过优化使分解在大量消融及对抗性破坏性消融下仍保持输入输出行为,以少量子组件解释模型行为。
来源:AGI Hunt · agihunt.info