跳到正文
AGI Hunt· menhguin·· 3 小时前AI 评分29

@menhguin 提出让开源模型读取自身权重与激活值的可解释性实验

博主提出让模型读取自身权重自证理解的可解释性实验

AI 导读

@menhguin 提出让开源模型查看自身权重和激活值,对比 post-training 前后的差异并猜测输出 token,以难以伪造的方式验证模型是否理解内部机制。该方案借助同一参数上的模型自编辑缩小混杂因素,但作者承认此类行为难以泛化,窄而具体的能力更可能被随机开启或关闭。

来源:AGI Hunt · agihunt.info