跳到正文
AGI Hunt· Sauers_·· 2 小时前AI 评分50

Oracle 训练模型输出权重编辑,自动撤销 Qwen3-8B 微调效果

训练模型输出权重编辑,可自动撤销微调效果

AI 导读

Oracle 通过输出逐神经元 scale/shift 撤销编辑,自动抵消 Qwen3-8B 微调带来的行为改变。该方法可关闭约 61% 的 KL 差距,优于纯平均编辑的 56.0%、平均+神经元重缩放的 58.5% 和 ridge 回归的 56.8%;使用约 430 个来自 6 个模型家族的微调样本训练,并在 99 个未见家族上验证。

来源:AGI Hunt · agihunt.info