AGI Hunt· Sauers_·· 2 小时前AI 评分50
Oracle 训练模型输出权重编辑,自动撤销 Qwen3-8B 微调效果
训练模型输出权重编辑,可自动撤销微调效果
AI 导读
Oracle 通过输出逐神经元 scale/shift 撤销编辑,自动抵消 Qwen3-8B 微调带来的行为改变。该方法可关闭约 61% 的 KL 差距,优于纯平均编辑的 56.0%、平均+神经元重缩放的 58.5% 和 ridge 回归的 56.8%;使用约 430 个来自 6 个模型家族的微调样本训练,并在 99 个未见家族上验证。
来源:AGI Hunt · agihunt.info