AGI Hunt· Sauers_·· 2 小时前AI 评分40
训练 Oracle 模型自动生成权重编辑以逆转微调
训练 Oracle 模型自动生成权重编辑逆转微调
AI 导读
作者训练了一个基于 Qwen3-8B 与 LoRA 的 Oracle 模型,用它读取微调后模型的激活和权重读数,直接输出逐层逐神经元的 scale/shift 权重编辑,以抵消微调效果。该方法可逆转微调并关闭约 61% 的 KL 差距,被作者视为可解释性方向的探索玩法。
来源:AGI Hunt · agihunt.info