Oracle模型生成权重编辑以撤销微调
热点事件持续更新
Oracle模型生成权重编辑以撤销微调
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Sauers_训练并展示了一个基于 Qwen3-8B 加 LoRA 的 Oracle 模型，用微调后模型的激活和权重读数生成逐层逐神经元的 scale/shift 编辑，以抵消微调造成的行为变化；实验显示，该方法关闭了约 61% 的 KL 差距。 这一比例高于纯平均编辑的 56.0%、平均编辑加神经元重缩放的 58.5%及 ridge 回归的 56.8%。Oracle 使用来自 6 个模型家族的约 430 个微调样本训练，并在 99 个未见家族上验证；作者将结果定位为可解释性方向的探索。
AI 根据报道生成 · 2 小时前更新
最新进展11月8日 19:19
训练 Oracle 模型自动生成权重编辑以逆转微调报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- AGI Hunt训练 Oracle 模型自动生成权重编辑以逆转微调
作者训练了一个基于 Qwen3-8B 与 LoRA 的 Oracle 模型，用它读取微调后模型的激活和权重读数，直接输出逐层逐神经元的 scale/shift 权重编辑，以抵消微调效果。该方法可逆转微调并关闭约 61% 的 KL 差距，被作者视为可解释性方向的探索玩法。
- AGI HuntOracle 训练模型输出权重编辑，自动撤销 Qwen3-8B 微调效果
Oracle 通过输出逐神经元 scale/shift 撤销编辑，自动抵消 Qwen3-8B 微调带来的行为改变。该方法可关闭约 61% 的 KL 差距，优于纯平均编辑的 56.0%、平均+神经元重缩放的 58.5% 和 ridge 回归的 56.8%；使用约 430 个来自 6 个模型家族的微调样本训练，并在 99 个未见家族上验证。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。