跳到正文
AGI Hunt· xennygrimmato_·· 3 小时前AI 评分41

研究者用激活定向编辑约 13.1 万个权重,修复模型循环推理

直接改 13.1 万个权重:研究者用激活定向修复模型循环推理

AI 导读

研究者通过对比循环推理与正常轨迹的激活,定位区分两者的方向,并在两个 MLP 层编辑约 13.1 万个权重,以对抗模型重复循环。修复的 579 个练习答案中有 576 个本质上是循环修复,模型通过停止重复输出、将结果控制在 token 限制内,间接改善任务表现。

来源:AGI Hunt · agihunt.info