跳到正文
AGI Hunt· kastnerkyle·· 9 小时前AI 评分60

开源项目 wsp 用闭式求解直接写入 Qwen 权重

开源项目 wsp:零梯度闭式求解,直接把事实写进 Qwen 权重

AI 导读

开源项目 qwen0.8B-wsp 通过闭式求解计算权重改变量,无需优化器和梯度,并直接保存为普通 HF 模型文件夹。方法在模型的 17至21 层读取激活,以目标输出嵌入为优化目标,自底向上跨 5 层分发修改,再通过最多 6 轮闭环校验调整权重。编辑后 488 个张量中仅有 5 个发生变化,其余保持逐字节相同,并提供 `--layer` 和 `--spread` 等参数。

来源:AGI Hunt · agihunt.info