开源项目用闭式求解直接改写Qwen权重
热点事件持续更新
开源项目用闭式求解直接改写Qwen权重
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
GitHub 开源项目 qwen0.8B-wsp 提出一种不需要训练循环的“权重写入”方法:用闭式求解算出权重改变量,无需优化器和梯度,直接保存为普通 Hugging Face 模型文件夹。其做法是在模型的第 17 至 21 层读取激活,以目标输出嵌入为优化目标,自底向上跨 5 层分发修改,再通过最多 6 轮闭环校验调整权重。 据开发者 kastnerkyle 介绍并解析,编辑后模型的 488 个张量中只有 5 个发生变化,其余保持逐字节相同;项目提供 `--layer` 和 `--spread` 等参数供调节修改范围。该方法目前以 Qwen 0.8B 为演示对象,效果验证限于该项目自身给出的上述结果。
AI 根据报道生成 · 9 小时前更新
最新进展11月9日 08:52
开源项目 wsp 用闭式求解直接写入 Qwen 权重报道时间线
沿着报道,了解事件的不同侧面。
11月9日
- AGI Hunt开源项目 wsp 用闭式求解直接写入 Qwen 权重
开源项目 qwen0.8B-wsp 通过闭式求解计算权重改变量,无需优化器和梯度,并直接保存为普通 HF 模型文件夹。方法在模型的 17至21 层读取激活,以目标输出嵌入为优化目标,自底向上跨 5 层分发修改,再通过最多 6 轮闭环校验调整权重。编辑后 488 个张量中仅有 5 个发生变化,其余保持逐字节相同,并提供 `--layer` 和 `--spread` 等参数。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1011月9日 10:00
- 近 24 小时变化
- –
02.557.510
10:0012:0014:0016:0018:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。