跳到正文
热点事件持续更新

开源项目用闭式求解直接改写Qwen权重

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

GitHub 开源项目 qwen0.8B-wsp 提出一种不需要训练循环的“权重写入”方法:用闭式求解算出权重改变量,无需优化器和梯度,直接保存为普通 Hugging Face 模型文件夹。其做法是在模型的第 17 至 21 层读取激活,以目标输出嵌入为优化目标,自底向上跨 5 层分发修改,再通过最多 6 轮闭环校验调整权重。 据开发者 kastnerkyle 介绍并解析,编辑后模型的 488 个张量中只有 5 个发生变化,其余保持逐字节相同;项目提供 `--layer` 和 `--spread` 等参数供调节修改范围。该方法目前以 Qwen 0.8B 为演示对象,效果验证限于该项目自身给出的上述结果。

AI 根据报道生成 · 9 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月9日
  1. AGI Hunt
    开源项目 wsp 用闭式求解直接写入 Qwen 权重

    开源项目 qwen0.8B-wsp 通过闭式求解计算权重改变量,无需优化器和梯度,并直接保存为普通 HF 模型文件夹。方法在模型的 17至21 层读取激活,以目标输出嵌入为优化目标,自底向上跨 5 层分发修改,再通过最多 6 轮闭环校验调整权重。编辑后 488 个张量中仅有 5 个发生变化,其余保持逐字节相同,并提供 `--layer` 和 `--spread` 等参数。

本事件热度走势

可比范围当前
8
可比范围峰值
1011月9日 10:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。