跳到正文
热点事件持续更新

MIT称GPT-6 Astra可直接改权重提升小模型成绩

3 篇报道2 个报道来源1 小时前更新

先了解这件事

AI 综述

MIT CSAIL团队(Takehi、Teoh、Zhang、Khattab)发布“权重空间编程”研究,称GPT-6 Astra能直接读取并修改神经网络权重,无需数据、损失函数、梯度或训练循环。在Qwen3.5-0.8B上,仅改动131,072个权重(约0.016%)并修复其推理死循环后,MATH-500从7.9%升至48.1%,IFEval从21.0%升至62.3%;另一实验中还通过改3.5%的权重修复了一条原本无法通过的策略,该方法被用于游戏策略和Go网络等场景。 研究同时给出边界:同样的方法未能在Gemma 3 270M上提升数学能力,说明移除行为障碍不等于补上模型本身缺失的能力。团队称正在构建评估权重空间编程能力的基准与测试框架。

AI 根据报道生成 · 53 分钟前更新

事件进展

2 个进展

  1. 11月3日 02:45 · 1 篇报道
    分享Astra直接编辑模型权重演示
    AGI Hunt:Astra 裸改 Qwen3.5-0.8B 权重:仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1%
  2. 11月3日 01:54 · 2 篇报道
    MIT发布权重空间编程研究
    Hacker News:GPT-6 Astra 展示直接读取和编辑神经网络权重的 Weight-Space Programming

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. AGI Hunt
    Astra 裸改 Qwen3.5-0.8B 权重:仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1%

    Reddit 用户分享 Astra 的 Weight-Space Programming 演示,模型可原生读取并直接编辑神经网络权重,全程无梯度、无训练。Astra 仅修改 Qwen3.5-0.8B 的 0.016% 参数,便将 MATH-500 成绩从 7.9% 提升至 48.1%,同时提升约 3 倍指令遵循能力并修复推理死循环。

  2. Hacker News精选
    GPT-6 Astra 展示直接读取和编辑神经网络权重的 Weight-Space Programming

    GPT-6 Astra 无需梯度或训练循环,即可读取、修改并生成神经网络权重,应用于游戏策略、Go网络和语言模型。修复Qwen3.5-0.8B的推理循环后,仅修改131,072个权重,即0.016%,MATH-500从7.9%升至48.1%,IFEval从21.0%升至62.3%。但该方法未能在Gemma 3 270M上提升数学能力,表明移除行为障碍不等同于增加模型本身缺少的能力。

  3. AGI Hunt
    MIT 研究称 LLM 可直接改权重:仅动 0.016% 参数,MATH-500 从 7.9% 升至 48.1%

    MIT CSAIL 研究团队发布 Weight-Space Programming 研究,测试前沿 LLM GPT-6 Astra 直接读取和修改神经网络权重的能力。研究称,Astra 仅编辑 Qwen3.5-0.8B 的 0.016% 权重,将 MATH-500 从 7.9% 提升至 48.1%,并使 IFEval 提升 3 倍;另一实验中,它只编辑 3.5% 权重修复了无法过线的策略。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。