跳到正文
Hacker News·· 2 小时前AI 评分70

语言模型可通过推理自主重写权重

Language Models Can Rewrite Their Own Weights

AI 导读

一个开放权重的 27B 语言模型通过自身推理诊断错误并重写自身权重,在未见问题上将准确率提高 6.6 个百分点。该方法无需梯度或训练,模型会先在练习题上测试修改,连续 8 次会话中准确率持续上升;受损副本还从几乎无法解题恢复到原模型图像任务准确率的 80% 以上。

来源:Hacker News · arxiv.org