Burkov提议预训练权重编辑模型
热点事件持续更新
Burkov提议预训练权重编辑模型
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
机器学习作者 Andriy Burkov 提议将 Hugging Face 和 GitHub 上的大量 LLM 权重文件作为语料，预训练一个能将文件切分为 token、并学习权重数值及其关联的 Transformer；再用“编辑权重文件”的样本微调，使其具备编辑模型权重的能力。该方案目前只是提议，尚未报告训练结果或验证效果。
AI 根据报道生成 · 47 分钟前更新
最新进展11月6日 15:56
Burkov 提议用海量权重文件预训练 Transformer，使其学会编辑模型权重报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI HuntBurkov 提议用海量权重文件预训练 Transformer，使其学会编辑模型权重
Burkov 提议将 LLM 权重文件视为文本语料，用 Hugging Face 和 GitHub 上的海量权重文件预训练足够大的 Transformer，再通过“编辑权重文件”样本微调，使其学习编辑模型权重。他认为，Transformer 只要能将文件切分为 token，就能像理解文字和代码一样学习权重数值及其关联。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。