Burkov 提议用海量权重文件预训练 Transformer，使其学会编辑模型权重

Burkov 提议将 LLM 权重文件视为文本语料，用 Hugging Face 和 GitHub 上的海量权重文件预训练足够大的 Transformer，再通过“编辑权重文件”样本微调，使其学习编辑模型权重。他认为，Transformer 只要能将文件切分为 token，就能像理解文字和代码一样学习权重数值及其关联。