MIT Astra 权重编辑讨论引热议，博主旧文演示手写权重跑通 Transformer

MIT 关于 Astra 具备权重编辑能力的讨论近日引发关注，博主 voooooogel 重提 2023 年旧文，演示为 GPT-2 风格的 decoder 逐个赋值参数，从零构建可完成序列预测的 Transformer。该实践不依赖训练和预训练权重，为理解权重编辑提供可动手参考。