跳到正文
AGI Hunt· ifaposto·· 3 小时前AI 评分48

PyTorch 极简 autograd 实现开源:手写 Transformer 自动微分

手写 Transformer 自动微分:PyTorch 极简 autograd 实现开源

AI 导读

开发者 ifiaposto 开源了一个自包含的 PyTorch 项目,手动实现基于 Transformer 的分类器 autograd。项目提供完整 GitHub 代码和可直接运行的 Colab 笔记本,用于编写自定义 backward 传播、追踪 attention 块中的梯度流动,定位是低阶微分教学参考而非生产库。

来源:AGI Hunt · agihunt.info