跳到正文
AGI Hunt· tatsu_hashimoto·· 1 小时前AI 评分37

田渊栋斯坦福 CS312 课程小测:循环 Transformer 中途解绑权重更优

田渊栋斯坦福课程小测:循环 Transformer 中途解绑权重更优

AI 导读

田渊栋为斯坦福 CS312 深度学习课设计 Looped Transformer 直觉小测,比较复用同一中间 Transformer 块与训练中途解绑权重共享的效果。实验中 Dense 的最终验证损失最低,为 2.9333;Untied midway 可挽回循环模型约 61% 的性能差距,但仍不如标准稠密模型。

来源:AGI Hunt · agihunt.info