吴宇康梳理 looped Transformer 研究的三类动机

威斯康星大学教授吴宇康梳理了 looped Transformer（循环权重共享架构）研究的三类动机：更好的归纳偏置、训练效率与推理效率。训练效率可改善 scaling law，并支持先训练小模型再沿深度生长；推理效率则可结合批量推理与投机解码等系统优化。