跳到正文
AGI Hunt· uw-madison·· 52 分钟前AI 评分37

Loopback Transformer:分离控制输入强度与更新权重,以更少参数实现更低损失

Loopback Transformer:分离控制输入强度与更新权重,更少参数更低损失

AI 导读

威斯康星麦迪逊、UCSB、Caltech 与 Microsoft 的论文提出 Loopback Transformer,将共享栈输入置于独立路径,以分离控制输入强度、总更新权重与各步更新分配。该模型在 ClimBix 上以标准 Transformer 40–75% 的参数(不含 embedding 和输出头)取得更低验证损失,下游精度也高于标准与循环残差基线。

来源:AGI Hunt · agihunt.info