跳到正文
热点事件持续更新

研究团队提出Loopback Transformer

1 篇报道1 个报道来源36 分钟前更新

先了解这件事

AI 综述

威斯康星麦迪逊、UCSB、Caltech与Microsoft研究团队提出Loopback Transformer,通过独立路径处理共享栈输入,分离控制输入强度、总更新权重和各步更新分配。 在ClimBix实验中,该模型使用标准Transformer 40%—75%的参数(不含embedding和输出头),取得更低验证损失;其下游精度也高于标准Transformer和循环残差基线。

AI 根据报道生成 · 27 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AGI Hunt
    Loopback Transformer:分离控制输入强度与更新权重,以更少参数实现更低损失

    威斯康星麦迪逊、UCSB、Caltech 与 Microsoft 的论文提出 Loopback Transformer,将共享栈输入置于独立路径,以分离控制输入强度、总更新权重与各步更新分配。该模型在 ClimBix 上以标准 Transformer 40–75% 的参数(不含 embedding 和输出头)取得更低验证损失,下游精度也高于标准与循环残差基线。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。