跳到正文
AGI Hunt· SpeedAI-Lab·· 3 小时前AI 评分37

DAMI 论文:双轴记忆初始化提升门控线性注意力的长上下文检索

DAMI 论文:双轴记忆初始化提升门控线性注意力的长上下文检索

AI 导读

SpeedAI-Lab 与北航团队发布 DAMI 论文,提出双轴记忆初始化方法,改善门控线性循环模型的长上下文检索能力。该方法在训练前联合配置 decay 与 sensitivity 两轴参数,并在 Gated Delta-Net 受控实验中比较不同初始化策略对近、中、远证据检索的影响。

来源:AGI Hunt · agihunt.info