AGI Hunt· SpeedAI-Lab·· 3 小时前AI 评分37
DAMI 论文:双轴记忆初始化提升门控线性注意力的长上下文检索
DAMI 论文:双轴记忆初始化提升门控线性注意力的长上下文检索
AI 导读
SpeedAI-Lab 与北航团队发布 DAMI 论文,提出双轴记忆初始化方法,改善门控线性循环模型的长上下文检索能力。该方法在训练前联合配置 decay 与 sensitivity 两轴参数,并在 Gated Delta-Net 受控实验中比较不同初始化策略对近、中、远证据检索的影响。
来源:AGI Hunt · agihunt.info