跳到正文
AGI Hunt· jiqizhixin·· 2 小时前AI 评分40

复旦 OpenMOSS 长上下文混合架构分析:窗口内学得更多,窗外外推更弱

复旦 OpenMOSS 发长文:长上下文混合架构学得多却外推弱

AI 导读

复旦大学与 OpenMOSS 团队发布 arXiv 预印本,揭示长上下文混合架构存在窗口内学习增强、窗外外推减弱的权衡。研究显示,位置行为与注意力类型同等重要;滑动窗口混合模型在长上下文继续训练后外推优势可能反转,而更大窗口与 LongCE 有助缓解局部上下文过学习。

来源:AGI Hunt · agihunt.info