AGI Hunt· jiqizhixin·· 2 小时前AI 评分40
复旦 OpenMOSS 长上下文混合架构分析:窗口内学得更多,窗外外推更弱
复旦 OpenMOSS 发长文:长上下文混合架构学得多却外推弱
AI 导读
复旦大学与 OpenMOSS 团队发布 arXiv 预印本,揭示长上下文混合架构存在窗口内学习增强、窗外外推减弱的权衡。研究显示,位置行为与注意力类型同等重要;滑动窗口混合模型在长上下文继续训练后外推优势可能反转,而更大窗口与 LongCE 有助缓解局部上下文过学习。
来源:AGI Hunt · agihunt.info