跳到正文
热点事件持续更新

长上下文混合架构呈现窗口学习权衡

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

复旦大学、上海创新研究院与 OpenMOSS 团队发布 arXiv 预印本《Mechanics of Long-Context Hybrid Models》,指出长上下文混合架构会增强窗口内学习、削弱窗外外推,长上下文继续训练后,滑动窗口混合模型的外推优势可能反转。 研究还发现,位置行为与注意力类型同等重要;扩大窗口和使用 LongCE 有助于缓解模型对局部上下文过强的学习。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    复旦 OpenMOSS 长上下文混合架构分析:窗口内学得更多,窗外外推更弱

    复旦大学与 OpenMOSS 团队发布 arXiv 预印本,揭示长上下文混合架构存在窗口内学习增强、窗外外推减弱的权衡。研究显示,位置行为与注意力类型同等重要;滑动窗口混合模型在长上下文继续训练后外推优势可能反转,而更大窗口与 LongCE 有助缓解局部上下文过学习。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。