跳到正文
AGI Hunt· a1zhang·· 3 小时前AI 评分37

RLM 长任务泛化实验:在 MRCrv2、GraphWalks 等六个长上下文基准全面领先

长任务泛化实验:RLM 在 MRCrv2、GraphWalks 等六个长上下文基准全面领先

AI 导读

RLM 在 MRCrv2、GraphWalks、LongBench-Pro、OOLONG、OOLONG-Pairs 和 Ada-LEval 六个长上下文基准上的补充实验全面领先。训练曲线显示,相较 LM+REPL、Pi、Base+YaRN 基线,RLM 从短任务训练向长任务泛化的效果更优,其中 MRCrv2 评测长度由 64k 增至 2M,GraphWalks 由 256k 增至 1M。

来源:AGI Hunt · agihunt.info