AGI Hunt· a1zhang·· 3 小时前AI 评分37
RLM 长任务泛化实验:在 MRCrv2、GraphWalks 等六个长上下文基准全面领先
长任务泛化实验:RLM 在 MRCrv2、GraphWalks 等六个长上下文基准全面领先
AI 导读
RLM 在 MRCrv2、GraphWalks、LongBench-Pro、OOLONG、OOLONG-Pairs 和 Ada-LEval 六个长上下文基准上的补充实验全面领先。训练曲线显示,相较 LM+REPL、Pi、Base+YaRN 基线,RLM 从短任务训练向长任务泛化的效果更优,其中 MRCrv2 评测长度由 64k 增至 2M,GraphWalks 由 256k 增至 1M。
来源:AGI Hunt · agihunt.info