跳到正文
AGI Hunt· dosco·· 1 小时前AI 评分41

RLM 递归语言模型训练思路解读:将上下文移出 prompt,RLM-27B 比基线高 26.9%

RLM 思路走红:把上下文移出 prompt,RLM-27B 比基线高 26.9%

AI 导读

RLM 递归语言模型训练方法引发讨论,核心是把上下文移出 prompt,通过代码编排并将小块内容交给子调用,使每次 LLM 调用保持局部在分布内。仅用短任务训练即可泛化到 2–64 倍长任务并迁移至结构相似的新领域;采用 surrogate harness training 训练编排器后,RLM-27B 在相关评测中比 base Qwen3-27B 高 26.9%。

来源:AGI Hunt · agihunt.info