LM2LM：用冻结世界模型为模型改进提供 RL 奖励，以更低成本超越更大基线

Penn State、UCSC、Amazon 等机构提出 LM2LM，让语言模型借助冻结的 research world model 自动改进语言模型。该方法以可扩展的 RL 奖励替代数万个 proposal 的完整训练，并通过周期性真实执行校准反馈。实验显示，LM2LM 在成本更低的情况下超过更大的基线模型，同时保持反馈可靠性。