跳到正文
AGI Hunt· KyleMorgenstein·· 2 小时前AI 评分29

RL 训练为何不做均匀采样:偏差来源与 RFCL 应对思路

RL 训练从不做均匀采样:偏差来源与 RFCL 应对思路

AI 导读

Kyle Morgenstein 在讨论中指出,vanilla RL 训练也不会进行均匀采样,因为轨迹天然受状态分布和策略分布偏置。过窄的 reset buffer 可能引入偏差,但可通过 RFCL(reset-free curriculum learning 类方法)扩展训练分布;生成优质 reset 状态比调整 reward 更容易。

来源:AGI Hunt · agihunt.info