AGI Hunt· KyleMorgenstein·· 2 小时前AI 评分29
RL 训练为何不做均匀采样:偏差来源与 RFCL 应对思路
RL 训练从不做均匀采样:偏差来源与 RFCL 应对思路
AI 导读
Kyle Morgenstein 在讨论中指出,vanilla RL 训练也不会进行均匀采样,因为轨迹天然受状态分布和策略分布偏置。过窄的 reset buffer 可能引入偏差,但可通过 RFCL(reset-free curriculum learning 类方法)扩展训练分布;生成优质 reset 状态比调整 reward 更容易。
来源:AGI Hunt · agihunt.info