跳到正文
AGI Hunt· teortaxesTex·· 3 小时前AI 评分43

传闻:score centering 或为 OpenAI 核心 RL 算法,可容忍较大推理更新延迟

传 score centering 是 OpenAI 终极 RL 算法,可容忍较大推理更新延迟

AI 导读

score centering 已被传闻为 OpenAI 的核心 RL 算法,并在 Tinker 的 StableReinforce 中采用。论文实验显示,在 INT8 量化采样器与 stale=64 的严重陈旧设置下,score centering 搭配 TIS/MIS 表现最佳,PPO/DAPO 则因量化噪声崩溃;该方法可容忍数十步的中位陈旧度。

来源:AGI Hunt · agihunt.info