跳到正文
AGI Hunt· heghbalz·· 4 小时前AI 评分42

一张漫画讲透 GRPO 硬伤:无关 token 也获得相同优势值

一张漫画讲透 GRPO 硬伤:无关 token 也拿同样 advantage

AI 导读

一张四格漫画揭示 outcome-only GRPO 的信用分配缺陷:模型解方程时唱歌并跑题讨论 2000 token 的图表爱好,最终仍答对 \boxed{5},整个 rollout 获得 reward 1。由于同一个正 advantage 被应用到所有 token,跑题内容也会随正确答案一同被强化,暴露出缺少 per-step 信用分配的问题。

来源:AGI Hunt · agihunt.info