AGI Hunt· heghbalz·· 4 小时前AI 评分42
一张漫画讲透 GRPO 硬伤:无关 token 也获得相同优势值
一张漫画讲透 GRPO 硬伤:无关 token 也拿同样 advantage
AI 导读
一张四格漫画揭示 outcome-only GRPO 的信用分配缺陷:模型解方程时唱歌并跑题讨论 2000 token 的图表爱好,最终仍答对 \boxed{5},整个 rollout 获得 reward 1。由于同一个正 advantage 被应用到所有 token,跑题内容也会随正确答案一同被强化,暴露出缺少 per-step 信用分配的问题。
来源:AGI Hunt · agihunt.info