从 Bellman 到 GRPO：强化学习 policy 概念源流时间线

文章以学习笔记形式梳理强化学习中 policy 的概念史，从 1954 年 Bellman 对决策序列的定义讲到现代 LLM 训练。时间线涵盖 Howard 的 policy iteration、Williams 的 REINFORCE、PPO，以及 2024 年 DeepSeekMath 提出的 GRPO，后者是 DeepSeek-R1 的训练基础。