《深度强化学习实战》作者 Burkov：策略梯度 loss 没有物理意义

《深度强化学习实战》作者 Burkov 预告新书并展示样张，说明策略梯度中的 loss 只是刻意构造的 surrogate loss，并非监督学习意义上的误差度量。样张以 reward-to-go 推导，借 PyTorch 的 SGD 实现“假 loss”的梯度上升，其导数用于得到期望的策略更新方向。