UT Austin 提出 Horizon-Scalable Q-Learning 改善长时程离线价值学习

UT Austin 团队提出 Horizon-Scalable Q-Learning（HQL），通过自适应扩展多步回报目标，改善长时程离线 off-policy 价值学习。该方法仅在 critic 对数据集动作的估值不低于行为克隆策略 best-of-N 动作时扩展目标，从而自动平衡一步与多步 TD 的误差累积和策略偏差。