Purtell主张分离训练与评测数据

Josh Purtell主张，RL 训练数据与模型评测数据应按两套标准分别设计，不能混用。他认为，训练场景可容忍一定方差以获得更干净的策略梯度，而评测需要控制方差，才能可靠分析模型表现。 他批评现有评测集每个领域仅约10个任务，认为任务过少带来的高方差，可能使评测难以准确区分模型能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。