Josh Purtell：训练数据与评测数据需要两套严谨标准

Josh Purtell 在 11 月 2 日连发多条帖子，主张 RL 训练数据与模型评测数据应采用两套严谨标准，不能混用。他认为训练场景可接受方差以获得干净策略梯度，评测则需控制方差，否则结论难以分析。其批评的评测集每个领域仅约 10 个任务，可能因高方差难以可靠区分模型能力。