论文实证揭示OPD失配容忍能力

Cong Yu介绍并解读的论文实证显示，on-policy distillation（OPD）可在不显著降低训练质量的前提下，容忍量化推理和异步 rollout 造成的训练—推理失配；超过一定失配水平后，训练表现才会退化。研究测试3组 student-teacher 模型组合，并考察权重陈旧和噪声注入，结果支持建立经验性的“失配预算”与轻量级 admission check，同时给出了利用这一容忍度的 FP8 配方。 论文指出，失配造成的代价及其对注入方式的敏感性因模型而异，部分网络层对降低精度尤其敏感；在某些会破坏常规强化学习方法的 rollout 配置下，OPD仍保持稳定。上述容忍范围和配方由论文实验归纳而来，并非适用于所有模型和训练设置。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。