《When to Follow the Teacher》研究：更强的模型未必是更好的蒸馏老师

论文《When to Follow the Teacher: Advantage-Based On-Policy Distillation》提出基于优势的在策略蒸馏方法，用于判断学生何时应跟随老师、何时依赖自身信号。研究认为，模型能力并非选择蒸馏老师的唯一关键，蒸馏效率还取决于学生能否有效利用老师提供的信息。