字节研究揭示 on-policy 蒸馏盲区：分布外能力仍落后基座模型

字节跳动联合多所高校研究 on-policy 蒸馏（OPD）与多教师蒸馏（MOPD），发现教师泛化能力未能完全转移。分布内成绩达到教师分数的 96.04-102.73%，但分布外成绩比基座模型低 2.45-16.25%；团队提出 geometry-based patching 与 base-preserving replay 改善表现。