蒸馏模型分布外泛化仍落后基座

字节跳动联合多所高校发布论文，指出 on-policy 蒸馏（OPD）和多教师蒸馏（MOPD）虽能在分布内接近教师表现，却未完整迁移其泛化能力：分布外成绩比基座模型低2.45%至16.25%，多教师蒸馏在数学推理、编码、智能体及长上下文组合测试中也比最强教师低18.19%至24.34%。 研究团队提出基于几何的修补和保留基座能力的回放方法，可在基本保持分布内性能的同时改善分布外表现；实验中同时缓解教师能力与数据覆盖两类瓶颈，消除了分布外遗忘。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。