跳到正文
AGI Hunt· TUM·· 3 小时前AI 评分40

TUM 等提出 Bridged Self-Distillation:支持跨家族与黑箱教师 on-policy 蒸馏

TUM 等提出 Bridged Self-Distillation:跨家族、黑箱教师也能做 On-Policy 蒸馏

AI 导读

慕尼黑工业大学与 LMU 团队提出 Bridged Self-Distillation(BSD),利用特权推理轨迹为学生 rollout 打分,并通过结果验证引导更新,实现跨家族及黑箱教师的 on-policy 推理迁移。框架支持同家族、跨 tokenizer 和闭源 API 三类 OPD 场景。

来源:AGI Hunt · agihunt.info