BSD框架支持跨家族黑箱蒸馏
热点事件持续更新
BSD框架支持跨家族黑箱蒸馏
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
慕尼黑工业大学与LMU团队提出Bridged Self-Distillation(BSD),利用特权推理轨迹为学生生成结果打分,并通过结果验证更新学生模型,将教师的推理能力以on-policy方式迁移到学生。框架覆盖三类场景:同家族且共享tokenizer时采用标准OPD;跨家族、不同tokenizer时通过词表映射进行cross-tokenizer OPD;教师仅提供闭源API文本时,依据响应反馈开展black-box OPD。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 08:17
TUM 等提出 Bridged Self-Distillation:支持跨家族与黑箱教师 on-policy 蒸馏报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- AGI HuntTUM 等提出 Bridged Self-Distillation:支持跨家族与黑箱教师 on-policy 蒸馏
慕尼黑工业大学与 LMU 团队提出 Bridged Self-Distillation(BSD),利用特权推理轨迹为学生 rollout 打分,并通过结果验证引导更新,实现跨家族及黑箱教师的 on-policy 推理迁移。框架支持同家族、跨 tokenizer 和闭源 API 三类 OPD 场景。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。