新论文揭示潜学习偏好可跨模型传播

一项新论文扩展了“潜学习”现象：即使 teacher 和 student 模型的权重初始化、预训练数据顺序、语料乃至架构不同，teacher 的隐藏偏好仍可通过 distillation 传递给 student。实验涵盖硬标签蒸馏和冻结 teacher 对每个 token 打分的软标签蒸馏，表明这种亚阈值特征传播不依赖共享基座模型，对模型蒸馏安全具有影响。