潜学习偏好可跨模型蒸馏传播

一项新论文的实验显示，teacher 模型的隐藏偏好可通过蒸馏传递给 student，即使双方不共享基座模型，且权重初始化、预训练语料、数据顺序和架构均不同。 研究分别验证了两种方式：在硬标签蒸馏中，student 使用 teacher 生成的数字序列微调，隐藏偏好仍发生转移；在软标签蒸馏中，冻结的 teacher 为 student 输出的每个 token 打分，也能传递该偏好。论文认为，这一现象提示模型蒸馏过程中可能存在亚阈值特征传播风险。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。