跳到正文
AGI Hunt· Sauers_·· 2 小时前AI 评分43

Qwen3-8B 上下文蒸馏实验:注入价值观会外溢,加两招后提升 13%

上下文蒸馏注入价值观会外溢,加两招后提升 13%

AI 导读

在 Qwen3-8B 上做价值注入的 context distillation 实验发现,带书面价值观提示词(关心动物福利)的教师模型,其价值观会在普通蒸馏中外溢到 33% 的无关回复。仅在价值观相关 prompt 上蒸馏、并把目标强度推到 2 倍(类似 classifier-free guidance)这两项改进修复了外溢,结果比普通蒸馏提升 13%,外溢降至 7%(单种子,复现进行中)。

来源:AGI Hunt · agihunt.info