Qwen3价值观蒸馏实验公布初步结果
热点事件持续更新
Qwen3价值观蒸馏实验公布初步结果
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Sauers_在Qwen3-8B上开展上下文蒸馏实验：用带有“关心动物福利”提示词的教师模型训练无提示词的学生模型。以68个不提及动物的困难提示词测评时，普通蒸馏的无关回复中有33%外溢该价值观；仅在价值观相关提示上蒸馏，并将目标强度设为2倍后，外溢降至7%，结果较普通蒸馏提升13%。 该结果目前仅基于一个随机种子，复现仍在进行中。
AI 根据报道生成 · 1 小时前更新
最新进展11月15日 06:27
Qwen3-8B 上下文蒸馏实验：注入价值观会外溢，加两招后提升 13%报道时间线
沿着报道，了解事件的不同侧面。
11月15日
- AGI HuntQwen3-8B 上下文蒸馏实验：注入价值观会外溢，加两招后提升 13%
在 Qwen3-8B 上做价值注入的 context distillation 实验发现，带书面价值观提示词（关心动物福利）的教师模型，其价值观会在普通蒸馏中外溢到 33% 的无关回复。仅在价值观相关 prompt 上蒸馏、并把目标强度推到 2 倍（类似 classifier-free guidance）这两项改进修复了外溢，结果比普通蒸馏提升 13%，外溢降至 7%（单种子，复现进行中）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。