WISD通过先弱化再自蒸馏提升模型推理

songhan_mit提出并开源WISD（弱化诱导在策略自蒸馏）方法：先对模型进行量化或剪枝，再利用原模型与弱化版本生成的log概率差作为训练信号，在模型自身轨迹上完成自蒸馏，无需外部教师、参考答案或奖励信号。 实验显示，量化和剪枝两种弱化方式分别使平均准确率提升4.0和5.5个百分点。采用WISD的Qwen3.5-4B在HMMT 2025达到70.5%，LiveCodeBench v6达到56.7%；代码以Apache-2.0许可证在GitHub发布。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。