AGI Hunt· songhan_mit·· 3 小时前AI 评分44
WISD 论文:先弱化再自蒸馏,量化剪枝提升模型推理
WISD:先弱化再自蒸馏,量化剪枝反使模型推理提升
AI 导读
WISD 论文提出先弱化再自蒸馏方法,无需外部教师、参考答案或奖励信号,通过量化或剪枝提升模型推理能力。量化/剪枝分别带来平均 +4.0/+5.5 个百分点准确率提升,Qwen3.5-4B 在 HMMT 2025 达到 70.5%,LiveCodeBench v6 达到 56.7%。代码已以 Apache-2.0 许可证在 GitHub 开源。
来源:AGI Hunt · agihunt.info