WISD用强弱模型对比训练推理能力

WISD研究团队提出弱化诱导在线自蒸馏方法：对大推理模型进行量化或剪枝得到较弱版本，再利用强弱模型的输出对比生成训练信号，以改进模型的推理能力。 该方法不依赖标准答案、过程标注等特权数据。现有报道主要介绍了方法机制，未提供具体模型、任务范围或实验提升幅度。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。