跳到正文
AGI Hunt· jet-ai·· 3 小时前AI 评分39

WISD:用弱化版模型蒸馏训练信号,无需特权数据

WISD:用弱化版模型蒸馏出训练信号,无需特权数据

AI 导读

WISD(Weakening-Induced On-Policy Self-Distillation)通过量化或剪枝大推理模型生成弱化版本,并利用强弱模型对比产生训练信号。该方法无需标准答案、过程标注等特权数据,即可改进模型的推理能力。

来源:AGI Hunt · agihunt.info