Hugging Face 研究者 Lewis Tunstall 弃用自蒸馏并用代码构建推理链

Hugging Face 研究者 Lewis Tunstall 在构建 FineDNA 数据集时放弃教师模型蒸馏，改用代码计算训练解释中的事实并拼接推理链，准确率超过自蒸馏。他也指出，对基座模型进行 RLVR、保留答对的 rollouts 再做 SFT 的自蒸馏方案可能提升 reward，却容易产生幻觉并引用不存在的研究。