FineDNA开源中训与接地推理配方

Hugging Face 团队公开了 FineDNA 在缺少更强教师模型时的后训练方法，强调先做领域中期训练，再构建接地推理轨迹进行 SFT。

HuggingFace 团队完全开源 FineDNA 的中期训练与后训练配方及配套数据集，用于探索无更强教师模型时突破蒸馏限制的做法。Qwen3-14B 原本仅能在 17% 的提示上产生有效学习信号，经过 300B token 的 DNA 与文本混合中训后，该比例提升至 42%。

Hugging Face 研究者 Lewis Tunstall 在构建 FineDNA 数据集时放弃教师模型蒸馏，改用代码计算训练解释中的事实并拼接推理链，准确率超过自蒸馏。他也指出，对基座模型进行 RLVR、保留答对的 rollouts 再做 SFT 的自蒸馏方案可能提升 reward，却容易产生幻觉并引用不存在的研究。