跳到正文
AGI Hunt· _lewtun·· 3 小时前AI 评分62

HuggingFace 开源 FineDNA 中训与后训练配方

HuggingFace 开放 FineDNA 配方:300B token 中训破解蒸馏天花板

AI 导读

HuggingFace 团队完全开源 FineDNA 的中期训练与后训练配方及配套数据集,用于探索无更强教师模型时突破蒸馏限制的做法。Qwen3-14B 原本仅能在 17% 的提示上产生有效学习信号,经过 300B token 的 DNA 与文本混合中训后,该比例提升至 42%。

来源:AGI Hunt · agihunt.info