三种蒸馏训练Qwen 4B实测

Prompt Engineering 在两台 DGX Spark 上，以 Qwen 27B 为教师模型，分别用答案、概率分布和 on-policy 蒸馏训练 Qwen 4B。测试结果显示，最佳方案成绩突破 58%，达到追平 27B 教师模型的水平。 相关代码与 SmolDataEnths 数据集已开源，但报道未说明三种方法各自的具体成绩。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。