AGI Hunt· Prompt Engineering·· 4 小时前AI 评分60
用蒸馏法训练 Qwen 4B 追平 27B：三种蒸馏实测谁能突破 58%
用蒸馏法训练 Qwen 4B 追平 27B：三种蒸馏实测谁能破 58% 墙
AI 导读
Prompt Engineering 在两台 DGX Spark 上以 Qwen 27B 为老师，实测用答案、概率分布和 on-policy 蒸馏训练 Qwen 4B。
来源：AGI Hunt · agihunt.info
用蒸馏法训练 Qwen 4B 追平 27B：三种蒸馏实测谁能突破 58%