AGI Hunt· rzhang88·· 3 小时前AI 评分47
Adobe/MIT 论文：DMD 蒸馏中 critic 未跟上 teacher 规模会让学生变差
Adobe/MIT 论文:DMD 蒸馏学生变差,只因 critic 没跟上 teacher 规模
AI 导读
Adobe 与 MIT 的研究发现，分布匹配蒸馏（DMD）中若 critic 规模较小，增大 teacher 反而会降低学生表现，甚至导致训练崩溃。
来源：AGI Hunt · agihunt.info
Adobe/MIT 论文：DMD 蒸馏中 critic 未跟上 teacher 规模会让学生变差