跳到正文
AGI Hunt· Cong Yu·· 2 小时前AI 评分44

论文实证:on-policy distillation 可容忍量化推理与异步 rollout 的训练-推理失配

AI 导读

论文实证显示,on-policy distillation(OPD)可在不显著降低训练质量的前提下,容忍量化推理与异步 rollout 带来的训练-推理失配。研究考察 3 组 student-teacher 对,并测试权重陈旧与噪声注入,提出经验性的「失配预算」和轻量级 admission check,同时给出利用容忍度的 FP8 配方。

来源:AGI Hunt · agihunt.info