AGI Hunt· _reachsumit·· 2 小时前AI 评分37
LoopGR 用循环深度实现参数高效扩展,模型体积最多减少 52% 且性能更优
LoopGR 用循环深度做参数高效扩展,模型小 52% 性能反超
AI 导读
LoopGR 论文提出生成式推荐的参数高效扩展框架,通过分层循环深度让共享生成解码器与轻量上下文更新器交替计算,在不增加参数量的情况下增加推理深度。框架利用循环轨迹自蒸馏,将高预算 teacher 蒸馏为低预算 student;相对代表性 encoder-decoder 基线,模型体积最多减少 52%,同时性能更优。
来源:AGI Hunt · agihunt.info