跳到正文
热点事件持续更新

可组合软提示蒸馏替代全参数RL

1 篇报道1 个报道来源51 分钟前更新

先了解这件事

AI 综述

xwang_lk提出可组合软提示蒸馏方法CSPD:从各强化学习后训练专家模型中提取256 token软提示,直接拼接至冻结的预RL学生模型。其实验称,该方法效果追平全参数RL;软提示约占模型参数的0.01%,无需联合训练即可组合使用,组合后表现甚至超过单个专家模型。 在LoRA rank-4对比下,CSPD的并发请求输出吞吐量达到骨干模型的2.40倍,推理开销接近零。

AI 根据报道生成 · 17 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    CSPD:256 token 软提示替代全参数 RL,实现即插即用组合

    CSPD 从各 RL 后训练专家模型蒸馏出 256 token 软提示,并将其直接拼接到冻结的 pre-RL 学生模型,效果追平全参数 RL。软提示无需联合训练即可堆叠,组合后甚至超过单独专家模型;其参数约占 0.01%,推理开销接近零,并发请求输出吞吐达到 backbone 的 2.40 倍(对比 LoRA rank-4)。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。