可组合软提示蒸馏替代全参数RL
热点事件持续更新
可组合软提示蒸馏替代全参数RL
1 篇报道1 个报道来源51 分钟前更新
先了解这件事
AI 综述
xwang_lk提出可组合软提示蒸馏方法CSPD:从各强化学习后训练专家模型中提取256 token软提示,直接拼接至冻结的预RL学生模型。其实验称,该方法效果追平全参数RL;软提示约占模型参数的0.01%,无需联合训练即可组合使用,组合后表现甚至超过单个专家模型。 在LoRA rank-4对比下,CSPD的并发请求输出吞吐量达到骨干模型的2.40倍,推理开销接近零。
AI 根据报道生成 · 17 分钟前更新
最新进展11月19日 11:06
CSPD:256 token 软提示替代全参数 RL,实现即插即用组合报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI HuntCSPD:256 token 软提示替代全参数 RL,实现即插即用组合
CSPD 从各 RL 后训练专家模型蒸馏出 256 token 软提示,并将其直接拼接到冻结的 pre-RL 学生模型,效果追平全参数 RL。软提示无需联合训练即可堆叠,组合后甚至超过单独专家模型;其参数约占 0.01%,推理开销接近零,并发请求输出吞吐达到 backbone 的 2.40 倍(对比 LoRA rank-4)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。