AGI Hunt· xwang_lk·· 1 小时前AI 评分38
CSPD:256 token 软提示替代全参数 RL,实现即插即用组合
256 token 软提示替代全参 RL,可即插即用组合且几乎无推理开销
AI 导读
CSPD 从各 RL 后训练专家模型蒸馏出 256 token 软提示,并将其直接拼接到冻结的 pre-RL 学生模型,效果追平全参数 RL。软提示无需联合训练即可堆叠,组合后甚至超过单独专家模型;其参数约占 0.01%,推理开销接近零,并发请求输出吞吐达到 backbone 的 2.40 倍(对比 LoRA rank-4)。
来源:AGI Hunt · agihunt.info