基座与RL模型权重插值实验
热点事件持续更新
基座与RL模型权重插值实验
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Perfect_Power815提出并实测了一种基座模型与RL微调模型的权重插值方法,通过 W = Wbase + α(WRL − Wbase),在六个数学基准上调节模型性能与输出多样性的权衡,实验显示其可找回RL微调中损失的部分多样性。 该方法目前仅在一组7B数学模型组合上验证,是取舍旋钮,并非同时超过基座与RL模型。权重混合须在fp32下进行并以fp16或fp32保存,避免bf16存储抹去RL更新;若只用多数投票且没有验证器,作者建议直接使用RL模型或取α=0.75。
AI 根据报道生成 · 42 分钟前更新
最新进展11月19日 20:38
按 α 插值混合 Qwen2.5-7B 与 SimpleRL-Zoo-7B 权重,找回 RL 微调丢失的多样性报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI Hunt按 α 插值混合 Qwen2.5-7B 与 SimpleRL-Zoo-7B 权重,找回 RL 微调丢失的多样性
作者通过按 α 插值混合 Qwen2.5-7B 与 SimpleRL-Zoo-7B 的 checkpoint,在六个数学基准上研究了 RL 微调模型性能与输出多样性的权衡。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。