跳到正文
热点事件持续更新

基座与RL模型权重插值实验

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Perfect_Power815提出并实测了一种基座模型与RL微调模型的权重插值方法,通过 W = Wbase + α(WRL − Wbase),在六个数学基准上调节模型性能与输出多样性的权衡,实验显示其可找回RL微调中损失的部分多样性。 该方法目前仅在一组7B数学模型组合上验证,是取舍旋钮,并非同时超过基座与RL模型。权重混合须在fp32下进行并以fp16或fp32保存,避免bf16存储抹去RL更新;若只用多数投票且没有验证器,作者建议直接使用RL模型或取α=0.75。

AI 根据报道生成 · 42 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    按 α 插值混合 Qwen2.5-7B 与 SimpleRL-Zoo-7B 权重,找回 RL 微调丢失的多样性

    作者通过按 α 插值混合 Qwen2.5-7B 与 SimpleRL-Zoo-7B 的 checkpoint,在六个数学基准上研究了 RL 微调模型性能与输出多样性的权衡。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。