熵与置信度辅助偏好改善小模型自改进

Georgia Tech 研究团队提出并验证了一种利用熵与置信度区分推理轨迹学习价值的方法，在同样得到正确答案的轨迹中筛选更值得学习的样本。实验显示，该方法通过在线奖励增广和正确回答上的离线适配，在有限监督下改善了小语言模型的自我改进效果及下游任务迁移。 研究比较了基于置信度的 SC 指标与结合全局熵变化和局部平滑度的 UID-Conj. 指标，并在 Owen3-1.7B 上进行了 30 步离线适配实验。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。