腾讯与西安交大提出LoCo局部偏好学习
热点事件持续更新
腾讯与西安交大提出LoCo局部偏好学习
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
腾讯(微信 AI)与西安交大提出 LoCo(局部偏好学习)方法,通过缩短推理模型的思考过程解决过度思考问题,并在数学与代码任务上大幅压缩输出长度,同时保持甚至提升准确率。 该方法从模型自行生成的推理轨迹中识别已经获得足够信息却仍继续思考的状态,冻结已有推理前缀并生成较短续写,再以 DPO 训练模型判断何时继续或结束思考;训练数据完全由自生成的数学推理轨迹构成。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 17:17
腾讯 LoCo 用局部偏好学习缩短模型推理,并在数学与代码任务上保持准确率报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- AGI Hunt腾讯 LoCo 用局部偏好学习缩短模型推理,并在数学与代码任务上保持准确率
腾讯(微信 AI)与西安交大的论文提出 LoCo(Local Preference Learning),通过局部偏好学习让推理模型判断何时继续或结束思考。LoCo 从模型自身生成的 trace 中检测过度思考状态,冻结推理前缀并生成更短续写,再用 DPO 训练;在数学与代码任务上,输出长度大幅缩短且准确率保持甚至提升。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。