跳到正文
AGI Hunt· huawei-noah·· 2 小时前AI 评分47

港科大溯源发现:“wait”标记继承自训练数据而非 RL 发明

港科大溯源发现:「Wait」标记继承自训练数据而非 RL 发明

AI 导读

港科大、北大与华为诺亚方舟实验室追踪开放模型训练历史,发现 zero-RL 几乎不产生“wait”等话语标记。注入错误测试显示,这些标记主要继承自 mid-training/SFT 阶段的训练数据,而 RL 带来的推理准确率提升并不依赖特定标记。

来源:AGI Hunt · agihunt.info