跳到正文
AGI Hunt· SparkyAI0815·· 1 小时前AI 评分37

LLM 为何滥用 em dash:语料偏好、自回归陷阱与 RLHF 三重机制

AI 为何痴迷破折号:语料偏好、自回归陷阱与 RLHF 三重机制

AI 导读

一篇解释 LLM 滥用 em dash(破折号)的长帖,将现象归因于专业编辑语料偏重、自回归生成难以预规划句子结构,以及 RLHF 对戏剧化对比句式的奖励。训练数据中的“聪明文风”偏好与逐 token 生成的语法死角叠加,使 em dash 成为万能的“语法胶带”。人类评分让这类句式的通过率提升千分之几,进一步强化模型对破折号的滥用。

来源:AGI Hunt · agihunt.info