GPT-2 词表异常 token SolidGoldMagikarp 事件回顾

GPT-2 词表中的真实 token SolidGoldMagikarp 源自 Reddit r/counting 板块的用户名，因训练数据中几乎没有有效上下文，曾在 2023 年初引发 ChatGPT 离谱回复。这一早期 NLP 轶事被视为“词表异常 token 导致模型幻觉”的标志性案例。