跳到正文
AGI Hunt· kalomaze·· 3 小时前AI 评分36

研究聚合各实验室 tokenizer,发现约 994 个跨代稳定的通用 token

聚合各实验室 tokenizer 发现约 994 个跨代稳定的通用 token

AI 导读

研究者聚合 Google、DeepSeek、Meta、Anthropic 等实验室的 tokenizer,筛选出在所有 BPE 类分词器中均存在、且跨 Anthropic 不同模型代际稳定的约 994 个通用 token。town、System、new、React、def 等专用 token 体现了不同模型分词器在常见子词切分上的共性。

来源:AGI Hunt · agihunt.info