AGI Hunt· kalomaze·· 3 小时前AI 评分36
研究聚合各实验室 tokenizer,发现约 994 个跨代稳定的通用 token
聚合各实验室 tokenizer 发现约 994 个跨代稳定的通用 token
AI 导读
研究者聚合 Google、DeepSeek、Meta、Anthropic 等实验室的 tokenizer,筛选出在所有 BPE 类分词器中均存在、且跨 Anthropic 不同模型代际稳定的约 994 个通用 token。town、System、new、React、def 等专用 token 体现了不同模型分词器在常见子词切分上的共性。
来源:AGI Hunt · agihunt.info