AI 语言公平研究称 200 种语言的分词器税成本差最高达 17 倍

AI 语言公平研究联盟上月发布的研究指出，AI 模型处理不同语言所需 token 数差异巨大，形成隐性“分词器税”。在最常用的 20 种语言中，最贵语言的 token 消耗为最低语言的 1.55 倍，扩展到 200 种语言后差距达 17 倍；非拉丁文字常被切分为更多碎片，并进一步压缩可装入上下文窗口的内容量和模型效果。