Techmeme·· 6 小时前AI 评分28
研究：非英语语言消耗更多 AI tokens，成本最高为最低的 1.5x 至 5x
Study: non-English languages can consume far more AI tokens, with the most expensive language using 1.5x to 5x more than the cheapest, causing a "tokenizer tax" (Ananya Bhattacharya/Rest of World)
AI 导读
一项研究发现，非英语语言使用 AI 时可能消耗远多于英语的 tokens，其中成本最高的语言比最便宜的语言高 1.5x 至 5x。研究将这种由语言差异带来的额外 token 开销称为“tokenizer tax”，并聚焦不同语言的 tokenizer 效率及其使用成本差异。
来源：Techmeme · techmeme.com