AGI Hunt· demian_ai·· 2 小时前AI 评分50
LLM 的 token 计费重演电报码历史:非英语语言最多多付 17 倍
电报码的历史正在重演:非英语语言最多要多付 17 倍 token
AI 导读
非英语语言使用 LLM 时,因 tokenizer 将文本切分为更多 token 而承担更高费用,200 种语言中某模型的最高差距达 17 倍。在线前 20 大语言模型中,最贵语言所需 token 是最便宜的 1.5–5 倍;更多 token 还会压缩上下文窗口并拖慢回答速度。
来源:AGI Hunt · agihunt.info