5 道判断题测你对 LLM token 机制的常见误解

一篇 Reddit 帖用 5 道判断题拆解 LLM token 机制的常见误解：非英文文本通常消耗更多 token，生僻词、代码和数字可能被拆分。上下文窗口同时覆盖输入与输出，部分模型还计入内部推理 token；不同 tokenizer 的计数并不相同。计费与限制按 token 计算，调用前应使用对应模型工具估算。