LLM 看到的不是提示词而是 token：tokenization 科普长文

这篇 tokenization 科普长文讲解 LLM 实际接收的是 token，而非人类眼中的完整提示词，并厘清 BPE、SentencePiece 与 Token ID 等常见误区。内容覆盖上下文窗口、API 成本、代码生成、多语言、embeddings、chat 模板和模型训练等影响，配图技术手册目录共 10 章。