字节级 Transformer 可行但消耗上下文，BPE 主流地位有其道理

一位开发者在讨论中分享了训练小型 byte-level token Transformer 的经验，认为纯字节序列虽可行，却会严重消耗上下文长度。BPE 成为主流正是因此，ENGRAM 等工作则指向更大的 token 粒度，但该开发者仍偏爱“只用原始字节”的思路。