kalomaze：固定尺寸 UTF-8 线性投影基线足以挑战 BPE 的统治地位

AI 研究者 kalomaze 表示，对固定大小 UTF-8 位进行线性投影、且完全不使用专用 embedding 表的 tokenizer 基线，曾取得不错效果，因此认为 BPE 在分词领域的主导地位更多源于惯性，而非必要性。