H-Net 分词器实测：短歌词文本 token 数约为 BPE 的 1/2.4

H-Net（bitter lesson 版）分词器在短歌词文本测试中，内部 checkpoint 的 token 数约为 BPE 的 1/2.4。对比图显示，BPE 会将重复拟声词和短语切分为大量碎片 token，而 H-Net 可将整段重复内容合并为极少数长 token。测试作者同时征集可用于分词测试的文本。