斯坦福论文：BPB 并非 tokenizer 无关，勿以单指标评判模型

斯坦福新论文指出，BPB 并非 tokenizer 无关，英文文本在约 24K 词表附近得分最好。真实模型上，BPB 与下游任务得分的相关性仅在 +0.02 到 −0.30 之间；另一项声称与 BPB 高度一致的指标在修正混杂因素后，相关性从 0.989 降至 0.057。论文建议比较不同 tokenizer 的模型时，同时检查同一文本上的任务准确率。