NAVER 与 KAIST 论文研究预训练语料词法印记对 zero-shot 成绩的追踪作用

NAVER Cloud 与 KAIST 的论文提出词级 unigram 交叉熵（UCE），用于衡量与 tokenizer 无关、不依赖模型的词法对齐程度。该指标可跨基准、文档选择和 prompt 路由追踪模型的 zero-shot 准确率；控制变量的从零预训练实验进一步显示，likelihood 式训练塑造的预测分布使评测成绩部分取决于预训练语料与基准目标的词法对齐。