研究：分解式输出层让小模型在同等算力下使用 131k 词表

独立研究 Jakub Michałek 比较小语言模型的三种输出层，发现在同等训练 FLOPs 下，分解式输出层可使用 131k 词表并改善 BPB。两级头在 50k 与 131k 词表下的 GPU 训练吞吐分别为 flat 头的 1.98× 和 4.29×，代码与日志已开源。结果受 1–2 个种子及 tokenizer、领域差异影响，外推需谨慎。