分解式输出层提高小模型训练效率

独立研究者 Jakub Michałek 的实验显示，在同等训练算力下，小语言模型采用分解式两级输出头，可使用 131k 词表并改善 BPB，GPU 训练吞吐也高于平坦 softmax 输出层。 实验比较了三种输出层；两级头在 50k 和 131k 词表下的吞吐分别为 flat 头的 1.98 倍和 4.29 倍，代码与训练日志已开源。不过，实验仅使用 1—2 个随机种子，且 50k 与 131k 词表采用不同 tokenizer，词表大小与训练领域也同时变化，结果能否推广到其他设置仍需验证。

AI 根据报道生成 · 35 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。