LLM 预训练：迈向架构、数据与优化的联合设计

akbirthko 提出，工业级 LLM 预训练需协同设计架构、数据与优化，下一步应将数据全面纳入联合设计。架构与优化领域已探索定制优化器、Muon，以及数据课程与学习率课程的联合设计，n-gram 模块的训练动态也受数据影响。