LLM预训练转向架构、数据与优化协同设计

akbirthko提出，工业级大语言模型预训练不能只分别优化架构、数据和训练方法，而应把三者纳入联合设计，下一步应让数据全面参与架构与优化策略的协同决策。 目前相关探索包括为模型定制优化器、使用Muon，以及联合设计数据课程与学习率课程；n-gram模块的训练动态也会随数据变化。这些内容构成联合设计的现有基础，但尚不能说明三者协同已形成统一方案。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。