预训练幕后：MoE 内核上下文从 4k 扩至 16k，MFU 从 20% 提升至 30%

某次预训练运行因 MoE 内核当时仅支持 4k 上下文且存在高 dropping，原计划以 16k 启动并搭建 scaling ladder。多个内核改进在运行中途落地后，MFU 从 20% 提升至 30%。Uncheatable 的预测未对渐近线校准或与运行数据拟合，主要用于方向性估算早期 datamix 变更影响。