研究者推测未公布前沿模型架构

研究者推测，一款尚未公布的前沿模型可能采用 LatentMoE、NoPE gated attention、DeltaNet 式残差和局部线性注意力等架构，并可能仅使用 12T token 进行训练，通过大批次、优化器及损失目标调整提高数据利用效率。 该推测还包括基础归一化和激活梯度裁剪等稳定性修复措施；目前没有公开证据确认上述架构、训练规模或相关方法已经被具体模型采用。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。