独立开发者预训练并开源 11M 参数稀疏 MoE 小模型 LS-Micro-Base

独立开发者在约 5.7B token 上预训练并开源 LS-Micro-Base，一款 11M 参数稀疏 MoE 小模型，支持 2048 上下文，采用 7.28M 主干、约 5.52M 激活参数、2 专家 top-1 路由及 4.21M ngram。其定位是为摘要、代码补全、路由模型和文本分类等专项任务提供可微调基底，并同步开源支持 Blackwell 的 CUDA 训练管线 cudalm-c。