开发者开源11M参数稀疏MoE模型
热点事件持续更新
开发者开源11M参数稀疏MoE模型
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一名独立开发者用约57亿个token预训练并开源了LS-Micro-Base，这是一款11M参数的稀疏MoE模型，支持2048 token上下文，采用2专家top-1路由，每次推理激活约5.52M参数。 开发者同时开源完整训练管线cudalm-c，提供支持Blackwell的CUDA实现及CPU全功能对等版本。该模型定位为摘要、代码补全、路由和文本分类等专项任务的微调基础。
AI 根据报道生成 · 1 小时前更新
最新进展10月23日 21:10
独立开发者预训练并开源 11M 参数稀疏 MoE 小模型 LS-Micro-Base报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- AGI Hunt独立开发者预训练并开源 11M 参数稀疏 MoE 小模型 LS-Micro-Base
独立开发者在约 5.7B token 上预训练并开源 LS-Micro-Base，一款 11M 参数稀疏 MoE 小模型，支持 2048 上下文，采用 7.28M 主干、约 5.52M 激活参数、2 专家 top-1 路由及 4.21M ngram。其定位是为摘要、代码补全、路由模型和文本分类等专项任务提供可微调基底，并同步开源支持 Blackwell 的 CUDA 训练管线 cudalm-c。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。