MoE预训练内核改进提升MFU
热点事件持续更新
MoE预训练内核改进提升MFU
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
classiclarryd披露，团队在某次MoE预训练中途落地多项内核改进，将上下文支持从4k扩展至16k，并把MFU从20%提升至30%。因数据含较长文档，团队原计划以16k启动，但当时内核仅支持4k且存在高dropping，只能先搭建4k scaling ladder。 他称，Uncheatable未对渐近线校准，也未与运行数据拟合，预测偏差较大，主要用于方向性估算早期datamix变更的影响。
AI 根据报道生成 · 1 小时前更新
最新进展10月25日 11:21
预训练幕后：MoE 内核上下文从 4k 扩至 16k，MFU 从 20% 提升至 30%报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- AGI Hunt预训练幕后：MoE 内核上下文从 4k 扩至 16k，MFU 从 20% 提升至 30%
某次预训练运行因 MoE 内核当时仅支持 4k 上下文且存在高 dropping，原计划以 16k 启动并搭建 scaling ladder。多个内核改进在运行中途落地后，MFU 从 20% 提升至 30%。Uncheatable 的预测未对渐近线校准或与运行数据拟合，主要用于方向性估算早期 datamix 变更影响。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。