Meta AI 发布首个 Loop Scaling Laws：循环叠加稀疏带来约 2 倍参数效率

Meta AI 研究者首次联合建模循环与 MoE 稀疏，并提出 Loop Scaling Laws。结果显示，稀疏带来约 3 倍激活参数效率，循环在推理任务上带来约 2 倍总参数效率；万亿 token 验证中，同等算力下 1.3B looped MoE 可匹配 2.9B 非 looped MoE。循环过多会收益递减，稀疏可延缓平台期。