AGI Hunt· naver-ai·· 4 小时前AI 评分44
NAVER AI Lab 推出 FOAM 优化器:状态内存减半,效果追平 SOAP 与 Muon
NAVER AI Lab 推出 FOAM 优化器:一半状态内存追平 SOAP 与 Muon
AI 导读
NAVER AI Lab 发布轻量级 SOAP 变体 FOAM,通过仅采用输入侧 preconditioning、移除输出侧 Kronecker 因子并省去一次特征分解,将优化器状态内存降至常规的一半。其 LLM 预训练速度达到 Muon 级别,效果追平强二阶优化器和 Muon 基线,并以接近 AdamW 的开销保住 SOAP 收益。
来源:AGI Hunt · agihunt.info