AGI Hunt· Ready_Parking_5435·· 3 小时前AI 评分52
开发者开源 PyTorch 优化器 ApexW，大张量场景较 fused AdamW 快约 1.5 倍
开源 ApexW 优化器:状态内存减半,大张量场景比 fused AdamW 快 1.5 倍
AI 导读
开发者开源 PyTorch 优化器 ApexW，采用紧凑优化器状态和 Triton 执行路径，在大张量负载下较 PyTorch fused AdamW 快约 1.5 倍，状态内存约减半。
来源：AGI Hunt · agihunt.info