Lion 与 VeLO：回顾用程序搜索自动发现深度学习优化器的两篇代表作

作者回顾用程序搜索自动发现深度学习优化器的两篇代表作：Google 的 Lion 与 DeepMind 的 VeLO。Lion 将算法发现形式化为程序搜索，所得优化器仅跟踪动量，比 Adam 更省内存。ViT 在 ImageNet 上精度最高提升 2%，JFT 预训练算力最高节省 5 倍，扩散模型训练算力最多降低 2.3 倍。