程序搜索发现Lion与VeLO优化器
热点事件持续更新
程序搜索发现Lion与VeLO优化器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Google团队将深度学习优化器的设计转化为程序搜索任务，由此发现Lion；该算法只跟踪动量，内存占用低于Adam。DeepMind团队则通过类似程序搜索方法开发VeLO。 实验显示，Lion用于ImageNet上的视觉Transformer训练时，精度最高提升2%；VeLO用于JFT预训练时，算力最高可节省5倍，用于扩散模型训练时，算力最多降低2.3倍。
AI 根据报道生成 · 2 小时前更新
最新进展10月24日 12:42
Lion 与 VeLO：回顾用程序搜索自动发现深度学习优化器的两篇代表作报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- AGI HuntLion 与 VeLO：回顾用程序搜索自动发现深度学习优化器的两篇代表作
作者回顾用程序搜索自动发现深度学习优化器的两篇代表作：Google 的 Lion 与 DeepMind 的 VeLO。Lion 将算法发现形式化为程序搜索，所得优化器仅跟踪动量，比 Adam 更省内存。ViT 在 ImageNet 上精度最高提升 2%，JFT 预训练算力最高节省 5 倍，扩散模型训练算力最多降低 2.3 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。