Shampoo非平稳优化获极小极大最优性证明

康奈尔大学 Abir Sarkar、Martin Wells 与北卡州立大学 Nirmalya Mandal 在 arXiv 发表论文，证明 Shampoo 优化器在平方路径变化约束下追踪时变最优点时具有匹配的极小极大上下界，因而在因果优化方法类中达到信息论最优。团队还给出了噪声与漂移主导场景下 β₁、ε 的权衡关系。 论文针对一般非平稳非凸目标，在常数步长下推导了平均投影驻点间隙的高概率界，并在合成问题和多个真实问题上进行验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。