非光滑强凸情形Adam型算法的最优收敛速率OA北大核心CSTPCD
The Optimal Convergence Rate of Adam-Type Algorithms for Non-Smooth Strongly Convex Cases
对于非光滑强凸问题,在线梯度下降(Online Gradient Decent,OGD)取适当步长参数可以得到对数阶后悔界.然而,这并不能使一阶随机优化算法达到最优收敛速率.为解决这一问题,研究者通常采取两种方案:其一是改进算法本身,另一种是修改算法输出方式.典型的Adam(Adaptive moment estimation)型算法SAdam(Strongly convex Adaptive moment esti?mation)采用了改进算法的方式,并添加了自适应步长策略和动量技巧,虽然得到更好的数据依赖的后悔界,但在随机情形仍然达不到最优.针对这个问题,本文改用加权平均的算法输出方式,并且重新设计与以往算法同阶的步长超参数,提出了一种名为WSAdam(Weighted average Strongly convex Adaptive moment estimation)的Adam型算法.证明了WSAdam达到了非光滑强凸问题的最优收敛速率.经过Reddi问题的测试和在非光滑强凸函数优化中的实验,验证了所提方法的有效性.
陇盛;陶蔚;张泽东;陶卿
国防科技大学信息系统工程重点实验室,湖南长沙410073陆军炮兵防空兵学院信息工程系,安徽合肥230031军事科学院战略评估咨询中心,北京100091陆军炮兵防空兵学院信息工程系,安徽合肥230031
信息技术与安全科学
非光滑强凸优化自适应步长动量方法Adam型算法加权平均收敛速率
《电子学报》 2022 (9)
深度学习的Adam型优化方法研究
2049-2059,11
国家自然科学基金(No.62076252,No.62106281)
评论