一种基于条件梯度的加速分布式在线学习算法OA北大核心CSTPCD
由于容易实施,基于投影梯度的分布式在线优化模型逐渐成为一种主流的在线学习方法.然而,在处理大数据应用时,投影步骤成为该方法的计算瓶颈.近年来,研究者提出了面向凸代价函数的分布式在线条件梯度算法,其悔界为O(T^(3/4)),其中T是一个时间范围.该算法存在两方面的问题,一是其悔界劣于公认的悔界O(/T);二是没有分析非凸代价函数的收敛性能,而实际应用中代价函数大部分是非凸函数.因此,提出一种基于条件梯度的加速分布式在线学习算法,使用Frank-Wolfe步骤替代投影步骤,避免昂贵的投影计算.文中证明当局部代价函数为凸函数时,所提算法达到公认的悔界O(/T);当局部代价函数为潜在非凸函数时,所提算法以速率O(/T)收敛到平稳点.最后,仿真实验验证了所提算法的性能与理论证明的结论.
吴庆涛;朱军龙;葛泉波;张明川;
河南科技大学信息工程学院,洛阳471023南京信息工程大学自动化学院,南京210044
计算机与自动化
条件梯度分布式在线学习悔界收敛速率
《自动化学报》 2024 (002)
P.386-402 / 17
国家自然科学基金(62033010,61871430,61976243);中原科技创新领军人才(214200510012,224200510004)资助。
评论