- 年份
- 2020(1)
- 核心收录
- 中国科学引文数据库(CSCD)(1)
- 中国科技论文与引文数据库(CSTPCD)(1)
- 北京大学中文核心期刊目录(北大核心)(1)
- 刊名
- 智能系统学报(1)
- 语种
- 汉语(1)
- 关键词
- AMSGrad算法(1)
- AdaGrad算法(1)
- Adam算法(1)
- RMSProp算法(1)
- 个体收敛速率(1)
- 动量方法(1)
- 机器学习(1)
- 稀疏性(1)
- 更多...
- 作者
- 丁成诚(1)
- 陶卿(1)
- 陶蔚(1)
- 黄鉴之(1)
- 更多...
相关度
- 相关度
- 发表时间
每页显示10条
- 每页显示10条
- 每页显示20条
- 每页显示30条
已找到 1 条结果
- 非光滑凸情形Adam型算法的最优个体收敛速率北大核心CSCDCSTPCD摘要:Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷.但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现.这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点.通过求解l1范数约束下的hinge损失问题,实验…查看全部>>