东北大学学报:自然科学版 ›› 2020, Vol. 41 ›› Issue (9): 1274-1279.DOI: 10.12068/j.issn.1005-3026.2020.09.010
印明昂1, 王钰烁2, 孙志礼1, 于云飞3
YIN Ming-ang1, WANG Yu-shuo2, SUN Zhi-li1, YU Yun-fei3
摘要: 自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点,成为近期相关领域的研究热点.针对Adam收敛速度慢的问题,本文基于当前梯度、预测梯度以及历史动量梯度,提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam),并对其收敛性进行了理论证明.与其他加速算法的区别之处在于,C-Adam将预测梯度与历史动量区别开,通过一次真实的梯度更新找到下一次迭代更精准的搜索方向.利用两组常用测试数据集及45钢静拉伸破坏实验的实验数据对所提算法进行验证,实验结果表明C-Adam与其他流行算法相比较具有更快的收敛速度及更小的训练损失.
中图分类号: