一种自适应步长的复合梯度加速优化算法

doi:10.12068/j.issn.1005-3026.2020.09.010

东北大学学报:自然科学版 ›› 2020, Vol. 41 ›› Issue (9): 1274-1279.DOI: 10.12068/j.issn.1005-3026.2020.09.010

一种自适应步长的复合梯度加速优化算法

印明昂¹，王钰烁²，孙志礼¹，于云飞³

(1. 东北大学机械工程与自动化学院，辽宁沈阳110819；2. 中车长春轨道客车股份有限公司，吉林长春130062； 3. 中国航发沈阳发动机研究所，辽宁沈阳110015)

收稿日期:2020-01-09 修回日期:2020-01-09 出版日期:2020-09-15 发布日期:2020-09-15
通讯作者: 印明昂
作者简介:印明昂(1985-)，男，辽宁沈阳人，东北大学讲师，博士; 孙志礼(1957-)，男，山东巨野人，东北大学教授，博士生导师.
基金资助:
国家自然科学基金资助项目(51775097， 51875095).

A Compound Gradient Acceleration Optimization Algorithm with Adaptive Step Size

YIN Ming-ang¹， WANG Yu-shuo²， SUN Zhi-li¹， YU Yun-fei³

1.School of Mechanical Engineering & Automation， Northeastern University， Shenyang 110819， China； 2.CRRC Changchun Railway Vehicles Co.，Ltd.， Changchun 130062， China； 3.AVIC Shenyang Engine Design Institute， Shenyang 110015， China.

Received:2020-01-09 Revised:2020-01-09 Online:2020-09-15 Published:2020-09-15
Contact: YIN Ming-ang
About author:-
Supported by:
-

摘要/Abstract

摘要： 自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点，成为近期相关领域的研究热点.针对Adam收敛速度慢的问题，本文基于当前梯度、预测梯度以及历史动量梯度，提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam)，并对其收敛性进行了理论证明.与其他加速算法的区别之处在于，C-Adam将预测梯度与历史动量区别开，通过一次真实的梯度更新找到下一次迭代更精准的搜索方向.利用两组常用测试数据集及45钢静拉伸破坏实验的实验数据对所提算法进行验证，实验结果表明C-Adam与其他流行算法相比较具有更快的收敛速度及更小的训练损失.

关键词: 一阶优化算法, 复合梯度下降法, Logistic回归, 模式识别

Abstract: In related researches， a class of adaptive iteration step size accelerated(Adam) algorithms becomes a research hotspot because of its high computational efficiency and compatibility. To solve the problem of Adam′s low convergence rate， based on the combination of current gradient， prediction gradient and historical momentum gradient， this paper proposed a new kind of Adam algorithm named as compound gradient descent method(C-Adam)， and proved its convergence. The difference between C-Adam and other acceleration algorithms is that C-Adam distinguishes the prediction gradient from the historical momentum， and finds a more accurate search direction for the next iteration through a real gradient update. Using two testing data sets and the data of 45 steel static tensile experiment to test the C-Adam， the results show that the algorithm has faster convergence speed and smaller training loss compared with other popular algorithms.

Key words: first-order optimization algorithm, compound gradient descent method, Logistic regression, pattern recognition

中图分类号:

TP312

印明昂，王钰烁，孙志礼，于云飞. 一种自适应步长的复合梯度加速优化算法[J]. 东北大学学报:自然科学版, 2020, 41(9): 1274-1279.

YIN Ming-ang， WANG Yu-shuo， SUN Zhi-li， YU Yun-fei. A Compound Gradient Acceleration Optimization Algorithm with Adaptive Step Size[J]. Journal of Northeastern University Natural Science, 2020, 41(9): 1274-1279.

参考文献

[1]王敏，周树道，杨忠，等.深度学习技术浅述［J］.自动化技术与应用，2019(5):18-25.(Wang Min，Zhou Shu-dao，Yang Zhong，et al.A brief introduction to deep learning technology ［J］.Automation Technology and Application， 2019 (5):18-25.)
[2]Sashank J R，Satyen K，Sanjiv K.On the convergence of Adam and beyond［C］//International Conference on Learning Representations.Vancouver，Canada，2018:21-38.
[3]Jun H，Zheng W D.An adaptive optimization algorithm based on hybrid power and multidimensional update strategy［J］.IEEE Access， 2019，7(1):19355-19369.
[4]Ma J，Yarats D.Quasi-hyperbolic momentum and Adam for deep learning［C］//International Conference on Learning Representations.New Orleans，2019:48-64.
[5]Luo L C，Xiong Y H，Liu Y，et al.Adaptive gradient methods with dynamic bound of learning rate ［EB/OL］.(2019-02-26)［2019-12-15］.https://arxiv.org/abs/1902.09843.
[6]Diederik P K，Jimmy L B.Adam:a method for stochastic optimization［C］//International Conference on Learning Representations.New Orleans，2015:1-13.
[7]Deng L.The MNIST database of handwritten digit images for machine learning research［J］.IEEE Signal Processing Magazine， 2012，29(6):141-142.
[8]Krizhevsky A.Convolutional deep belief networks on Cifar-10［EB/OL］.(2010-03-31)［2019-12-15］.http://www.cs.toronto.edu/~kriz/cifar.html.
[9]Lei Y，He Z，Zi Y，et al.Fault diagnosis of rotating machinery based on multiple ANFIS combination with GAS［J］.Mechanical Systems and Signal Processing， 2007，21(5):2280-2294.
[10]王佳俊，许飞云.改进的自适应滤波算法及其在声发射信号中的应用［J］.东南大学学报，2019，35(1):45-52.(Wang Jia-jun，Xu Fei-yun.Improved adaptive filtering algorithm and its application in acoustic emission signal ［J］.Journal of Southeast University， 2019，35 (1):45-52.)
[15]关守平，房少纯.一种新型的区间-粒子群优化算法［J］.东北大学学报(自然科学版)，2012，33(10):1381-1384.(Guan Shou-ping，Fang Shao-chun.A new interval particle swarm optimization algorithm［J］.Journal of Northeastern University(Natural Science)，2012，33(10):1381-1384.)

[1]	霍月英，邱智宣，陈国庆，郭晨. 快速公交站间距服务水平分级方法[J]. 东北大学学报（自然科学版）, 2022, 43(1): 133-140.
[2]	印明昂，王钰烁，孙志礼，郭兵. 一种基于Newton迭代法的累积Logistic回归模型参数估计[J]. 东北大学学报:自然科学版, 2020, 41(1): 79-83.
[3]	孙丽娜，杨斌. 基于贝叶斯决策理论的爆炸物识别方法[J]. 东北大学学报:自然科学版, 2013, 34(1): 123-126.
[4]	张尧;刘伟嵬;邢芝涛;颜云辉;. 采用多分类器集成方法的带钢表面缺陷图像识别[J]. 东北大学学报(自然科学版), 2012, 33(2): 267-270.
[5]	李景奎;张义民;. 正态分布连续体结构可靠性拓扑优化设计[J]. 东北大学学报(自然科学版), 2011, 32(9): 1304-1307.
[6]	姜慧研;景世磊;柴天佑;周晓杰;. 基于SVM和PSO的烧结工况预报方法[J]. 东北大学学报(自然科学版), 2010, 31(4): 494-497.
[7]	赵兴东;李元辉;刘建坡;田军;. 红透山矿深部开采岩爆潜在区微震活动性研究[J]. 东北大学学报(自然科学版), 2009, 30(9): 1330-1333.
[8]	孙红春;谢里阳;邢海涛;. 基于混合特征和支持向量机的抽油杆缺陷识别[J]. 东北大学学报(自然科学版), 2009, 30(2): 266-269.
[9]	姜慧研;周晓杰;柴天佑;. 基于多级SVM的回转窑烧结状态识别方法[J]. 东北大学学报(自然科学版), 2009, 30(1): 54-57.
[10]	姜慧研;赵越;杨新风;. 基于MRI的肝硬化程度的计算机辅助诊断[J]. 东北大学学报(自然科学版), 2007, 28(1): 31-34.
[11]	贾雪琴;王旭;李景宏;杨丹;. 基于小波变换和K-L展开的单通道表面肌电信号识别[J]. 东北大学学报(自然科学版), 2006, 27(8): 859-862.
[12]	曾鹏鑫;么健石;朱琳琳;徐心和;. 基于分形的人造目标与自然物体区别[J]. 东北大学学报(自然科学版), 2006, 27(3): 260-263.
[13]	刘建昌;王柱. 基于神经网络模式识别的板形模糊控制器[J]. 东北大学学报(自然科学版), 2005, 26(8): 718-721.
[14]	南存全;冯夏庭. 基于模式识别的煤与瓦斯突出区域预测[J]. 东北大学学报(自然科学版), 2004, 25(9): 903-906.
[15]	颜云辉;杨会林;王成明. 金属断口图像的非线性模式识别方法[J]. 东北大学学报(自然科学版), 2004, 25(9): 884-886.

一种自适应步长的复合梯度加速优化算法

A Compound Gradient Acceleration Optimization Algorithm with Adaptive Step Size

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价