基于改进YOLOv4轻量化网络的机械手状态检测算法

doi:10.12068/j.issn.1005-3026.2024.06.002

摘要/Abstract

摘要：

YOLOv4网络结构复杂、参数较多、模型较大，因此极大地限制了其在工业上的应用.针对这一问题，提出一种改进YOLOv4的轻量化网络.首先，采用GhostNet代替YOLOv4主干网络，简化网络结构，降低模型参数量；其次，为了弥补网络简化后带来的精度损失，在其余两个输出特征层后加入Spatial Pyramid Pooling结构，加强特征提取；再次，加入Squeeze and Excitation Network通道注意力机制，增强网络重要信息提取能力；最后，将损失函数CIOU替换为SIOU，加快模型收敛，进而产生更好的模型.实验结果表明，在满足工业要求的前提下，改进后的轻量化网络相比于YOLOv4网络，在牺牲较小检测精度的情况下，模型参数量和计算量大幅下降，同时检测速度得到了提升，从而证明了改进算法在光纤插拔任务中机械手夹持状态识别检测的有效性.

关键词: YOLOv4, GhostNet, 深度可分离卷积, 注意力机制, 损失函数

Abstract:

The YOLOv4 network is difficult to be widely used in industry due to its complex structure， many parameters， and large model size. In view of this problem， an improved lightweight network based on YOLOv4 is proposed.Firstly， GhostNet is used to replace the YOLOv4 backbone network， simplifying the network structure and reducing the number of model parameters； Secondly， in order to make up for the accuracy loss caused by network simplification， Spatial Pyramid Pooling structure is added after the other two output feature layers to enhance feature extraction. Thirdly， the attention mechanism of channel， which is Squeeze and Excitation Network， is added to improve the network’s ability to extract important information. Finally， the loss function CIOU is replaced by SIOU to accelerate the convergence of the model and thus produce a better model. Experimental results show that， on the premise of meeting industrial requirements， compared with YOLOv4 network， the improved lightweight network significantly reduces the number of model parameters and the amount of computation， while improving the detection speed， at the same time， at the expense of less detection accuracy， thus proving the effectiveness of the improved algorithm in the identification and detection of the clamping state of the manipulator in the optical fiber plugging task.

Key words: YOLOv4, GhostNet, deepthwise separable convolution, attention mechanism, loss function

中图分类号:

TP 391

郭立新, 毕素涛, 赵明扬. 基于改进YOLOv4轻量化网络的机械手状态检测算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 769-775.

Li-xin GUO, Su-tao BI, Ming-yang ZHAO. State Detection Algorithm of Manipulator Based on Improved YOLOv4 Lightweight Network[J]. Journal of Northeastern University(Natural Science), 2024, 45(6): 769-775.

图/表 13

图1 YOLOv4网络结构图

Fig.1 Structure of YOLOv4 network

图2 Ghost模块结构

Fig.2 Structure of Ghost module

图3 Ghost瓶颈结构

Fig.3 Structure of Ghost bottleneck

图4 改进YOLOv4的主干网络

Fig.4 Backbone network of improved YOLOv4

图5 普通卷积与深度可分离卷积

Fig.5 Traditional convolution and depthwise

图6 SENet结构

Fig.6 Structure of SENet

图7 改进YOLOv4轻量化网络结构

Fig.7 Structure of improved YOLOv4 lightweight network

图8 改进YOLOv4轻量化网络检测结果

Fig.8 Detection result of improved lightweight YOLOv4

图9 改进YOLOv4轻量化网络准确率变化曲线（a）—类别fail；（b）—类别success.

Fig.9 Accuracy change curves of improved lightweight YOLOv4

图10 改进YOLOv4轻量化网络召回率变化曲线（a）—类别fail；（b）—类别success.

Fig.10 Recall change curves of improved lightweight YOLOv4

表1 改进算法与YOLOv4指标对比 (and YOLOv4)

Table 1 Comparison between improved algorithm

模型	参数量×10^-6	计算量×10^-9/FLOPs	FPS	mAP
YOLOv4	63.94	29.88	42	0.983 9
改进算法	11.71	3.97	54	0.980 3

表2 消融试验结果

Table 2 Result of ablation test

模块	SE	SPP	SIOU	参数量 ×10^-6	FPS	mAP
YOLOv4	—	—	—	63.94	42	0.983 9
YOLOv4_L	—	—	—	11.01	57	0.951 4
YOLOv4_L	√	—	—	11.05	56	0.960 7
YOLOv4_L	—	√	—	11.67	55	0.965 1
YOLOv4_L	—	—	√	11.01	57	0.959 3
YOLOv4_L	√	√	√	11.71	54	0.980 3

图11 不同模型检测速度与平均精度

Fig.11 FPS and mAP of different models

参考文献 13

1	Girshick R， Donahue J， Darrell T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation［C］//IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：580-587.
2	Girshick R.Fast R-CNN［EB/OL］.（2015-04-30）［2022-12-25］.
3	Liu W， Anguelov D， Erhan D，et al.SSD：single shot MultiBox detector［C］//European Conference on Computer Vision.Cham：Springer，2016：21-37.
4	Redmon J， Farhadi A.Yolov3：an incremental improvement ［EB/OL］.（2018-04-08）［2022-12-25］..
5	Bochkovskiy A， Wang C Y， Liao H Y M.YOLOv4：Optimal speed and accuracy of object detection ［EB/OL］.（2020-04-23）［2022-12-25］..
6	He K M， Zhang X Y， Ren S Q，et al.Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1904-1916.
7	Liu S， Qi L， Qin H F，et al.Path aggregation network for instance segmentation［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018：8759-8768.
8	Wang C Y， Liao H Y， Wu Y H，et al.CSPNet：a new backbone that can enhance learning capability of CNN［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Seattle，2020：1571-1580.
9	Han K， Wang Y H， Tian Q，et al.GhostNet：more features from cheap operations［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle，2020：1577-1586.
10	Chollet F.Xception：deep learning with depthwise separable convolutions［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu，2017：1800-1807.
11	Hu J， Shen L， Albanie S，et al.Squeeze‑and‑excitation networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.
12	Zheng Z H， Wang P， Liu W，et al.Distance‑IOU loss：faster and better learning for bounding box regression［EB/OL］.（2019-11-19）［2022-12-25］..
	08287.pdf.
13	Gevorgyan Z，SIOU loss：more powerful learning for bounding box regression［EB/OL］.（2022-05-25）［2022-12-25］..

[1]	冯虎, 宋克臣, 崔文琦, 颜云辉. 基于元学习的带钢表面缺陷小样本语义分割[J]. 东北大学学报（自然科学版）, 2024, 45(3): 354-360.
[2]	孙颖, 周雅茹, 张雪英. 融合功能性副语言比例系数的语音情感识别[J]. 东北大学学报（自然科学版）, 2024, 45(1): 40-48.
[3]	姜杨，刘成，丁其川，王力. 基于双注意力机制的COVID-19病灶CT图像分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(9): 1259-1268.
[4]	周嵩，高天寒. 基于注意力机制RNN模型的癫痫患者脑电信号识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1098-1103.
[5]	丁其川，王力，刘成. 融合长距离信道注意力与病理特征的肺结节分类[J]. 东北大学学报（自然科学版）, 2023, 44(4): 476-485.
[6]	陈城，史培新，王占生，贾鹏蛟. 基于融合多注意力机制的深度学习的盾构荷载预测方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1631-1638.
[7]	林清扬，陈晓方，谢永芳. 基于残差卷积自注意力神经网络的铝电解过热度识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(1): 8-17.
[8]	刘洋，闫冬梅，孟范伟. 基于Transformer改进的两分支行人重识别算法[J]. 东北大学学报（自然科学版）, 2023, 44(1): 26-32.
[9]	代茵，刘维宾，董昕阳，宋雨朦. 基于注意力机制的U-Net脑脊液细胞分割[J]. 东北大学学报（自然科学版）, 2022, 43(7): 944-950.
[10]	张雪峰，许华文，杨棉子美. 一种基于条件生成对抗网络的高感知图像压缩方法[J]. 东北大学学报（自然科学版）, 2022, 43(6): 783-791.
[11]	于哲舟，刘岩，刘元宁. 基于YOLOV3改进的虹膜定位算法[J]. 东北大学学报（自然科学版）, 2022, 43(4): 496-501.
[12]	李大鹏，赵琪珲，邢铁军，赵大哲. 基于分层注意力循环神经网络的司法案件刑期预测[J]. 东北大学学报（自然科学版）, 2022, 43(3): 344-349.
[13]	孟红记，刘沛谚，胡振伟. 基于注意力特征融合稠密网络的图像去雾算法[J]. 东北大学学报（自然科学版）, 2022, 43(12): 1717-1723.
[14]	于长永，何鑫，祁欣，马海涛. GMSDenseNet:基于组多结构卷积的轻量级DenseNet[J]. 东北大学学报:自然科学版, 2020, 41(1): 12-16.
[15]	郭瑜，孙志礼，潘尔顺. 回流焊工艺参数在线控制及优化策略[J]. 东北大学学报:自然科学版, 2014, 35(4): 555-558.