基于改进YOLOv8的铆接孔表面缺陷检测

doi:10.12068/j.issn.1005-3026.2024.11.010

摘要/Abstract

摘要：

飞机蒙皮、尾翼等零件上的铆接孔表面质量关乎飞机整体装配性能，目前铆接孔缺陷检测大多为传统人工检测，易出现漏检现象.因此，提出一种具有创新性的改进YOLOv8的铆接孔表面缺陷检测方法.采用可变形卷积替换常规卷积，解决特征提取中感受野形状固定的问题.嵌入SimAM注意力机制，增强网络在背景和目标对比度较低状况下的辨识能力.使用WIoU边界框回归损失函数代替CIoU损失函数，降低低质量图像对模型训练的影响，提高模型的鲁棒性和泛化能力.为验证本文模型的性能，以带铆接孔的6061铝合金板代替飞机蒙皮进行检测.实验结果表明，本文模型在铆接孔测试集上mAP_0.5和准确率分别达到了0.918和0.920，较原始YOLOv8模型分别提高了24.1%和25.3%.

关键词: YOLOv8, 铆接孔, 缺陷检测, 可变形卷积, 注意力机制

Abstract:

The surface quality of riveting holes on aircraft skin， tail and other components is crucial to the overall assembly performance of an aircraft. Currently， most riveting hole defect detection relies on the traditional manual methods， which are prone to missing detection. An improved detection method based on YOLOv8 for surface defect detection of riveting holes was proposed. The conventional convolution was replaced by deformable convolution to solve the problem of the fixed receptive field shape in feature extraction. The SimAM attention mechanism was embedded in order to enhance the recognition ability of the network under low contrast between the background and targets. The CIoU loss function was replaced by the WIoU bounding box regression loss function to reduce the impact of low?quality images during model training and improve the robustness and generalization ability of the model. To verify the performance of the improved model， 6061 aluminum alloy plates with riveting holes were used as a substitute for aircraft skin in the detection process. Experimental results demonstrated that the improved model achieved mAP_0.5 and accuracy of 0.918 and 0.920 on the riveting hole test set， which represents an improvement of 24.1% and 25.3% compared to the original model.

Key words: YOLOv8, riveting hole, defect detection, deformable convolution, attention mechanism

中图分类号:

TP 391

郝博, 徐新岩, 赵玉欣, 闫俊伟. 基于改进YOLOv8的铆接孔表面缺陷检测[J]. 东北大学学报（自然科学版）, 2024, 45(11): 1595-1603.

Bo HAO, Xin-yan XU, Yu-xin ZHAO, Jun-wei YAN. Surface Defect Detection of Riveting Holes Based on Improved YOLOv8[J]. Journal of Northeastern University(Natural Science), 2024, 45(11): 1595-1603.

图/表 16

表1 CCD相机参数

Table 1 Parameters of the CCD camera

型号	MV-EM510M
分辨率	2 456×2 058
外形尺寸/mm	50×50×48
最大帧率/（帧 $? s - 1$ ）	15
曝光方式	帧曝光
功耗/W	2.5

表1 CCD相机参数

Table 1 Parameters of the CCD camera

型号	MV-EM510M
分辨率	2 456×2 058
外形尺寸/mm	50×50×48
最大帧率/（帧 $? s - 1$ ）	15
曝光方式	帧曝光
功耗/W	2.5

表2 远心镜头参数

Table 2 Parameters of the telecentric lens

型号	BT-R23C144
放大倍率	0.061
视场尺寸/mm	144.3×108.2
光圈	8
远心度/（°）	<0.05
景深/mm	90
畸变/%	<0.08

图1 图像采集设备和铆接孔(a)—采集设备；（b）—铆接孔.

Fig.1 Image acquisition equipment and riveting holes

图2 改进YOLOv8网络结构

Fig.2 Network structure of the improved YOLOv8

图3 可变形卷积计算流程

Fig.3 Calculation flowchart of deformable convolution

图4 注意力机制对比图（a）—通道注意力机制；（b）—空间注意力机制；（c）—SimAM注意力机制.

Fig.4 Comparison of attention mechanisms

图5 数据集样本的种类和数量

Fig.5 Types and quantities of the data set samples

图6 数据集目标分布及尺寸情况（a）—数据集目标分布；（b）—尺寸.

Fig.6 Target distribution and size of the data set

图7 不同模型损失值对比（a）—边界框回归损失值；（b）—类别预测损失值.

Fig.7 Loss value comparison of different models

图8 不同模型mAP值对比（a）—mAP_0.5；（b）—mAP_0.5∶0.95.

Fig.8 mAP value comparison of different models

图9 两种模型混淆矩阵图（a）—YOLOv8模型混淆矩阵；（b）—改进YOLOv8模型混淆矩阵.

Fig.9 Confusion matrix of the two models

表3 两种模型检测精度参数

Table 3 Test accuracy parameters of the two models

模型	缺陷	P	R	F1值	AP_0.5
本文模型	裂纹	0.919	0.938	0.928	0.912
	凹陷	0.900	0.948	0.923	0.963
	毛刺	0.856	0.922	0.888	0.929
	划痕	0.890	0.759	0.819	0.869
YOLOv8 模型	裂纹	0.791	0.812	0.801	0.723
	凹陷	0.736	0.667	0.700	0.719
	毛刺	0.870	0.629	0.730	0.812
	划痕	0.575	0.487	0.527	0.453

表4 消融实验结果

Table 4 Results of ablation experiments

组别	模型	P	R	mAP_0.5	mAP_0.5∶0.95	帧率/（帧· $s - 1$ ）
1	YOLOv8	0.743	0.649	0.677	0.367	243.90
2	YOLOv8+WIoU	0.791	0.650	0.754	0.458	204.08
3	YOLOv8+WIoU+SimAM	0.790	0.681	0.806	0.476	178.57
4	YOLOv8+WIoU+SimAM+DCN	0.891	0.892	0.918	0.524	147.06

表4 消融实验结果

Table 4 Results of ablation experiments

组别	模型	P	R	mAP_0.5	mAP_0.5∶0.95	帧率/（帧· $s - 1$ ）
1	YOLOv8	0.743	0.649	0.677	0.367	243.90
2	YOLOv8+WIoU	0.791	0.650	0.754	0.458	204.08
3	YOLOv8+WIoU+SimAM	0.790	0.681	0.806	0.476	178.57
4	YOLOv8+WIoU+SimAM+DCN	0.891	0.892	0.918	0.524	147.06

图10 PR曲线（a）—YOLOv8；（b）—YOLOv8+WIoU；（c）—YOLOv8+WIoU+SimAM；（d）—YOLOv8+WIoU+SimAM+DCN.

Fig.10 PR curves

图11 改进后模型与原始模型的热力图对比（a）—缺陷原图；（b）—YOLOv8模型可视化热力图；（c）—改进YOLOv8模型可视化热力图.

Fig.11 Comparison of heat maps between the improved model and the original model

图12 改进模型和原始模型的实际检测效果（a）—缺陷原图；（b）—YOLOv8模型检测结果；（c）—改进YOLOv8模型检测结果.

Fig.12 Actual detection effects of the improved model and the original model

参考文献 15

1	Wang J， Zhu C R， Yang Y P，et al.Effect of riveting displacement on the mechanical behavior of CFRP bolted joints with elliptical‑head non‑lug self‑locking rivet nut［J］.International Journal of Advanced Manufacturing Technology，2023，125（5/6）：2161-2182.
2	吕帅帅，杨宇，王彬文，等.基于改进Mask-RCNN的飞行器结构裂纹自动检测方法［J］.振动、测试与诊断，2021，41（3）：487-494，620.
	Shuai‑shuai Lyu， Yang Yu， Wang Bin‑wen，et al.An automatic crack detection method for structure test based on improved Mask-RCNN［J］.Journal of Vibration，Measurement & Diagnosis，2021，41（3）：487-494，620.
3	Liu Y X， Wu D B， Liang J W，et al.Aeroengine blade surface defect detection system based on improved faster RCNN［J］.International Journal of Intelligent Systems，2023：1992415.
4	潘睿志，林涛，李超，等.基于深度学习的多尺寸汽车轮辋焊缝检测与定位系统研究［J］.光学精密工程，2023，31（8）：1174-1187.
	Pan Rui‑zhi， Lin Tao， Li Chao，et al.Research on multi size automobile rim weld detection and positioning system based on depth learning［J］.Optics and Precision Engineering，2023，31（8）：1174-1187.
5	Aboah A， Wang B， Bagci U，et al.Real‑time multi‑class helmet violation detection using few‑shot data sampling technique and YOLOv8［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Vancouver，2023：5350-5358.
6	Feng C J， Zhong Y J， Gao Y，et al.TOOD：task‑aligned one‑stage object detection［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）.Montreal，2021：3490-3499.
7	Li X， Wang W H， Wu L J，et al.Generalized focal loss：learning qualified and distributed bounding boxes for dense object detection［J］.ArXiv，2022：2006.04388.
8	Dai J F， Qi H Z， Xiong Y W，et al.Deformable convolutional networks［C］//2017 IEEE International Conference on Computer Vision （ICCV）.Venice，2017：764-773.
9	Zhu X Z， Hu H， Lin S，et al.Deformable ConvNets V2：more deformable，better results［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Long Beach，2019：9300-9308.
10	Hu J， Shen L， Albanie S，et al.Squeeze‑and‑excitation networks［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.
11	Woo S， Park J， Lee J Y，et al.CBAM：convolutional block attention module［C］//European Conference on Computer Vision.Cham：Springer，2018：3-19.
12	Park J， Woo S， Lee J Y，et al.BAM：bottleneck attention module［J］.ArXiv，2022：1807.06514.
13	Yang L X， Zhang R Y， Li L D，et al.SimAM：a simple，parameter‑free attention module for convolutional neural networks［C］//International Conference on Machine Learning （ICML）.San Diego，2021：1-12.
14	Tong Z J， Chen Y H， Xu Z W，et al.Wise-IoU：bounding box regression loss with dynamic focusing mechanism［J］.ArXiv，2023：2301.10051.
15	Selvaraju R R， Cogswell M， Das A，et al.Grad-CAM：visual explanations from deep networks via gradient‑based localization［J］.International Journal of Computer Vision，2020，128（2）：336-359.

[1]	刘炎, 卜齐杰, 赵红晨, 郭鑫. 基于多源异构信息的浮选过程运行状态评价[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1217-1226.
[2]	刘伟嵬, 邱佳鹤, 胡光大, 刘泽远. 基于改进YOLOv5的退役轴类零件表面损伤检测方法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 1002-1010.
[3]	田岸霖, 雷为民, 张鹏, 张伟. 一种基于编解码结构的多尺度边缘检测方法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 936-943.
[4]	郭立新, 毕素涛, 赵明扬. 基于改进YOLOv4轻量化网络的机械手状态检测算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 769-775.
[5]	马原, 佘黎煌, 李佳蔚, 鲍喜荣. 基于注意力机制的自适应图卷积三维点云识别算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 786-792.
[6]	冯虎, 宋克臣, 崔文琦, 颜云辉. 基于元学习的带钢表面缺陷小样本语义分割[J]. 东北大学学报（自然科学版）, 2024, 45(3): 354-360.
[7]	马淑华, 李立振, 秦汉民, 沙晓鹏. 基于PP-PicoDet-XS的改进铝型材表面缺陷检测算法[J]. 东北大学学报（自然科学版）, 2024, 45(11): 1557-1564.
[8]	张执锦, 李鹤, 黄宇实, 王文学. 深度残差收缩网络在滚动轴承故障诊断中的应用[J]. 东北大学学报（自然科学版）, 2024, 45(11): 1587-1594.
[9]	刘梦园, 吴朝霞, 王金杨, 閤光磊. 基于TST-LSTM模型的烧结料层透气性预测[J]. 东北大学学报（自然科学版）, 2024, 45(10): 1379-1385.
[10]	孙颖, 周雅茹, 张雪英. 融合功能性副语言比例系数的语音情感识别[J]. 东北大学学报（自然科学版）, 2024, 45(1): 40-48.
[11]	姜杨，刘成，丁其川，王力. 基于双注意力机制的COVID-19病灶CT图像分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(9): 1259-1268.
[12]	周嵩，高天寒. 基于注意力机制RNN模型的癫痫患者脑电信号识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1098-1103.
[13]	丁其川，王力，刘成. 融合长距离信道注意力与病理特征的肺结节分类[J]. 东北大学学报（自然科学版）, 2023, 44(4): 476-485.
[14]	陈城，史培新，王占生，贾鹏蛟. 基于融合多注意力机制的深度学习的盾构荷载预测方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1631-1638.
[15]	林清扬，陈晓方，谢永芳. 基于残差卷积自注意力神经网络的铝电解过热度识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(1): 8-17.