一种基于编解码结构的多尺度边缘检测方法

doi:10.12068/j.issn.1005-3026.2024.07.004

摘要/Abstract

摘要：

针对传统边缘检测算法易出现边缘线断裂、不连续的情况以及基于深度学习的方法无法保证边缘清晰性和准确性且容易丢失边缘细节信息的问题，提出了一种基于编解码结构的轻量级的边缘检测方法.通过编码器提取图像的边缘特征，在解码端恢复编码器下采样时丢失的边缘信息，编解码器之间采用跳跃连接方法实现低层特征和高层特征之间的融合,采用具有注意力机制的深监督模块，进一步学习多尺度多层次的边缘特征生成精细的图像边缘.该网络模型在BSDS500S数据集上进行训练，实验结果表明，本文方法ODS（optimal dataset scale）与OIS（optimal image scale）分别达到0.808和0.830，在 GTX 1060机器上帧率达到60帧/s，超过了基于卷积神经网络的主流边缘检测方法，具有较好的效果.

关键词: 边缘检测, 编解码, 跳跃连接, 注意力机制, 深监督

Abstract:

Traditional edge detection algorithms often suffer from fractured and discontinuous edge lines， while deep learning?based approaches fail to ensure edge clarity and accuracy， often leading to the loss of edge details. To address these issues， a lightweight edge detection method based on encoder?decoder structure is proposed. The encoder extracts the edge features of the image， recovers the edge information lost when sampling under the encoder at the decoding end， uses the jump connection method between the codecs to achieve the fusion between low?level features and high?level features， and uses the deep supervision module with attention mechanism to further learn multi?scale and multi?level edge features to generate fine image edges. The network model is trained on the BSDS500S dataset. Experimental results show that the ODS and OIS of the proposed method reach 0.808 and 0.830 respectively， and the frame rate on the GTX 1060 machine reaches 60 frames/second， which exceeds the mainstream edge detection methods based on convolutional neural networks， thus showing its effectiveness.

Key words: edge detection, encoder?decoder, skip connection, attention mechanism, deep supervision

中图分类号:

TP 391

田岸霖, 雷为民, 张鹏, 张伟. 一种基于编解码结构的多尺度边缘检测方法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 936-943.

An-lin TIAN, Wei-min LEI, Peng ZHANG, Wei ZHANG. A Multi-scale Edge Detection Method Based on Encoder-Decoder[J]. Journal of Northeastern University(Natural Science), 2024, 45(7): 936-943.

图/表 13

图1 基于编解码结构的边缘检测网络

Fig.1 Edge detection network based on encoder-decoder

图2 编码器模块

Fig.2 Encoder module

图3 Block模块

Fig.3 Block module

图4 深监督模块

Fig.4 Deep supervision module

图5 CAM模块

Fig.5 CAM module

图6 不同网络模型参数量

Fig.6 Network model parameter quantity

表1 不同方法在BSDS500数据集上的比较 (on BSDS500 dataset)

Table 1 Comparison of different methods

方法	ODS	OIS	AP
Human	0.803	0.803	—
Canny^[6]	0.611	0.676	0.520
Sobel^[4]	0.539	0.575	0.498
gPb-UCM^[7]	0.729	0.755	0.745
SE^[8]	0.743	0.764	0.800
OEF（oriented edge forests）^[23]	0.746	0.770	0.815
DeepContour^[10]	0.757	0.776	0.790
DeepEdge^[11]	0.753	0.772	0.807
HED^[13]	0.788	0.808	0.815
RCF^[15]	0.806	0.823	0.834
本文	0.808	0.830	0.843

图7 BSDS500数据集上的P-R曲线

Fig.7 P-R curves on BSDS500 dataset

表2 不同方法在NYUD数据集上的比较 (on NYUD dataset)

Table 2 Comparison of different methods

方法	ODS	OIS	AP
gPb-UCM^[7]	0.631	0.661	0.562
OEF^[23]	0.651	0.667	0.653
SE^[8]	0.695	0.708	0.719
HED^[13]	0.741	0.757	0.749
本文	0.753	0.769	0.763

图8 NYUD数据集上的P-R曲线

Fig.8 P-R curves on NYUD dataset

图9 CAM模块在不同配置下的P-R曲线

Fig.9 P-R curves of CAM modules in different configurations

表3 CAM模块在不同配置下的ODS与OIS对比 (in different configurations)

Table 3 Comparison of ODS and OIS of CAM modules

配置	ODS	OIS
无CAM	0.792	0.809
Encoder-CAM	0.800	0.815
Decoder-CAM	0.808	0.830

图10 不同方法的边缘检测效果对比（a）—原图；（b）—Ground Truth；（c）—Canny方法；（d）—HED方法；（e）—本文方法.

Fig.10 Comparison of edge detection effects of different methods

参考文献 23

1	Zhang M H， Luo H L， Song W，et al.Spectral‑spatial offset graph convolutional networks for hyperspectral image classification［J］.Remote Sensing，2021，13（21）：4342.
2	王玲敏，段军，辛立伟.引入注意力机制的YOLOv5安全帽佩戴检测方法［J］.计算机工程与应用，2022，58（9）：303-312.
	Wang Ling‑min， Duan Jun， Xin Li‑wei.Detection method of YOLOv5 helmet wearing with attention mechanism［J］.Computer Engineering and Application，2022，58（9）：303-312.
3	Wang R， Qiu K.Fine‑grained remote sensing semantic segmentation method under multi‑stage supervision learning［C］//14th International Conference on Measuring Technology and Mechatronics Automation（ICMTMA）.Changsha，2022：361-365.
4	Sobel I， Feldman G.A 3x3 isotropic gradient operator for image processing［EB/OL］.（2015-06-14）［2022-11-10］..
5	Prewitt J M S.Object enhancement and extraction［J］.Picture Processing and Psychopictorics，1970，10（1）：15-19.
6	Canny J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679-698.
7	Arbelaez P， Maire M， Fowlkes C，et al.Contour detection and hierarchical image segmentation［J］.IEEE transactions on Pattern Analysis and Machine Intelligence，2010，33（5）：898-916.
8	Dollár P， Zitnick C L.Fast edge detection using structured forests［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，37（8）：1558-1570.
9	刘胜男，宁纪锋.基于超像素的点互信息边界检测算法［J］.计算机应用，2016，36（8）：2296-2300.
	Liu Sheng‑nan， Ning Ji‑feng.Point mutual information boundary detection algorithm based on super pixel［J］.Computer Applications，2016，36（8）：2296-2300.
10	Shen W， Wang X G， Wang Y，et al.Deepcontour：a deep convolutional feature learned by positive‑sharing loss for contour detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Boston，2015：3982-3991.
11	Bertasius G， Shi J， Torresani L.Deepedge：a multi‑scale bifurcated deep network for top‑down contour detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Boston，2015：4380-4389.
12	Ganin Y， Lempitsky V.N4-Fields：neural network nearest neighbor fields for image transforms［C］//Asian Conference on Computer Vision.Cham：Springer，2014：536-551.
13	Xie S N， Tu Z W.Holistically‑nested edge detection［C］//Proceedings of the IEEE International Conference on Computer Vision.Santiago，2015：1395-1403.
14	Simonyan K， Zisserman A.Very deep convolutional networks for large‑scale image recognition［EB/OL］.（2015-04-10）［2022-11-10］..
15	Liu Y， Cheng M M， Hu X，et al.Richer convolutional features for edge detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolalu，2017：3000-3009.
16	Wang Y P， Zhao X， Huang K Q.Deep crisp boundaries［C］//Proceedings of the IEEE Conference On Computer Vision and Pattern Recognition.Honolulu，2017：3892-3900.
17	He J Z， Zhang S L， Yang M，et al.Bi‑directional cascade network for perceptual edge detection［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach，2019：3828-3837.
18	Deng R X， Shen C H， Liu S J，et al.Learning to predict crisp boundaries［C］//Proceedings of the European Conference on Computer Vision（ECCV）.Munich：Springer，2018：562-578.
19	Su Z， Liu W Z， Yu Z T，et al.Pixel difference networks for efficient edge detection［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision.Montreal，2021：5117-5127.
20	Badrinarayanan V， Kendall A， Cipolla R.SegNet：a deep convolutional encoder‑decoder architecture for image segmentation［J］.IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，39：2481-2495.
21	Ronneberger O， Fischer P， Brox T.U‑net：convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer‑Assisted Intervention.Munich：Springer，2015：234-241.
22	Howard A， Sandler M， Chu G，et al.Searching for MobileNetV3［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision.Seoul，2019：1314-1324.
23	Hallman S， Fowlkes C C.Oriented edge forests for boundary detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Boston，2015：1732-1740.

[1]	刘伟嵬, 邱佳鹤, 胡光大, 刘泽远. 基于改进YOLOv5的退役轴类零件表面损伤检测方法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 1002-1010.
[2]	郭立新, 毕素涛, 赵明扬. 基于改进YOLOv4轻量化网络的机械手状态检测算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 769-775.
[3]	马原, 佘黎煌, 李佳蔚, 鲍喜荣. 基于注意力机制的自适应图卷积三维点云识别算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 786-792.
[4]	冯虎, 宋克臣, 崔文琦, 颜云辉. 基于元学习的带钢表面缺陷小样本语义分割[J]. 东北大学学报（自然科学版）, 2024, 45(3): 354-360.
[5]	孙颖, 周雅茹, 张雪英. 融合功能性副语言比例系数的语音情感识别[J]. 东北大学学报（自然科学版）, 2024, 45(1): 40-48.
[6]	姜杨，刘成，丁其川，王力. 基于双注意力机制的COVID-19病灶CT图像分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(9): 1259-1268.
[7]	周嵩，高天寒. 基于注意力机制RNN模型的癫痫患者脑电信号识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1098-1103.
[8]	丁其川，王力，刘成. 融合长距离信道注意力与病理特征的肺结节分类[J]. 东北大学学报（自然科学版）, 2023, 44(4): 476-485.
[9]	陈城，史培新，王占生，贾鹏蛟. 基于融合多注意力机制的深度学习的盾构荷载预测方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1631-1638.
[10]	林清扬，陈晓方，谢永芳. 基于残差卷积自注意力神经网络的铝电解过热度识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(1): 8-17.
[11]	刘洋，闫冬梅，孟范伟. 基于Transformer改进的两分支行人重识别算法[J]. 东北大学学报（自然科学版）, 2023, 44(1): 26-32.
[12]	代茵，刘维宾，董昕阳，宋雨朦. 基于注意力机制的U-Net脑脊液细胞分割[J]. 东北大学学报（自然科学版）, 2022, 43(7): 944-950.
[13]	于哲舟，刘岩，刘元宁. 基于YOLOV3改进的虹膜定位算法[J]. 东北大学学报（自然科学版）, 2022, 43(4): 496-501.
[14]	李大鹏，赵琪珲，邢铁军，赵大哲. 基于分层注意力循环神经网络的司法案件刑期预测[J]. 东北大学学报（自然科学版）, 2022, 43(3): 344-349.
[15]	孟红记，刘沛谚，胡振伟. 基于注意力特征融合稠密网络的图像去雾算法[J]. 东北大学学报（自然科学版）, 2022, 43(12): 1717-1723.