基于Transformer的多尺度水下图像增强网络

doi:10.12068/j.issn.1005-3026.2024.12.004

摘要/Abstract

摘要：

基于CNN（convolutional neural network）的水下图像增强方法容易忽略全局特征，导致复原图像出现颜色失真、对比度下降等现象，影响全局视觉感知效果.因此，提出一种基于Transformer的多尺度水下图像增强网络.针对全局特征缺失问题，融入水下图像先验设计位置编码模块，构建适用于水下场景的Swin Transformer模块，并通过自注意力机制针对性地提取图像全局特征，提升全局感知性能；针对局部细节模糊现象，设计CNN模块关注水下图像纹理、边缘等局部特征，改善细节感知效果；构建转移融合模块，将Swin Transformer的全局注意力转移到卷积特征上，达成全局和局部特征的高效融合与利用.实验结果表明，所提方法在EUVP子集上的PSNR值最高可达23.47 dB，可有效增强全局视觉感知能力，显著改善图像视觉质量.

关键词: 水下图像增强, 深度学习, Transformer, 卷积神经网络, 转移融合

Abstract:

CNN（convolutional neural network）‑based underwater image enhancement methods neglect global visual perception， leading to color distortion and contrast degradation.

A Transformer‑based multi‑scale underwater image enhancement network （MTransNet） is proposed. To address the problem of lacking global visual perception， a position encoding module is designed based on underwater image priors and a Swin Transformer module which is applicable to underwater scenes is constructed. Furthermore， self‑attention mechanism is built to improve global perception performance. As for the detail blurring that exists in current methods， a CNN module is developed to capture local features such as textures or edges， to improve local perception performance. The transfer fusion module is built to transfer global attention of Swin Transformer to local convolutional feature， achieving full fusion and utilization of global feature and local feature. The PSNR value on subsets of EUVP can reach up to 23.47 dB， which demonstrates the method can significantly enhance global visual perception and increase image visual quality.

Key words: underwater image enhancement, deep learning, Transformer, convolutional neural network, transfer fusion

中图分类号:

TP 391

杨爱萍, 方思捷, 邵明福, 张腾飞. 基于Transformer的多尺度水下图像增强网络[J]. 东北大学学报（自然科学版）, 2024, 45(12): 1696-1705.

Ai-ping YANG, Si-jie FANG, Ming-fu SHAO, Teng-fei ZHANG. Transformer-based Multi-scale Underwater Image Enhancement Network[J]. Journal of Northeastern University(Natural Science), 2024, 45(12): 1696-1705.

图/表 9

图1 网络结构

Fig.1 Network structure

图2 位置编码模块

Fig.2 Position encoding module

图3 Swin Transformer模块

Fig.3 Swin Transformer module

图4 转移融合模块

Fig.4 Transfer fusion module

图5 Test-910数据集对比结果（a）—原始图像；（b）—fusion-based；（c）—Retinex-based；（d）—MMLE；（e）—FUnIE-GAN；

Fig.5 Comparison results of Test-910 dataset（f）—U-GAN；（g）—Water-Net；（h）—Ucolor；（i）—MTransNet.

图6 Test-R90数据集对比结果（a）—原始图像；（b）—fusion-based；（c）—Retinex-based；（d）—MMLE；（e）—FUnIE-GAN；

Fig.6 Comparison results of Test-R90 dataset（f）—U-GAN；（g）—Water-Net；（h）—Ucolor；（i）—MTransNet.

图7 Test-UIQS数据集对比结果（a）—原始图像；（b）—fusion-based；（c）—Retinex-based；（d）—MMLE；（e）—FUnIE-GAN；

Fig.7 Comparison results of Test-UIQS dataset（f）—U-GAN；（g）—Water-Net；（h）—Ucolor；（i）—MTransNet.

表1 对比方法客观评价结果

Table 1 Objective evaluation results of comparative methods

方法	Test-910		Test-R90		Test-UIQS
方法	PSNR/dB	SSIM	PSNR/dB	SSIM	US	UCIQE	UIQM
Input	17.24	0.79	16.31	0.79	1.00	0.48	0.84
fusion-based^[21]	21.83	0.83	17.83	0.82	2.80	0.62	1.22
Retinex-based^[22]	20.06	0.82	18.09	0.83	2.60	0.71	1.14
MMLE^[23]	22.34	0.85	18.44	0.85	3.00	0.64	1.34
FUnIE-GAN^[9]	23.06	0.85	17.64	0.79	1.60	0.55	0.81
UGAN^[24]	20.76	0.80	17.32	0.77	1.40	0.51	0.77
Water-Net^[10]	21.41	0.83	18.90	0.87	2.40	0.56	0.97
Ucolor^[11]	20.52	0.81	18.41	0.85	2.10	0.53	0.88
MTransNet	23.47	0.84	19.52	0.86	2.50	0.62	1.21

图8 消融实验（a）—原始图像；（b）—MTransNet；（c）—无Transformer；（d）—无CNN；（e）—无PE.

Fig.8 Ablation experiment

参考文献 24

1	Jiang Q P， Gu Y S， Li C Y，et al.Underwater image enhancement quality evaluation：benchmark dataset and objective metric［J］.IEEE Transactions on Circuits and Systems for Video Technology，2022，32（9）：5959-5974.
2	Raveendran S， Patil M D， Birajdar G K.Underwater image enhancement：a comprehensive review，recent trends，challenges and applications［J］.Artificial Intelligence Review，2021，54（7）：5413-5467.
3	Hummel R.Image enhancement by histogram transformation［J］.Computer Graphics and Image Processing，1977，6（2）：184-195.
4	Reza A M.Realization of the contrast limited adaptive histogram equalization （CLAHE） for real‑time image enhancement［J］.The Journal of VLSI Signal Processing Systems for Signal，Image，and Video Technology，2004，38（1）：35-44.
5	Hitam M S， Yussof W N J H W， Awalludin E A，et al.Mixture contrast limited adaptive histogram equalization for underwater image enhancement［C］//2013 International Conference on Computer Applications Technology （ICCAT）.Sousse，2013：1-5.
6	McGlamery B L.A computer model for underwater camera systems［J］.Proceedings of the SPIE，1980，208：221-231.
7	Jaffe J S.Computer modeling and the design of optimal underwater imaging systems［J］.IEEE Journal of Oceanic Engineering，1990，15（2）：101-111.
8	Wang Y， Zhang J， Cao Y，et al.A deep CNN method for underwater image enhancement［C］//2017 IEEE International Conference on Image Processing （ICIP）.Beijing，2017：1382-1386.
9	Islam M J， Xia Y Y， Sattar J.Fast underwater image enhancement for improved visual perception［J］.IEEE Robotics and Automation Letters，2020，5（2）：3227-3234.
10	Li C Y， Guo C L， Ren W Q，et al.An underwater image enhancement benchmark dataset and beyond［J］.IEEE Transactions on Image Processing，2020，29：4376-4389.
11	Li C Y， Anwar S， Hou J H，et al.Underwater image enhancement via medium transmission‑guided multi‑color space embedding［J］.IEEE Transactions on Image Processing，2021，30：4985-5000.
12	Qi Q， Zhang Y C， Tian F，et al.Underwater image co‑enhancement with correlation feature matching and joint learning［J］.IEEE Transactions on Circuits and Systems for Video Technology，2022，32（3）：1133-1147.
13	Vaswani A， Shazeer N， Parmar N，et al. Attention is all you need［J］.Advances in Neural Information Processing Systems，2017，30：6000-6010.
14	Liu Z， Mao H Z， Wu C Y，et al. A ConvNet for the 2020s［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New Orleans，2022：11976-11986.
15	Fan S J， Liang W， Ding D R，et al.LACN：a lightweight attention‑guided ConvNeXt network for low‑light image enhancement［J］.Engineering Applications of Artificial Intelligence，2023，117：105632.
16	Liu Z， Lin Y T， Cao Y，et al.Swin Transformer：hierarchical vision Transformer using shifted windows［C］//2021 IEEE/CVF International Conference on Computer Vision.Montreal，2021：9992-10002.
17	Guo C L， Yan Q X， Anwar S，et al.Image dehazing Transformer with transmission‑aware 3D position embedding［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New Orleans，2022：5802-5810.
18	Jiang L M， Zhang C X， Huang M Y，et al.TSIT：a simple and versatile framework for image‑to‑image translation［C］//Computer Vision-ECCV 2020：16th European Conference Proceedings，Part III 16.Glasgow，2020：206-222.
19	Wang X T， Yu K， Dong C，et al.Recovering realistic texture in image super‑resolution by deep spatial feature transform［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018：606-615.
20	Liu R S， Fan X， Zhu M，et al.Real‑world underwater enhancement：challenges，benchmarks，and solutions under natural light［J］.IEEE Transactions on Circuits and Systems for Video Technology，2020，30（12）：4861-4875.
21	Ancuti C O， Ancuti C， De Vleeschouwer C，et al.Color balance and fusion for underwater image enhancement［J］.IEEE Transactions on Image Processing，2018，27（1）：379-393.
22	Fu X Y， Zhuang P X， Huang Y，et al.A retinex‑based enhancing approach for single underwater image［C］//2014 IEEE International Conference on Image Processing （ICIP）.Paris，2014：4572-4576.
23	Zhang W D， Zhuang P X， Sun H H，et al.Underwater image enhancement via minimal color loss and locally adaptive contrast enhancement［J］.IEEE Transactions on Image Processing，2022，31：3997-4010.
24	Fabbri C， Islam M J， Sattar J.Enhancing underwater imagery using generative adversarial networks［C］//2018 IEEE International Conference on Robotics and Automation （ICRA）.Brisbane，2018：7159-7165.

[1]	刘炎, 卜齐杰, 赵红晨, 郭鑫. 基于多源异构信息的浮选过程运行状态评价[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1217-1226.
[2]	刘纪红, 黄熙雄. 基于去噪扩散概率模型的人脸图像修复模型[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1227-1234.
[3]	刘林, 宋雨昊. 基于误差因子的改进WLS超宽带定位算法[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1235-1243.
[4]	任涛, 刘昕靓, 陈宏峰, 马延路. 基于卷积神经网络的预警震级分段估算方法[J]. 东北大学学报（自然科学版）, 2024, 45(8): 1073-1079.
[5]	刘伟嵬, 刘炳君, 刘焕强, 刘泽远. 激光熔化沉积过程缺陷识别方法[J]. 东北大学学报（自然科学版）, 2024, 45(8): 1150-1158.
[6]	王植, 王坤, 王梦晴. 多尺度特征融合的Transformer遥感影像超分辨率重建[J]. 东北大学学报（自然科学版）, 2024, 45(8): 1178-1184.
[7]	刘纪红, 张律恒, 杨海旭. 一种细胞荧光显微图像饱和伪影修复算法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 921-927.
[8]	李红利, 刘浩雨, 张荣华, 成怡. 基于多维特征矩阵和改进稠密连接网络的情感分类[J]. 东北大学学报（自然科学版）, 2024, 45(7): 928-935.
[9]	韩东红, 孔彦茹, 展艺萌, 刘源. 音乐多模态数据情感识别方法的研究[J]. 东北大学学报（自然科学版）, 2024, 45(6): 776-785.
[10]	薛珮芸, 白静, 张楠, 赵建星. 基于VMD的双通道构音障碍语音特征图谱提取算法[J]. 东北大学学报（自然科学版）, 2024, 45(6): 793-801.
[11]	章伟琪, 王辉明. 混凝土抗压强度的可解释深度学习预测模型[J]. 东北大学学报（自然科学版）, 2024, 45(5): 738-744.
[12]	单鹏, 张林, 肖洪明, 赵玉良. 融合多尺度注意力机制的冠状病毒肺炎CT诊断方法[J]. 东北大学学报（自然科学版）, 2024, 45(12): 1673-1679.
[13]	尉健一，吴菁晶. 基于边缘计算的工业物联网中资源分配算法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1072-1078.
[14]	杨譞，何占奇. 改进的两层BiLSTM的心电信号分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(12): 1705-1711.
[15]	季策，王鑫，耿蓉，梁敏骏. 时变信道下基于LSTM的信道估计方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1521-1528.