基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法

doi:10.12068/j.issn.1005-3026.2025.20239041

摘要/Abstract

摘要：

为解决现有图像去雾算法因缺乏全局上下文信息、处理分布不均匀的雾时效果差且复用细节信息时引入噪声的缺陷，提出了基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法.首先，引入全局残差注意力机制编码模块自适应地提取非均匀雾区的细节特征,设计跨维度通道空间注意力优化信息权重.然后，提出全局建模Transformer模块加深编码器的特征提取过程，设计带有并行卷积的Swin Transformer捕捉特征之间的依赖关系.最后，设计门控特征融合解码模块复用图像重建所需的纹理信息，滤除不相关的雾噪声，提高去雾性能.在4个公开数据集上进行定性和定量实验，实验结果表明：所提算法能够有效地处理非均匀雾区域，重建纹理细腻且语义丰富的高保真无雾图像，其峰值信噪比和结构相似性指数都优于经典对比算法.

关键词: 图像去雾, 全局残差注意力机制, CNN-Transformer架构, 门控特征融合, 图像重建

Abstract:

To address the shortcomings of existing image dehazing algorithms， such as the lack of global contextual information， inadequate performance in dealing with non‑uniform haze， and the introduction of noise during the reuse of detailed information， a CNN-Transformer dehazing algorithm based on global residual attention and gated feature fusion is proposed. Firstly， a global residual attention mechanism is introduced to adaptively extract the detailed features from non‑uniform haze regions， and cross‑dimensional channel‑spatial attention is designed to optimize information weights. Thereafter， a global modelling Transformer module is proposed to deepen the feature extraction process of the encoder， and a Swin Transformer with parallel convolutions is constructed to capture the inter‑feature dependencies. Finally， a gated feature fusion decoder module is designed to reuse the texture information required for image reconstruction， to filter out irrelevant haze noise， and thereby to improve dehazing performance. Qualitative and quantitative experiments conducted on four publicly available datasets indicate that the proposed algorithm can effectively handle non‑uniform haze regions， reconstruct high‑fidelity haze‑free images with fine textures and rich semantics， and achieve higher peak signal‑to‑noise ratio and structural similarity index compared to the classic algorithm.

Key words: image dehazing, global residual attention mechanism, CNN-Transformer architecture, gated feature fusion, image reconstruction

中图分类号:

TP 391

李海燕, 乔仁超, 李海江, 陈泉. 基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法[J]. 东北大学学报（自然科学版）, 2025, 46(1): 26-34.

Hai-yan LI, Ren-chao QIAO, Hai-jiang LI, Quan CHEN. CNN-Transformer Dehazing Algorithm Based on Global Residual Attention and Gated Feature Fusion[J]. Journal of Northeastern University(Natural Science), 2025, 46(1): 26-34.

图/表 13

图1 本文提出算法的整体网络结构

Fig.1 The overall network architecture of the proposed algorithm

图2 全局残差注意力模型

Fig.2 Global residual attention model

图3 PC-Swin Transformer结构（a）—窗口滑动示意图；（b）—PC-Swin Transformer结构.

Fig.3 The structure of PC-Swin Transformer block

图4 门控特征融合模块

Fig.4 Gated feature fusion module

图5 非均匀数据集NH-Haze不同算法去雾效果对比（a）—雾图；（b）—FFANet算法；（c）—MSBDN算法；（d）—AECR算法；（e）—Dehamer算法；（f）—2023_ITBdehaze算法；（g）—本文算法；（h）—原图.

Fig.5 Comparison of dehazing effect of different algorithms on non-uniform data set NH-Haze

图6 非均匀数据集Smoke-Haze不同算法去雾效果对比（a）—雾图；（b）—MSBDN算法；（c）—Dehamer算法；（d）—本文算法；（e）—原图.

Fig.6 Comparison of dehazing effect of different algorithms on non-uniform data set Smoke-Haze

图7 均匀数据集O-Haze不同算法去雾效果对比（a）—雾图；（b）—MSBDN算法；（c）—Dehamer算法；（d）—本文算法；（e）—原图.

Fig.7 Comparison of dehazing effect of different algorithms on uniform data set O-Haze

图8 均匀数据集Dense-Haze不同算法去雾效果对比（a）—雾图；（b）—FFANet算法；（c）—MSBDN算法；（d）—AECR算法；（e）—Dehamer算法；（f）—2023_ITBdehaze算法；（g）—本文算法；（h）—原图.

Fig.8 Comparison of dehazing effect of different algorithms on uniform data set Dense-Haze

表1 非均匀去雾数据集的定量结果对比 (dehazing datasets)

Table 1 Quantitative comparison of non‑uniform

算法	NH-Haze		Smoke-Haze
算法	PSNR/dB	SSIM	PSNR/dB	SSIM
FFANet	18.13	0.647 3	15.20	0.53
MSBDN	17.97	0.659 1	15.19	0.53
AECR	19.24	0.596 2	16.57	0.58
Dehamer	20.23	0.684 4	18.83	0.62
2023_ITBdehaze	20.31	0.626 0	19.01	0.63
本文算法	20.35	0.697 1	19.23	0.63

表2 均匀去雾数据集的定量结果对比 (dehazing datasets)

Table 2 Quantitative comparison of uniform

算法	O-Haze		Dense-Haze
算法	PSNR/dB	SSIM	PSNR/dB	SSIM
FFANet	22.12	0.77	12.22	0.44
MSBDN	24.36	0.77	15.13	0.55
AECR	22.90	0.72	15.35	0.52
Dehamer	24.61	0.75	16.62	0.56
2023_1TBhehaze	25.84	0.78	16.31	0.56
本文算法	25.92	0.82	16.72	0.61

图9 特征可视化结果（a）—雾图；（b）—无全局残差注意力；（c）—有全局残差注意力；（d）—无PC-Swin Transformer；（e）—有PC-Swin Transformer；（f）—无门控特征融合；（g）—有门控特征融合.

Fig.9 Visual result of features

图10 消融实验定性研究（a）—去除全局残差注意力模块；（b）—去除门控特征融合模块；（c）—去除PC-Swin Transformer增强模块；（d）—本文算法；（e）—雾图.

Fig.10 Qualitative study of ablation experiment

表3 消融实验定量评估 (experiments)

Table 3 Quantitative evaluation of ablation

去雾算法	PSNR/dB	SSIM
MSBDN基础模型	17.97	0.659 1
去除全局残差注意力模块	18.84	0.667 3
去除PC-Swin Transformer增强模块	20.01	0.686 1
去除门控特征融合模块	19.85	0.679 5
本文算法	20.35	0.697 1

参考文献 24

1	Ren W Q， Liu S， Zhang H，et al.Single image dehazing via multi‑scale convolutional neural networks［M］//Lecture Notes in Computer Science.Cham：Springer International Publishing，2016：154-169.
2	McCartney E J， Hall F F.Optics of the atmosphere：scattering by molecules and particles［J］.IEEE Journal of Quantum Electronics，1977，30（5）：76-77.
3	Narasimhan S G， Nayar S K.Chromatic framework for vision in bad weather［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR 2000）.Hilton Head Island，2000：598-605.
4	Narasimhan S G， Nayar S K.Vision and the atmosphere［J］.International Journal of Computer Vision，2002，48：233-254.
5	Zhang H， Patel V M.Densely connected pyramid dehazing network［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Salt Lake City，2018：3194-3203.
6	Creswell A， White T， Dumoulin V，et al.Generative adversarial networks：an overview［J］.IEEE Signal Processing Magazine，2018，35（1）：53-65.
7	Mei K F， Jiang A W， Li J C，et al.Progressive feature fusion network for realistic image dehazing［M］//Jawahar C V，Li H D，Mori G，et al.Lecture Notes in Computer Science.Cham：Springer International Publishing，2019：203-215.
8	Wu R X， Duan Z P， Guo C L，et al.RIDCP：revitalizing real image dehazing via high‑quality codebook priors［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Paris：IEEE，2023：22282-22291.
9	Qin X， Wang Z L， Bai Y C，et al.FFA‑net：feature fusion attention network for single image dehazing［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：11908-11915.
10	Das S D， Dutta S.Fast deep multi‑patch hierarchical network for nonhomogeneous image dehazing［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Seattle，2020：482-483.
11	Wang Z D， Cun X D， Bao J M，et al.Uformer：a general U-shaped transformer for image restoration［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.New Orleans，2022：17683-17693.
12	Song Y D， He Z Q， Qian H，et al.Vision transformers for single image dehazing［J］.IEEE Transactions on Image Processing，2023， 32：1927-1941.
13	Guo C L， Yan Q X， Anwar S，et al.Image dehazing transformer with transmission‑aware 3D position embedding［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.New Orleans，2022：5812-5820.
14	Wu H Y， Qu Y Y， Lin S H，et al.Contrastive learning for compact single image dehazing［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville，2021：10551-10560.
15	Romano Y， Elad M.Boosting of image denoising algorithms［J］.SIAM Journal on Imaging Sciences，2015，8（2）：1187-1219.
16	Dong H， Pan J S， Xiang L，et al.Multi‑scale boosted dehazing network with dense feature fusion［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），Seattle，2020：2157-2167.
17	Zhao H S， Shi J P， Qi X J，et al.Pyramid scene parsing network［C］//IEEE Conference on Computer Vision and Pattern Recognition （CVPR 2017）.Honolulu，2017： 2881-2890.
18	Hu J， Shen L， Sun G.Squeeze‑and‑excitation networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Salt Lake City，2018：7132-7141.
19	Chen J N， Lu Y Y， Yu Q H，et al.TransUNet：transformers make strong encoders for medical image segmentation［EB/OL］.（2021-02-08）［2023-05-15］.，12，01.
20	Ancuti C O， Ancuti C， Timofte R.NH-HAZE：an image dehazing benchmark with non‑homogeneous hazy and haze‑free images［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Seattle，2020：444-445.
21	Jin Y Y， Yan W D， Yang W H，et al.Structure representation network and uncertainty feedback learning for dense non‑uniform fog removal［C］//ACCV 2022：16th Asian Conference on Computer Vision.Macao，2022：155-172.
22	Ancuti C O， Ancuti C， Timofte R，et al.O-Haze：a dehazing benchmark with real hazy and haze‑free outdoor images［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Salt Lake City，2018：754-762.
23	Ancuti C O， Ancuti C， Sbert M，et al.Dense-Haze：a benchmark for image dehazing with dense‑haze and haze‑free images［C］//2019 IEEE International Conference on Image Processing （ICIP）.Taipei，2019：1014-1018.
24	Liu Y Y， Liu H， Li L Y，et al.A data‑centric solution to nonhomogeneous dehazing via vision transformer［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Vancouver，2023：1406-1415.

[1]	杨丹，王雨佳，辛采凝，徐彬. 一种基于Fractal-DenseNet的电磁血管断层图像重建算法[J]. 东北大学学报（自然科学版）, 2023, 44(7): 931-937.
[2]	王宝宇，刘瑞麟，张淼，张石. 基于虚源的延时乘累加波束形成算法[J]. 东北大学学报（自然科学版）, 2023, 44(4): 469-475.
[3]	栾峰，杨帆，蔡睿智，杨晨. 基于双字典自适应学习算法的低采样率CT重建[J]. 东北大学学报（自然科学版）, 2022, 43(12): 1709-1716.
[4]	杨丹，芦甜，郭文欣，王旭. 基于模拟退火粒子群算法的MIT图像重建方法[J]. 东北大学学报（自然科学版）, 2021, 42(4): 531-537.
[5]	杨爱萍，邢金娜，刘瑾，李晓晓. 利用中通道补偿的单幅图像去雾[J]. 东北大学学报（自然科学版）, 2021, 42(2): 180-188.
[6]	滕月阳，郑孙易，卢子鹏，康雁. 基于梯度下降法的双能CT双物质分解算法[J]. 东北大学学报:自然科学版, 2017, 38(7): 936-940.
[7]	王旭，王静文，王柯元. 阈值Landweber在MIT图像重建中的应用[J]. 东北大学学报:自然科学版, 2016, 37(4): 477-480.
[8]	王静文，王旭. 基于压缩感知的MIT图像重建方法[J]. 东北大学学报:自然科学版, 2015, 36(12): 1687-1690.
[9]	吴春俐，朱学欢，翟江南，丁山. 基于快速分裂Bregman迭代的全变差正则化SENSE磁共振图像重建[J]. 东北大学学报:自然科学版, 2014, 35(1): 24-28.
[10]	陈玉艳;王旭;吕轶;杨丹;. 脑磁感应断层成像技术的敏感性分析及图像重建[J]. 东北大学学报(自然科学版), 2012, 33(6): 782-785.
[11]	吕轶;王旭;杨丹;陈玉艳;. 一种用于磁感应成像中灵敏度矩阵的计算方法[J]. 东北大学学报(自然科学版), 2011, 32(5): 618-621.
[12]	杨钢;王玉涛;邵富群;王师;. 用于ECT图像重建的预处理Landweber迭代算法[J]. 东北大学学报(自然科学版), 2006, 27(9): 953-956.
[13]	杨钢;邵富群;王师;. ECT图像重建中最小坡度正则化参数选择方法[J]. 东北大学学报(自然科学版), 2006, 27(8): 855-858.
[14]	田丰;邵富群;王福利. 基于正则方法与迭代技术相结合的复杂温度场重建算法[J]. 东北大学学报(自然科学版), 2003, 24(4): 307-310.