多尺度特征融合的Transformer遥感影像超分辨率重建

doi:10.12068/j.issn.1005-3026.2024.08.014

摘要/Abstract

摘要：

针对现有遥感影像超分辨率重建算法，在处理复杂场景时，存在无法充分提取和利用特征，且计算复杂度高的问题，提出一种多尺度特征融合的Transformer遥感影像超分辨率重建网络模型.该模型引入了多尺度残差Swin Transformer模块，在充分提取特征的同时，减少用于提取浅层特征的模块冗余；建立了一个特征细化融合模块，可以充分提取图像特征来提高网络性能.基于UC Merced Land Use公开数据集进行实验，结果表明：提出的模型所需参数数量仅为目前主流超分辨率重建方法EDSR模型的61.6%，重建结果在不同尺度下的峰值信噪比和结构相似度相对EDSR分别平均提高了0.82 dB和0.024.通过对比分析，证明本文提出的模型在提高图像质量的同时，有效地减少了网络参数冗余，可明显提高重建图像质量，满足高分辨率遥感影像处理需要.

关键词: 遥感影像, 超分辨率重建, Transformer, 特征提取, 特征细化融合

Abstract:

To address the limitation of the existing super?resolution reconstruction of remote sensing image algorithms in fully extracting and utilizing features and coping with high computational complexity in complex scenes， a Transformer network model for super?resolution reconstruction of remote sensing image based on multi?scale feature fusion was proposed. The multi?scale residual Swin Transformer module was introduced to fully extract features and reduce the module redundancy used for flat feature extraction. A feature fusion refinement module was established that can fully extract image features to improve network performance. Based on the public UC Merced Land Use dataset， the experimental results show that the number of parameters required by the proposed model is only 61.6% of the parameters compared with the current mainstream super?resolution reconstruction method EDSR model. The peak signal?to?noise ratio and structural similarity of the reconstruction results at different scales are increased by 0.82 dB and 0.024 on average compared with the EDSR model. Through comparative analysis， it is proved that the model proposed can effectively reduce the redundancy of network parameters while improving the quality of the image. It can significantly improve the quality of the reconstructed image to meet the requirements of high?resolution remote sensing image processing.

Key words: remote sensing image, super?resolution reconstruction, Transformer, feature extraction, feature refinement fusion（FRF）

中图分类号:

P 237

王植, 王坤, 王梦晴. 多尺度特征融合的Transformer遥感影像超分辨率重建[J]. 东北大学学报（自然科学版）, 2024, 45(8): 1178-1184.

Zhi WANG, Kun WANG, Meng-qing WANG. Super-resolution Reconstruction of Remote Sensing Image Based on Transformer of Multi-scale Feature Fusion[J]. Journal of Northeastern University(Natural Science), 2024, 45(8): 1178-1184.

图/表 9

图1 本文算法网络总体框架

Fig. 1 Overall framework of the proposed algorithm network

图2 RSTB结构示意图

Fig. 2 Schematic diagram of the RSTB structure

图3 STL结构示意图

Fig. 3 Schematic diagram of the STL structure

图4 FRF 结构示意图

Fig. 4 Schematic diagram of the FRF structure

表1 RSTB模块数量对模型性能的影响 (on model performance)

Table 1 Effect of the number of RSTB modules

RSTB模块数量/个	PSNR/dB	SSIM
2	34.78	0.951 2
4	34.89	0.953 8
6	34.91	0.952 1
8	34.87	0.952 9

图5 迭代100次时有无FRF模块对模型性能的影响（a）—2倍放大因子；（b）—4倍放大因子.

Fig. 5 Influence of FRF module with or without FRF module on model performance with 100 iterations

表2 不同模型参数量的对比 (of different models)

Table 2 Comparison of the number of parameters

模型名称	参数数量/个	PSNR/dB
SRCNN	1.56×10⁷	25.82
RDN	4.12×10⁷	26.95
EDSR	4.35×10⁷	27.47
本文模型	2.68×10⁷	28.29

表3 不同模型在不同测试集上的PSNR和SSIM的对比结果

Table 3 Comparison results of PSNR and SSIM of different models on different test sets

影像类型	放大因子倍数	SRCNN		RDN		EDSR		本文模型
影像类型	放大因子倍数	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
建筑物	2	28.99	0.910 5	31.68	0.943 7	32.45	0.947 9	33.76	0.949 9
	3	25.52	0.815 3	27.42	0.870 2	27.74	0.879 2	29.36	0.910 2
	4	23.68	0.726 5	24.90	0.785 2	25.31	0.802 5	26.47	0.870 1
密集住宅区	2	30.67	0.900 7	32.82	0.931 4	33.93	0.941 6	34.52	0.942 5
	3	27.52	0.814 2	29.26	0.864 8	29.92	0.878 9	30.31	0.892 8
	4	25.66	0.732 6	26.73	0.783 7	27.31	0.806 3	28.26	0.832 6
机场	2	32.61	0.920 4	35.11	0.949 4	36.19	0.958 0	36.41	0.969 1
	3	29.89	0.858 3	31.66	0.895 3	32.23	0.904 2	33.15	0.924 7
	4	28.12	0.802 8	29.23	0.835 9	29.78	0.849 1	30.14	0.894 6

图6 不同模型在不同测试集上的可视化结果对比（a）—2倍放大因子；（b）—4倍放大因子.

Fig. 6 Comparison of visualization results of different models on different test sets

参考文献 13

1	Huang B， He B， Wu L N，et al.Deep residual dual‑attention network for super‑resolution reconstruction of remote sensing images［J］.Remote Sensing，2021，13（14）：2784-2802.
2	王植，李安翼，方锦雄.基于密集卷积神经网络的遥感影像超分辨率重建［J］.测绘与空间地理信息，2020，43（8）：4-8.
	Wang Zhi， Li An‑yi， Fang Jin‑xiong.Super resolution reconstruction of remote sensing images based on dense convolution neural network［J］.Geomatics & Spatial Information Technology，2020，43（8）：4-8.
3	Chang K， Ding P L K， Li B X.Single image super‑resolution using collaborative representation and non‑local self‑similarity［J］.Signal Processing，2018，149：49-61.
4	Ma Y C， Lyu P Y， Liu H，et al.Remote sensing image super‑resolution based on dense channel attention network［J］.Remote Sensing，2021，13（15）：2966-2986.
5	Dong C， Loy C C， He K M，et al.Learning a deep convolutional network for image super‑resolution［C］//European Conference on Computer Vision （ECCV）.Cham：Springer，2014：184-199.
6	Shi W Z， Caballero J， Huszár F，et al.Real‑time single image and video super‑resolution using an efficient sub‑pixel convolutional neural network［C］//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：1874-1883.
7	Kim J， Lee J K， Lee K M.Accurate image super‑resolution using very deep convolutional networks［C］//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：1646-1654.
8	Lim B， Son S， Kim H，et al.Enhanced deep residual networks for single image super‑resolution［C］//IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Honolulu，2017：1132-1140.
9	Zhang Y L， Tian Y P， Kong Y，et al.Residual dense network for image super‑resolution［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：2472-2481.
10	Vaswani A， Shazeer N， Parmar N，et al.Attention is all you need［EB/OL］.（2017-06-12）［2023-04-11］..
11	Liu Z， Lin Y T， Cao Y，et al.Swin Transformer：hierarchical vision transformer using shifted windows［C］//IEEE/CVF International Conference on Computer Vision （ICCV）.Montreal，2021：9992-10002.
12	Avcibas I， Sankur B， Sayood K.Statistical evaluation of image quality measures［J］.Journal of Electronic Imaging，2002，11（2）：206-223.
13	Singarimbun R N， Nababan E B， Sitompul O S.Adaptive moment estimation to minimize square error in backpropagation algorithm［C］//International Conference of Computer Science and Information Technology （ICoSNIKOM）.Medan：IEEE，2019：1-7.

[1]	李寿涛，屈如意，张宇，于丁力. 基于变分模态分解的冻结步态识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1543-1548.
[2]	刘洋，闫冬梅，孟范伟. 基于Transformer改进的两分支行人重识别算法[J]. 东北大学学报（自然科学版）, 2023, 44(1): 26-32.
[3]	王娜，李杨，彭锟. 基于多角度特征提取的舵机故障诊断方法[J]. 东北大学学报（自然科学版）, 2022, 43(9): 1240-1249.
[4]	于哲舟，刘岩，刘元宁. 基于YOLOV3改进的虹膜定位算法[J]. 东北大学学报（自然科学版）, 2022, 43(4): 496-501.
[5]	闫康，黄训江，张强，王登. 基于At-LSTM的产品创新特征识别[J]. 东北大学学报（自然科学版）, 2022, 43(10): 1506-1512.
[6]	任朝晖，于天壮，丁东，周世华. 基于VMD-DBN的滚动轴承故障诊断方法[J]. 东北大学学报（自然科学版）, 2021, 42(8): 1105-1110.
[7]	韩鹏，郭天，汪晋宽，史泽伟. 基于mRMR-ESN的单变量光伏功率预测[J]. 东北大学学报（自然科学版）, 2021, 42(2): 174-179.
[8]	赵琪珲，李大鹏，高天寒，闻英友. 基于图注意力网络的案件罪名预测方法:CP-GAT[J]. 东北大学学报（自然科学版）, 2021, 42(12): 1681-1687.
[9]	李晨，张家伟，张昊，汪茜. 基于生成对抗网络的低分化宫颈癌病理图像分类[J]. 东北大学学报:自然科学版, 2020, 41(7): 1054-1061.
[10]	王鑫，王翠荣，王聪，苑迎. 双通道多感知卷积神经网络图像超分辨率重建[J]. 东北大学学报:自然科学版, 2020, 41(11): 1564-1570.
[11]	侯延彬，陈炳均，高宪文. 基于GM-ELM的有杆泵抽油井故障诊断[J]. 东北大学学报:自然科学版, 2019, 40(12): 1673-1678.
[12]	纪英俊，勇晓玥，刘英林，刘士新. 基于随机森林的热轧带钢质量分析与预测方法[J]. 东北大学学报:自然科学版, 2019, 40(1): 11-15.
[13]	刘长福，朱立达，仇健，李明. 基于VMD和FFT的变切深侧铣颤振特征提取方法[J]. 东北大学学报:自然科学版, 2018, 39(8): 1153-1157.
[14]	陈星池，黄淑春，赵海，王晓漫. 基于极限学习机的中医脉象识别方法[J]. 东北大学学报:自然科学版, 2017, 38(9): 1226-1229.
[15]	黄璐，王宏. 基于约束独立分量分析的脑电特征提取[J]. 东北大学学报:自然科学版, 2014, 35(3): 419-423.