基于双阶段深度学习的图像修复方法

doi:10.12068/j.issn.1005-3026.2025.20250072

摘要/Abstract

摘要：

针对现有图像修复方法在处理复杂损伤和依赖成对训练样本方面的不足，提出一种端到端的双阶段自监督图像修复方法.该方法包括退化模拟、边缘修复和色彩重建3个环节，并通过协同优化实现结构与色彩的协同还原.实验在档案馆历史图像集上进行，采用峰值信噪比(peak signal-to-noise ratio,PSNR)、感知相似度(learned perceptual image patch similarity,LPIPS)、弗雷歇起始距离(Fréchet inception distance,FID)和色彩丰富度得分(Colorfulness Score)4项指标进行评估.结果表明，该方法在图像还原精度、感知质量和色彩表现方面均优于主流方法，具备良好的实用价值和鲁棒性.

关键词: 图像修复, 自监督学习, 图像退化模拟, 协同优化, 属性解耦, 深度学习

Abstract:

In view of the shortcomings of existing image inpainting methods in handling complex damage and relying on paired training samples， an end-to-end dual-stage self-supervised image inpainting method was proposed. The method included degradation simulation， edge restoration， and color reconstruction； synergistic restoration of structure and color was achieved through cooperative optimization. Experiments were conducted on a historical image dataset from archives， and evaluation was performed using four metrics： peak signal-to-noise ratio（PSNR）， learned perceptual image patch similarity（LPIPS）， Fréchet inception distarce（FID）and Colorfulness Scare. Experimental results demonstrate that the proposed method outperforms existing mainstream methods in terms of image restoration accuracy， perceptual quality， and color performance， exhibiting good practical value and robustness.

Key words: image inpainting, self-supervised learning, image degradation simulation, cooperative optimization, attribute disentanglement, deep learning

中图分类号:

TP 391

王天琪, 张迪, 张鑫宇, 张一鸣. 基于双阶段深度学习的图像修复方法[J]. 东北大学学报（自然科学版）, 2025, 46(11): 48-57.

Tian-qi WANG, Di ZHANG, Xin-yu ZHANG, Yi-ming ZHANG. Dual-Stage Deep Learning-Based Image Inpainting Method[J]. Journal of Northeastern University(Natural Science), 2025, 46(11): 48-57.

图/表 10

参考文献 25

[1]	陈文祥，田启川，廉露，等.基于深度学习的图像修复方法研究进展［J］.计算机工程与应用，2024， 60（22）：58-73.
	Chen Wen-xiang， Tian Qi-chuan， Lian Lu， et al. Research progress of image inpainting methods based on deep learning［J］. Computer Engineering and Applications， 2024， 60（22）：58-73.
[2]	Anwar S， Tahir M， Li C Y， et al. Image colorization： a survey and dataset［J］. Information Fusion， 2025， 114： 102720.
[3]	Chua L O. CNN： a vision of complexity［J］. International Journal of Bifurcation and Chaos， 1997， 7（10）： 2219-2425.
[4]	Isola P， Zhu J Y， Zhou T H， et al. Image-to-image translation with conditional adversarial networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， 2017： 5967-5976.
[5]	Parmar N， Vaswani A， Uszkoreit J， et al. Image Transformer［C］//Proceedings of the 35th International Conference on Machine Learning （ICML）. Stockholm， 2018： 4055-4064.
[6]	魏赟，王璐璐，辛子昊，等.由粗到细的内容一致性图像修复方法［J］.华中科技大学学报（自然科学版）， 2025， 53（5）： 178-184.
	Wei Yun， Wang Lu-lu， Xin Zi-hao， et al. Coarse to fine approach to content-consistent image inpainting［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2025， 53（5）： 178-184.
[7]	Tai Y， Yang J， Liu X M， et al. MemNet： a persistent memory network for image restoration［C］//2017 IEEE International Conference on Computer Vision （ICCV）. Venice， 2017： 4549-4557.
[8]	周啟雪，余映，胡家绿. 利用Involution级联注意力机制的古代壁画图像修复网络［J］. 计算机科学， 2025， 52（12）： 158-165.
	Zhou Qi-xue， Yu Ying， Hu Jia-lyu）. Ancient mural image restoration network using Involution cascade attention mechanism［J］. Computer Science， 2025， 52（12： 158-165.
[9]	Wang Z D， Cun X D， Bao J M， et al. Uformer： a general U-shaped Transformer for image restoration［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， 2022： 17662-17672.
[10]	Liang J Y， Cao J Z， Sun G L， et al. SwinIR： image restoration using swin transformer［C］//2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）. Montreal， 2021： 1833-1844.
[11]	Karras T， Laine S， Aittala M， et al. Analyzing and improving the image quality of StyleGAN［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， 2020： 8107-8116.
[12]	Vitoria P， Raad L， Ballester C. ChromaGAN： adversarial picture colorization with semantic class distribution［C］//2020 IEEE Winter Conference on Applications of Computer Vision （WACV）. Snowmass Village， 2020： 2434-2443.
[13]	Guo Y， Gao Y， Lu Y X， et al. OneRestore： a universal restoration framework forComposite degradation［C］//Computer Vision-ECCV 2024. Cham： Springer， 2025： 255-272.
[14]	Gaa D， Chizhov V， Peter P， et al. Connecting image inpainting with denoising in the homogeneous diffusion setting［J］. Advances in Continuous and Discrete Models， 2025， 2025（1）： 74.
[15]	Kim G， Kang K， Kim S， et al. BigColor： colorization using a generative color prior for natural images［M］//Computer Vision-ECCV 2022. Cham： Springer Nature Switzerland， 2022： 350-366.
[16]	Kang X Y， Yang T， Ouyang W Q， et al. DDColor： towards photo-realistic image colorization via dual decoders［C］//2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Paris， 2024： 328-338.
[17]	Salmona A， Bouza L， Delon J. DeOldify： a review and implementation of an automatic colorization method［J］. Image Processing on Line， 2022， 12： 347-368.
[18]	Cui M Z， Jiang H， Li C Z. Progressive-augmented-based DeepFill for high-resolution image inpainting［J］. Information， 2023， 14（9）： 512.
[19]	Zhang H M， Wang M C， Zhang Y X， et al. TDA-Net： a novel transfer deep attention network for rapid response to building damage discovery［J］. Remote Sensing， 2022， 14（15）： 3687.
[20]	Yang F， Ning B， Li H Q. An overview of multimodal fusion learning［C］//Mobile Multimedia Communications. Cham： Springer， 2022： 259-268.
[21]	Chen Y T， Xia R L， Yang K， et al. Dual degradation image inpainting method via adaptive feature fusion and U-Net network［J］. Applied Soft Computing， 2025， 174： 113010.
[22]	Rong W B， Li Z J， Zhang W， et al. An improved Canny edge detection algorithm［C］//2014 IEEE International Conference on Mechatronics and Automation. Tianjin， 2014： 577-582.
[23]	杨晓雨，王爱侠，杨钢，等. 基于生成对抗网络的人脸年龄渐进合成算法［J］. 东北大学学报（自然科学版）， 2024， 45（7）： 944-952.
	Yang Xiao-yu， Wang Ai-xia， Yang Gang， et al. Progressive face age synthesis algorithm based on generative adversarial network［J］. Journal of Northeastern University （Natural Science）， 2024， 45（7）： 944-952.
[24]	Almahairi A， Rajeswar S， Sordoni A， et al. Augmented CycleGAN： learning many-to-many mappings from unpaired data［C］//Proceedings of the 35th International Conference on Machine Learning （ICML）. Stockholm， 2018： 195-204.
[25]	Zamir S W， Arora A， Khan S， et al. Restormer： efficient transformer for high-resolution image restoration［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， 2022： 5718-5729.

类别	训练集	验证集	测试集	小计
合计	1 946	279	270	2 495
人物	963	148	141	1 252
建筑	983	131	129	1 243

类别	训练集	验证集	测试集	小计
合计	1 946	279	270	2 495
人物	963	148	141	1 252
建筑	983	131	129	1 243

模型	PSNR	LPIPS	FID	Colorfulness Score
CycleGAN	18.1	0.36	62.3	31.9
DeOldify	18.9	0.29	56.1	36.3
Restormer	18.7	0.23	48.0	38.3
DSS-HIRC	19.8	0.21	43.5	39.9

模型	PSNR	LPIPS	FID	Colorfulness Score
CycleGAN	18.1	0.36	62.3	31.9
DeOldify	18.9	0.29	56.1	36.3
Restormer	18.7	0.23	48.0	38.3
DSS-HIRC	19.8	0.21	43.5	39.9

模型	场景	PSNR	LPIPS	FID	Colorfulness Score
CycleGAN	人物	18.5	0.42	61.2	32.1
CycleGAN	建筑	17.6	0.29	63.4	31.6
DeOldify	人物	19.6	0.33	55.3	36.6
DeOldify	建筑	18.2	0.25	56.9	35.9
Restormer	人物	20.3	0.17	42.9	41.1
Restormer	建筑	17.1	0.29	53.1	35.4
DSS-HIRC	人物	20.5	0.17	41.3	41.7
DSS-HIRC	建筑	18.5	0.23	45.7	38.2