基于去噪扩散概率模型的人脸图像修复模型

doi:10.12068/j.issn.1005-3026.2024.09.002

摘要/Abstract

摘要：

针对使用主流人脸图像修复模型在修复图像后，出现图像质量欠佳、修复边缘模糊，且模型复杂、训练困难的问题，提出了一种基于去噪扩散概率模型的人脸图像修复模型.通过使用Guided?diffusion中的U-Net网络结构，并在网络中引入快速傅里叶卷积来改进去噪扩散概率模型，最后在CelebA-HQ高清人脸图像数据集上进行模型的训练与结果评估.实验结果表明，改进后的去噪扩散概率模型在修复随机掩码的人脸图像时，修复结果与原图的PSNR（峰值信噪比）可以达到25.01，SSIM（结构相似性）可以达到0.886，优于改进前的去噪扩散概率模型与现有的基于生成对抗网络的人脸图像修复模型.

关键词: 深度学习, 人脸图像修复, 去噪扩散概率模型, 快速傅里叶卷积, U-Net网络

Abstract:

A face inpainting model based on the denoising diffusion probability model is proposed aiming at the problems of poor image quality， blurred repair edges， complex model， and difficult training of the mainstream face inpainting model after image inpainting. By improving the denoising diffusion probability model， the U-Net network structure in Guided?diffusion is adopted. The fast Fourier convolution is introduced into the network， and then the model is trained and tested on the CelebA-HQ high?definition face image dataset. The experimental results show that the improved denoising diffusion probability model can achieve a PSNR of 25.01 and a SSIM of 0.886 compared to the original image， when inpainting face images with random mask， both of which are better than the model before improvement and the existing face image inpainting model based on generative adversarial networks.

Key words: deep learning, face inpainting, denoising diffusion probability models, fast Fourier convolution, U-Net network

中图分类号:

TP 391.41

刘纪红, 黄熙雄. 基于去噪扩散概率模型的人脸图像修复模型[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1227-1234.

Ji-hong LIU, Xi-xiong HUANG. Face Inpainting Model Based on Denoising Diffusion Probability Models[J]. Journal of Northeastern University(Natural Science), 2024, 45(9): 1227-1234.

图/表 11

图1 实验流程图

Fig.1 Experimental flowchart

图2 去噪扩散概率模型

Fig.2 Denoising diffusion probability model

图3 快速傅里叶卷积

Fig.3 Fast Fourier convolution

图4 自编码器与U-Net网络结构对比（a）—自编码器结构；（b）—U-Net网络结构.

Fig.4 Comparison of autoencoder and U-Net structures

图5 改进的U-Net网络结构

Fig.5 Improved U-Net network structure

图6 模型前向传播过程

Fig.6 Model forward propagation process

图7 两种卷积输出特征图对比（a）—快速傅里叶卷积；　（b）—普通卷积.

Fig.7 Comparison of two convolution outputs

表1 模型改进前后评估指标对比

Table 1 Comparison of evaluation indicators before and after model improvement

模型	PSNR	SSIM
不使用快速傅里叶卷积	24.28	0.873
使用快速傅里叶卷积	24.93	0.882

表2 在中心掩码下与其他修复模型评估结果对比

Table 2 Comparison of evaluation results with other inpainting models under the center mask

模型	PSNR	SSIM
GMCnn	23.73	0.779
Gated Conv^[4]	23.70	0.780
Edge Connect	23.28	0.776
AOT-GAN	24.47	0.849
本文方法	24.93	0.882

表3 在随机掩码下与其他修复模型评估结果对比

Table 3 Comparison of evaluation results with other inpainting models under the random mask

模型	PSNR	SSIM
GMCnn	23.98	0.781
Gated Conv^[4]	24.10	0.790
Edge Connect	23.57	0.794
AOT-GAN	24.83	0.852
本文方法	25.01	0.886

图8 人脸图像修复结果（a）—中心掩码；（b）—随机掩码；（c）—大面积随机掩码.

Fig.8 Face inpainting results

参考文献 23

1	刘颖，佘建初，公衍超，等.基于深度学习的面部修复技术综述［J］.计算机应用研究，2021，38（1）：9-14.
	Liu Ying， She Jian‑chu， Gong Yan‑chao，et al.Survey of facial completion techniques based on deep learning［J］.Application Research of Computers，2021，38（1）：9-14.
2	Goodfellow I J， Pouget‑Abadie J， Mirza M，et al.Generative adversarial nets［C］//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal，2014：2672-2680.
3	Li Y J， Liu S F， Yang J M，et al.Generative face completion［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu，2017：5892-5900.
4	Yu J H， Lin Z， Yang J M，et al.Generative image inpainting with contextual attention［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018：5505-5514.
5	Nazeri K， Eric N， Joseph T，et al.Edge connect：generative image inpainting with adversarial edge learning［J］.arXiv Preprint arXiv，2019：1901.00212.
6	Zeng Y H， Fu J L， Chao H Y，et al.Aggregated contextual transformations for high‑resolution image inpainting［J］.IEEE Transactions on Visualization and Computer Graphics，2023，29（7）：3266-3280.
7	Vaswani A， Shazeer N， Parmar N，et al.Attention is all you need［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach，2017：6000-6010.
8	Lee K， Chang H W， Jiang L，et al.ViTGAN：training GANs with vision transformers［J］.arXiv Preprint arXiv，2021：2107.04589.
9	Ho J， Jain A， Abbeel P.Denoising diffusion probabilistic models［C］//Proceedings of the 34th International Conference on Neural Information Processing Systems.Vancouver，2020：6840-6851.
10	Ronneberger O， Fischer P， Brox T.U‑net：convolutional networks for biomedical image segmentation［C］//Medical I m a g e C o m p u t i n g a n d C o m p u t e r ‑ A s s i s t e d I n t e r v e n t i o n ‑ M I C C A I
	2015．Munich，German：Springer International Publishing，2015：234-241.
11	Dhariwal P， Nichol A.Diffusion models beat gans on image synthesis［J］.Advances in Neural Information Processing Systems，2021，34：8780-8794.
12	Saharia C， Chan W， Chang H W，et al.Palette：image‑to‑image diffusion models［C］//SIGGRAPH ’22：ACM SIGGRAPH 2022 Conference Proceedings.Vancouver，2022：1-10.
13	Chi L， Jiang B， Mu Y.Fast Fourier convolution ［J］.Advances in Neural Information Processing Systems，2020，33：4479-4488.
14	Karras T， Aila T， Laine S，et al.Progressive growing of gans for improved quality，stability，and variation［J］.arXiv Preprint arXiv，2017：1710.10196.
15	Yang L， Zhang Z L， Song Y，et al.Diffusion models：a comprehensive survey of methods and applications［J］.arXiv Preprint arXiv，2022：2209.00796.
16	Suvorov R， Logacheva E， Mashikhin A，et al.Resolution‑robust large mask inpainting with Fourier convolutions［C］//2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）.Waikoloa，2022：3172-3182.
17	He K M， Zhang X Y， Ren S Q，et al.Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，2016：770-778.
18	Liu Z W， Luo P， Wang X G，et al.Large‑scale celebfaces attributes （CelebA） dataset［DS/OL］.［2022-11-01］..
19	Saharia C， Ho J， Chan W，et al.Image super‑resolution via iterative refinement［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2023，45（4）：4713-4726.
20	Voronin V V， Sizyakin R A， Marchuk V I，et al.Video inpainting of complex scenes based on local statistical model［J］.Electronic Imaging，2016，28（15）：1-6.
21	何凯，牛俊慧，沈成南，等.基于SSIM的自适应样本块图像修复算法［J］.天津大学学报（自然科学与工程技术版），2018，51（7）：763-767.
	He Kai， Niu Jun‑hui， Shen Cheng‑nan，et al.Image inpainting algorithm with adaptive patch using SSIM［J］.Journal of Tianjin University （Science and Technology），2018，51（7）：763-767.
22	Wang Y， Tao X， Qi X J，et al.Image inpainting via generative multi‑column convolutional neural networks［C］//Proceedings of the 32nd International Conference on Neural Information Processing Systems.Montréal，2018：329-338.
23	Song J M， Meng C L， Ermon S.Denoising diffusion implicit models［J］.arXiv Preprint arXiv，2020：2010.02502.

[1]	刘炎, 卜齐杰, 赵红晨, 郭鑫. 基于多源异构信息的浮选过程运行状态评价[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1217-1226.
[2]	刘纪红, 张律恒, 杨海旭. 一种细胞荧光显微图像饱和伪影修复算法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 921-927.
[3]	李红利, 刘浩雨, 张荣华, 成怡. 基于多维特征矩阵和改进稠密连接网络的情感分类[J]. 东北大学学报（自然科学版）, 2024, 45(7): 928-935.
[4]	韩东红, 孔彦茹, 展艺萌, 刘源. 音乐多模态数据情感识别方法的研究[J]. 东北大学学报（自然科学版）, 2024, 45(6): 776-785.
[5]	章伟琪, 王辉明. 混凝土抗压强度的可解释深度学习预测模型[J]. 东北大学学报（自然科学版）, 2024, 45(5): 738-744.
[6]	孙浩, 代宗晟, 金爱兵, 陈岩. 基于AttentionR2U-net的岩石（体）关键节理智能识别与参数提取[J]. 东北大学学报（自然科学版）, 2024, 45(1): 101-110.
[7]	尉健一，吴菁晶. 基于边缘计算的工业物联网中资源分配算法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1072-1078.
[8]	杨譞，何占奇. 改进的两层BiLSTM的心电信号分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(12): 1705-1711.
[9]	季策，王鑫，耿蓉，梁敏骏. 时变信道下基于LSTM的信道估计方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1521-1528.
[10]	陈城，史培新，王占生，贾鹏蛟. 基于融合多注意力机制的深度学习的盾构荷载预测方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1631-1638.
[11]	李娟莉，魏代良，李博，文小. 基于深度学习轻量化的改进SSD煤矸快速分选模型[J]. 东北大学学报（自然科学版）, 2023, 44(10): 1474-1480.
[12]	赵永，焦诗卉，赵乾百. 基于Mel频谱和LSTM-DCNN的矿山微震信号混合识别模型[J]. 东北大学学报（自然科学版）, 2023, 44(10): 1481-1489.
[13]	张雪峰，王照乙. 基于双决斗深度Q网络的自动换道决策模型[J]. 东北大学学报（自然科学版）, 2023, 44(10): 1369-1376.
[14]	王瀛，王泽浩，李红，黄文军. 基于深度学习的威胁情报领域命名实体识别[J]. 东北大学学报（自然科学版）, 2023, 44(1): 33-39.
[15]	顾德英，罗聿伦，李文超. 基于改进YOLOv5算法的复杂场景交通目标检测[J]. 东北大学学报（自然科学版）, 2022, 43(8): 1073-1079.