一种细胞荧光显微图像饱和伪影修复算法

doi:10.12068/j.issn.1005-3026.2024.07.002

摘要/Abstract

摘要：

细胞的荧光显微镜图像包含丰富的表型特征，这些表型特征被用于研究细胞内物质的吸收和运输、化学物质的分布和定位等.这些分析需要高质量的细胞图像，然而饱和伪影会导致生物表型特征的严重丢失，这将影响形态学分析和一些分类实验.从数据的后处理角度出发，提出了一种基于生成对抗网络的两阶段细胞图像修复模型，以解决饱和伪影导致的表型特征丢失问题.该模型能够修复大面积的缺失表型特征区域.通过4组实验测试了修复图像的有效性和可信度.结果表明，修复结果填补了丢失的表型特征，提高了分析中的图像质量.使用分类实验作为细胞形态学分析实验的代表，对修复前后的细胞图像进行分类实验，结果证明修复饱和伪影后的图像可以提高基于细胞形态分析的实验准确性.

关键词: 荧光显微图像, 饱和伪影, 图像修复, 深度学习, 生成对抗网络

Abstract:

Fluorescence microscope images of cells contain abundant phenotypic features， which are used to study the absorption and transportation of substances in cells， as well as chemical distribution and localization. These analyses require high?quality cell images. However， saturation artifacts will cause serious loss of phenotypic features， which will affect morphological analysis and certain classification experiments. From the perspective of data post?processing， a two?stage cell image inpainting model is proposed based on generative adversarial networks to solve the loss of phenotypic features caused by saturation artifacts. The model can restore large areas of missing phenotypic characteristics. The effectiveness and reliability of the restored image are validated through four groups of experiments. The results indicate that the restored results effectively fill in the missing phenotypic features and enhance the image quality for analysis. Classification experiments， serving as a representation of cell morphology analysis experiments， are conducted on both the original and restored cell images. It is proved that the image after restoring saturated artifacts can improve the experimental accuracy based on cell morphology analysis.

Key words: fluorescence microscope images, saturation artifacts, image inpainting, deep learning, generative adversarial networks

中图分类号:

TP 391.7

刘纪红, 张律恒, 杨海旭. 一种细胞荧光显微图像饱和伪影修复算法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 921-927.

Ji-hong LIU, Lü-heng ZHANG, Hai-xu YANG. A Saturation Artifact Inpainting Algorithm for Cell Fluorescence Microscopic Images[J]. Journal of Northeastern University(Natural Science), 2024, 45(7): 921-927.

图/表 7

图1 两阶段修复模型结构图

Fig.1 Structure diagram of two stage inpainting model

图2 细胞荧光显微图像（a）—不含饱和伪影；（b）—含饱和伪影.

Fig.2 Fluorescence microscopic images of cells

图3 TC-GAN修复结果示例（a）—原图；（b）—修复结果.

Fig.3 Example of TC-GAN restored results

表1 含伪影数据和修复数据的指标对比

Table 1 Indexes of masked and restored images

指标	数据组	均值
PSNR	伪影组	9.101
PSNR	修复组	25.948
SSIM	伪影组	0.725
SSIM	修复组	0.854
FID	伪影组	609.154
FID	修复组	50.345

图4 TC-GAN修复结果定性展示（a）—原图；（b）—修复结果.

Fig.4 Qualitative display of TC-GAN restored results

表2 SET3和SET4上的分类指标 (%)

Table 2 Indexes of classification on SET3 and SET4

测试集	ACC	SEN	PRE
SET3	93.11	82.78	84.34
SET4	92.44	81.11	83.45

表3 SET5和SET6上的分类指标 (%)

Table 3 Indexes of classification on SET5 and SET6

测试集	ACC	SEN	PRE
SET5	88.22	70.56	76.75
SET6	92.44	81.11	82.65

参考文献 35

1	Bougen‑Zhukov N， Loh S Y， Lee H K.et al.Large‑scale image‑based screening and profiling of cellular phenotypes［J］.Cytometry：Part A，2017，91（2）：115-125.
2	Caicedo J C， Singh S， Carpenter A E.Applications in image‑based profiling of perturbations［J］.Current Opinion in Biotechnology，2016，39：134-142.
3	Ray K， Ma J， Oram M，et al.Single‑molecule and FRET fluorescence correlation spectroscopy analyses of phage DNA packaging：colocalization of packaged phage T4 DNA ends within the capsid［J］.Journal of Molecular Biology，2010，395（5）：1102-1113.
4	Beesley J， Sivakumaran H， Moradi Marjaneh M，et al. eQTL colocalization analyses identify NTN4 as a candidate breast cancer risk gene［J］.The American Journal of Human Genetics，2020，107（4）：778-787.
5	Sauvat A， Leduc M， Müller K，et al.ColocalizR：an open‑source application for cell‑based high‑throughput colocalization analysis［J］.Computers in Biology and Medicine，2019，107：227-234.
6	Ren W W， Isler H， Wolf M，et al.Smart toolkit for fluorescence tomography：simulation，reconstruction，and validation［J］.IEEE Transactions on Biomedical Engineering，2020，67（1）：16-26.
7	Wang Y， Maslov K， Kim C H，et al.Integrated photoacoustic and fluorescence confocal microscopy［J］.IEEE Transactions on Biomedical Engineering，2010，57（10）：2576-2578.
8	Ritter C， Wollmann T， Lee J Y，et al.Data fusion and smoothing for probabilistic tracking of viral structures in fluorescence microscopy images［J］.Medical Image Analysis，2021，73：102168.
9	Caicedo J C， Cooper S， Heigwer F，et al.Data‑analysis strategies for image‑based cell profiling［J］.Nature Methods，2017，14（9）：849-863.
10	Moen E， Bannon D， Kudo T，et al.Deep learning for cellular image analysis［J］.Nature Methods，2019，16（12）：1233-1246.
11	Bolte S， Cordelières F P.A guided tour into subcellular colocalization analysis in light microscopy［J］.Journal of Microscopy，2006，224（3）：213-232.
12	Aladeokin A C， Akiyama T， Kimura A，et al.Network‑guided analysis of hippocampal proteome identifies novel proteins that colocalize with A β in a mice model of early‑stage Alzheimer’s disease［J］.Neurobiology of Disease，2019，132：104603.
13	Zinchuk V， Zinchuk O， Okada T.Quantitative colocalization analysis of multicolor confocal immunofluorescence microscopy images：pushing pixels to explore biological phenomena［J］.Acta Histochemica et Cytochemica，2007，40（1）：101-111.
14	Li Y， Xu F， Zhang F，et al.DLBI：deep learning guided Bayesian inference for structure reconstruction of super‐resolution fluorescence microscopy［J］.Bioinformatics，2018，34（13）：i284-i294.
15	Ishii S， Lee S， Urakubo H，et al.Generative and discriminative model‑based approaches to microscopic image restoration and segmentation［J］.Microscopy，2020，69（2）：79-91.
16	Goodfellow I J， Pouget‑Abadie J， Mirza M，et al.Generative adversarial networks［J］.Advances in Neural Information Processing Systems，2014，3：2672-2680.
17	Tran N T， Tran V H， Nguyen N B，et al.On data augmentation for GAN training［J］.IEEE Transactions on Image Processing，2021，30：1882-1897.
18	Ren Y R， Li G， Liu S，et al.Deep spatial transformation for pose‑guided person image generation and animation［J］.IEEE Transactions on Image Processing，2020，29：8622-8635.
19	Kaneko T， Kameoka H， Hojo N，et al.Generative adversarial network‑based postfilter for statistical parametric speech synthesis［C］//2017 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）.New Orleans，2017：4910-4914.
20	Quan W Z， Zhang R S， Zhang Y，et al.Image inpainting with local and global refinement［J］.IEEE Transactions on Image Processing，2022，31：2405-2420.
21	Chen X J， Zhang C， Zhao J，et al.Weakly supervised neuron reconstruction from optical microscopy images with morphological priors［J］.IEEE Transactions on Medical Imaging，2021，40（11）：3205-3216.
22	Belthangady C， Royer L A.Applications，promises，and pitfalls of deep learning for fluorescence image reconstruction［J］.Nature Methods，2019，16（12）：1215-1225.
23	Boutros M， Heigwer F， Laufer C.Microscopy‑based high‑content screening［J］.Cell，2015，163（6）：1314-1325.
24	Nazeri K， Ng E， Joseph T，et al.EdgeConnect：generative image inpainting with adversarial edge learning［EB/OL］. ［2019-01-11］..
25	Canny J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679-698.
26	Yu J H， Lin Z， Yang J M，et al.Generative image inpainting with contextual attention［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，2018：5505-5514.
27	Isola P， Zhu J Y， Zhou T H，et al.Image‑to‑image translation with conditional adversarial networks［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，2017：5967-5976.
28	Johnson J， Alahi A， Li F F.Perceptual losses for real‑time style transfer and super‑resolution［C］//European Conference on Computer Vision.Amsterdam，2016：694-711.
29	Gatys L A， Ecker A S， Bethge M.Image style transfer using convolutional neural networks［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，2016：2414-2423.
30	Russakovsky O， Deng J， Su H，et al.ImageNet large scale visual recognition challenge［J］.International Journal of Computer Vision，2015，115（3）：211-252.
31	Bray M A， Singh S， Han H，et al.Cell Painting，a high‑content image‑based assay for morphological profiling using multiplexed fluorescent dyes［J］.Nature Protocols，2016，11（9）：1757-1774.
32	Kingma D P， Ba J.Adam：a method for stochastic optimization［EB/OL］.［2017-01-30］..
33	Elharrouss O， Almaadeed N， Al‑Maadeed S，et al.Image inpainting：a review［J］.Neural Processing Letters，2020，51：2007-2028.
34	Heusel M， Ramsauer H， Unterthiner T，et al.GANs trained by a two time‑scale update rule converge to a local Nash equilibrium［EB/OL］.［2018-01-12］..
35	He K M， Zhang X Y， Ren S Q，et al.Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，2016：770-778.

[1]	李红利, 刘浩雨, 张荣华, 成怡. 基于多维特征矩阵和改进稠密连接网络的情感分类[J]. 东北大学学报（自然科学版）, 2024, 45(7): 928-935.
[2]	杨晓雨, 王爱侠, 杨钢, 李晶皎. 基于生成对抗网络的人脸年龄渐进合成算法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 944-952.
[3]	韩东红, 孔彦茹, 展艺萌, 刘源. 音乐多模态数据情感识别方法的研究[J]. 东北大学学报（自然科学版）, 2024, 45(6): 776-785.
[4]	章伟琪, 王辉明. 混凝土抗压强度的可解释深度学习预测模型[J]. 东北大学学报（自然科学版）, 2024, 45(5): 738-744.
[5]	尉健一，吴菁晶. 基于边缘计算的工业物联网中资源分配算法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1072-1078.
[6]	李海燕，熊立昌，郭磊，李海江. 基于U-net边缘生成和超图卷积的两阶段修复算法[J]. 东北大学学报（自然科学版）, 2023, 44(3): 331-339.
[7]	杨譞，何占奇. 改进的两层BiLSTM的心电信号分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(12): 1705-1711.
[8]	季策，王鑫，耿蓉，梁敏骏. 时变信道下基于LSTM的信道估计方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1521-1528.
[9]	陈城，史培新，王占生，贾鹏蛟. 基于融合多注意力机制的深度学习的盾构荷载预测方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1631-1638.
[10]	李娟莉，魏代良，李博，文小. 基于深度学习轻量化的改进SSD煤矸快速分选模型[J]. 东北大学学报（自然科学版）, 2023, 44(10): 1474-1480.
[11]	赵永，焦诗卉，赵乾百. 基于Mel频谱和LSTM-DCNN的矿山微震信号混合识别模型[J]. 东北大学学报（自然科学版）, 2023, 44(10): 1481-1489.
[12]	张雪峰，王照乙. 基于双决斗深度Q网络的自动换道决策模型[J]. 东北大学学报（自然科学版）, 2023, 44(10): 1369-1376.
[13]	王瀛，王泽浩，李红，黄文军. 基于深度学习的威胁情报领域命名实体识别[J]. 东北大学学报（自然科学版）, 2023, 44(1): 33-39.
[14]	顾德英，罗聿伦，李文超. 基于改进YOLOv5算法的复杂场景交通目标检测[J]. 东北大学学报（自然科学版）, 2022, 43(8): 1073-1079.
[15]	代茵，刘维宾，董昕阳，宋雨朦. 基于注意力机制的U-Net脑脊液细胞分割[J]. 东北大学学报（自然科学版）, 2022, 43(7): 944-950.