融合多尺度注意力机制的冠状病毒肺炎CT诊断方法

doi:10.12068/j.issn.1005-3026.2024.12.001

摘要/Abstract

摘要：

人工智能诊断是肺部感染的重要辅助诊断方法之一.然而，现有的方法大多基于深度学习，具有模型稳定性不足、复杂度高、准确率低的问题.提出融合多尺度注意力机制的浅层模型，实现了准确率高并且结构简单的新型冠状病毒肺炎CT诊断.首先，将收集到的两个新型冠状病毒肺炎数据集融合成一个数据集，解决了因数据集不足导致训练的模型不稳定.其次，通过在浅层网络ResNet18后3层中引入多尺度注意力，弥补了模型特征提取能力的不足.最后，搭建了一个具有3层全连接层的分类器，改进模型的分类能力，进而提高了肺部CT的分类准确率.结果表明，所提模型准确率达到95.41%，性能超过ResNet50，ResNet101，VGG16，DenseNet169等网络，并且模型参数数量仅有12.24×10⁶，比ResNet50和VGG16等网络低50%左右.

关键词: 肺炎, 深度学习, 多尺度注意力, CT, 分类器

Abstract:

Artificial intelligence （AI）‑based diagnosis has become an important auxiliary method for detecting lung infections. However， most existing approaches rely on deep learning， which are often plagued by issues such as insufficient model stability， high complexity， and low accuracy. This paper presents a shallow model which incorporates a multi‑scale attention mechanism to achieve both high accuracy and a simple structure for diagnosing COVID‑19 from CT scans. Firstly， two datasets of COVID‑19 CT images are combined into a single dataset to address the issue of model instability caused by insufficient data. Secondly， by introducing multi‑scale attention（MA） in the final three layers of the shallow ResNet18 network， the model’s feature extraction capability is enhanced. Finally， classifier with three fully connected layers （CTFCL） is constructed to improve the classification performance of the model， thereby increasing the accuracy of lung CT classification. Experimental results show that the proposed model achieves an accuracy of 95.41%， outperforming networks such as ResNet50， ResNet101， VGG16， and DenseNet169. Furthermore， the model has only 12.24×10⁶ parameters， which is approximately 50% fewer than networks like ResNet50 and VGG16.

Key words: pneumonia, deep learning, multi-scale attention, CT, classifier

中图分类号:

TP 391.4

单鹏, 张林, 肖洪明, 赵玉良. 融合多尺度注意力机制的冠状病毒肺炎CT诊断方法[J]. 东北大学学报（自然科学版）, 2024, 45(12): 1673-1679.

Peng SHAN, Lin ZHANG, Hong-ming XIAO, Yu-liang ZHAO. CT Diagnosis Method for Coronavirus Pneumonia with Integrated Multi-scale Attention Mechanism[J]. Journal of Northeastern University(Natural Science), 2024, 45(12): 1673-1679.

图/表 8

参考文献 24

1	Freeman W M， Walker S J， Vrana K E.Quantitative RT-PCR：pitfalls and potential［J］.Biotechniques，1999，26（1）：112-125.
2	叶端胜，华云松.基于深度学习的肺炎影像分割研究［J］.软件工程与应用，2022（6）：1490-1499.
	Ye Duan‑sheng， Hua Yun‑song.Research on pneumonia image segmentation based on deep learning［J］.Software Engineering and Applications，2022（6）：1490-1499.
3	Khan A I， Shah J L， Bhat M M.CoroNet：a deep neural network for detection and diagnosis of COVID-19 from chest X‑ray images［J］.Computer Methods and Programs in Biomedicine，2020，196：105581.
4	Chollet F.Xception：deep learning with depthwise separable convolutions［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，2017：1251-1258.
5	Wang S， Zha Y F， Li W M，et al.A fully automatic deep learning system for COVID-19 diagnostic and prognostic analysis［J］.European Respiratory Journal，2020，56（2）：2000775.
6	Huang G， Liu Z， Van Der Maaten L，et al.Densely connected convolutional networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，2017：4700-4708.
7	Lin T Y， Dollár P， Girshick R，et al.Feature pyramid networks for object detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，2017：2117-2125.
8	Wu Z F， Shen C H， Van Den Hengel A.Wider or deeper：revisiting the ResNet model for visual recognition［J］.Pattern Recognition，2019，90：119-133.
9	Li L， Qin L X， Xu Z G，et al.Using artificial intelligence to detect COVID-19 and community‑acquired pneumonia based on pulmonary CT：evaluation of the diagnostic accuracy［J］.Radiology，2020，296（2）：65-71.
10	Lucas M， Lerma M， Furst J，et al.RSI-Grad-CAM：visual explanations from deep networks via Riemann‑Stieltjes integrated gradient‑based localization［C］// International Symposium on Visual Computing.Cham：Springer，2022：262-274.
11	Tiwari S， Jain A.Convolutional capsule network for COVID-19 detection using radiography images［J］.International Journal of Imaging Systems and Technology，2021，31（2）：525-539.
12	Quan H， Xu X S， Zheng T T，et al.DenseCapsNet：detection of COVID-19 from X‑ray images using a capsule neural network［J］.Computers in Biology and Medicine，2021，133：104399.
13	Banerjee A， Bhattacharya R， Bhateja V，et al.COFE-Net：an ensemble strategy for computer‑aided detection for COVID-19［J］.Measurement，2022，187：110289.
14	Xia X L， Xu C， Nan B.Inception-v3 for flower classification［C］//2017 2nd International Conference on Image，Vision and Computing （ICIVC）.Chengdu，2017：783-787.
15	Ferreira C A， Melo T， Sousa P，et al.Classification of breast cancer histology images through transfer learning using a pre‑trained inception ResNet V2［C］// International Conference on Image Analysis and Recognition.Cham：Springer，2018：763-770.
16	Li J X， Wang Y Q， Wang S，et al.Multiscale attention guided network for COVID-19 diagnosis using chest X-ray images［J］.IEEE Journal of Biomedical and Health Informatics，2021，25（5）：1336-1346.
17	Fu J L， Zheng H L， Mei T.Look closer to see better：recurrent attention convolutional neural network for fine‑grained image recognition［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，2017：4438-4446.
18	Srivastava N， Hinton G， Krizhevsky A，et al.Dropout：a simple way to prevent neural networks from overfitting［J］.The Journal of Machine Learning Research，2014，15（1）：1929-1958.
19	Jaiswal A， Gianchandani N， Singh D，et al.Classification of the COVID-19 infected patients using DenseNet201 based deep transfer learning［J］.Journal of Biomolecular Structure and Dynamics，2021，39（15）：5682-5689.
20	Polsinelli M， Cinque L， Placidi G.A light CNN for detecting COVID-19 from CT scans of the chest［J］.Pattern Recognition Letters，2020，140：95-100.
21	Lin T Y， Goyal P， Girshick R，et al.Focal loss for dense object detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，2017：2980-2988.
22	Li Y S， Chen Y P， Dai X Y，et al.Micronet：improving image recognition with extremely low flops［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision.Montreal，2021：468-477.
23	Hu J， Shen L， Sun G.Squeeze‑and‑excitation networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018：7132-7141.
24	Woo S， Park J， Lee J Y，et al.CBAM：Convolutional block attention module［C］//Proceedings of the European Conference on Computer Vision （ECCV）.Munich：Springer，2018：3-19.

模型	召回率	精确率	F1得分	AUC值	准确率	参数量	FLOPS
VGG16	0.895 8	0.947 1	0.920 7	0.968 3	0.922 9	138.36×10⁶	15.5×10⁹
ResNet50	0.954 1	0.894 5	0.923 3	0.978 2	0.920 8	25.56×10⁶	4.12×10⁹
ResNet101	0.912 5	0.956 3	0.933 9	0.968 3	0.935 4	44.55×10⁶	7.48×10⁹
DenseNet169	0.945 8	0.953 7	0.949 7	0.985 3	0.950 0	14.15×10⁶	3.42×10⁹
DenseNet201	0.945 8	0.945 8	0.945 7	0.982 7	0.945 6	18.09×10⁶	4.37×10⁹
RMCNet	0.962 5	0.946 7	0.954 5	0.981 4	0.954 1	12.24×10⁶	1.82×10⁹

模型	召回率	精确率	F1得分	AUC值	准确率	参数量	FLOPS
VGG16	0.895 8	0.947 1	0.920 7	0.968 3	0.922 9	138.36×10⁶	15.5×10⁹
ResNet50	0.954 1	0.894 5	0.923 3	0.978 2	0.920 8	25.56×10⁶	4.12×10⁹
ResNet101	0.912 5	0.956 3	0.933 9	0.968 3	0.935 4	44.55×10⁶	7.48×10⁹
DenseNet169	0.945 8	0.953 7	0.949 7	0.985 3	0.950 0	14.15×10⁶	3.42×10⁹
DenseNet201	0.945 8	0.945 8	0.945 7	0.982 7	0.945 6	18.09×10⁶	4.37×10⁹
RMCNet	0.962 5	0.946 7	0.954 5	0.981 4	0.954 1	12.24×10⁶	1.82×10⁹

模型	召回率	精确率	F1得分	AUC值	准确率
ResNet18	0.904 1	0.919 4	0.911 7	0.958 1	0.912 5
ResNet18+MA	0.950 0	0.890 6	0.919 3	0.957 7	0.916 6
ResNet18+CTFCL	0.933 3	0.921 8	0.927 5	0.974 5	0.927 1
RMCNet	0.962 5	0.946 7	0.954 5	0.981 4	0.954 1

模型	召回率	精确率	F1得分	AUC值	准确率
ResNet18	0.904 1	0.919 4	0.911 7	0.958 1	0.912 5
ResNet18+MA	0.950 0	0.890 6	0.919 3	0.957 7	0.916 6
ResNet18+CTFCL	0.933 3	0.921 8	0.927 5	0.974 5	0.927 1
RMCNet	0.962 5	0.946 7	0.954 5	0.981 4	0.954 1

[1]	刘炎, 卜齐杰, 赵红晨, 郭鑫. 基于多源异构信息的浮选过程运行状态评价[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1217-1226.
[2]	刘纪红, 黄熙雄. 基于去噪扩散概率模型的人脸图像修复模型[J]. 东北大学学报（自然科学版）, 2024, 45(9): 1227-1234.
[3]	刘纪红, 张律恒, 杨海旭. 一种细胞荧光显微图像饱和伪影修复算法[J]. 东北大学学报（自然科学版）, 2024, 45(7): 921-927.
[4]	李红利, 刘浩雨, 张荣华, 成怡. 基于多维特征矩阵和改进稠密连接网络的情感分类[J]. 东北大学学报（自然科学版）, 2024, 45(7): 928-935.
[5]	韩东红, 孔彦茹, 展艺萌, 刘源. 音乐多模态数据情感识别方法的研究[J]. 东北大学学报（自然科学版）, 2024, 45(6): 776-785.
[6]	章伟琪, 王辉明. 混凝土抗压强度的可解释深度学习预测模型[J]. 东北大学学报（自然科学版）, 2024, 45(5): 738-744.
[7]	陈锦林, 原培新. 医学CT序列图像的混合去噪算法[J]. 东北大学学报（自然科学版）, 2024, 45(4): 464-473.
[8]	姜杨，刘成，丁其川，王力. 基于双注意力机制的COVID-19病灶CT图像分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(9): 1259-1268.
[9]	尉健一，吴菁晶. 基于边缘计算的工业物联网中资源分配算法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1072-1078.
[10]	周嵩，高天寒. 基于注意力机制RNN模型的癫痫患者脑电信号识别方法[J]. 东北大学学报（自然科学版）, 2023, 44(8): 1098-1103.
[11]	杨丹，王雨佳，辛采凝，徐彬. 一种基于Fractal-DenseNet的电磁血管断层图像重建算法[J]. 东北大学学报（自然科学版）, 2023, 44(7): 931-937.
[12]	常德强，陈蕾，毛宁，柳静献. PCT纤维耐酸特性试验研究[J]. 东北大学学报（自然科学版）, 2023, 44(6): 863-870.
[13]	罗忠，吴东泽，李雷，葛长闯. 转子系统动力学仿真平台设计与实验验证[J]. 东北大学学报（自然科学版）, 2023, 44(3): 375-381.
[14]	杨譞，何占奇. 改进的两层BiLSTM的心电信号分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(12): 1705-1711.
[15]	季策，王鑫，耿蓉，梁敏骏. 时变信道下基于LSTM的信道估计方法[J]. 东北大学学报（自然科学版）, 2023, 44(11): 1521-1528.