基于多模态特征工程和TSNet的心脏异常检测算法

doi:10.12068/j.issn.1005-3026.2024.10.004

摘要/Abstract

摘要：

心电图（electrocardiogram，ECG）和心音图（phonocardiogram，PCG）是心脏疾病诊断中常用的图像，单一的方法进行心脏疾病诊断效果不佳.基于多模态特征工程，数据集经过切分和归一化预处理后，使用格拉姆角场（Gramian angle fields，GAF）进行时间序列数据重建，形成图像模型.提出一种适用于该图像模型的双流自融合网络（two?stream self?fusion network，TSNet），使用双流自融合（two?stream self?fusion，TS）模块替代底层卷积操作，更好地融合ECG和PCG的异构信息.经Physio Net Challenge 2016 a数据集测试，该算法的准确率、F1值、精确率和召回率最佳值分别达到95.3%，95.4%，96.2%，99.4%，相较其他心电和心音多模态卷积神经网络算法，精度更高.

关键词: 心电图, 心音图, 多模态特征工程, 格拉姆角场, 双流自融合网络

Abstract:

Electrocardiogram （ECG） and Phonocardiogram （PCG） are commonly used diagrams in heart diseases diagnosis. While， using them alone for heart disease diagnosis is not effective. Based on multimodal feature engineering， after segmentation and normalization preprocess of the dataset， Gramiam angle fields （GAF） are used for time?series data reconstruction to form an image model. Additionally， a two?stream self?fusion network （TSNet） suitable for this image model is proposed， which replaces the bottom?layer convolution operations with a two?stream self?fusion （TS） module to better integrate the heterogeneous information of ECG and PCG. Tested on the PhysioNet Challenge 2016 a dataset， the proposed algorithm achieves best values of accuracy， F1 score， precision， and recall at 95.3%， 95.4%， 96.2%， and 99.4%， respectively. Compared to other multimodal convolutional neural network algorithms for ECG and PCG， it shows higher accuracy.

Key words: electrocardiogram （ECG）, phonocardiogram （PCG）, multimodal feature engineering, Gramian angle fields （GAF）, two?stream self?fusion network （TSNet）

中图分类号:

TP 391.7

刘纪红, 薛维, 徐超. 基于多模态特征工程和TSNet的心脏异常检测算法[J]. 东北大学学报（自然科学版）, 2024, 45(10): 1394-1400.

Ji-hong LIU, Wei XUE, Chao XU. Heart Anomaly Detection Algorithm Based on Multimodal Feature Engineering and TSNet[J]. Journal of Northeastern University(Natural Science), 2024, 45(10): 1394-1400.

图/表 13

图1 算法框架

Fig.1 Framework of the algorithm

图2 心电信号示意图

Fig.2 Schematic diagram of electrocardiosignal

图3 心音信号示意图

Fig.3 Schematic diagram of heart sound signal

图4 心电信号二维频谱

Fig.4 Two?dimensional spectrum of electrocardiosignal

图5 心音信号二维频谱

Fig.5 Two?dimensional spectrum of heart sound signal

图6 TS模块

Fig.6 TS module

表1 实验参数

Table 1 Experimental parameters

模型配置	实验参数
骨干网络	ResNet-18
图像尺寸/像素	200×200
迭代次数	50
批量大小/个	128
通道数/个	10，20，64

表2 评估指标及其表达式

Table 2 Evaluation indicators and expressions

评估指标	表达式
准确率	$T P + T N T P + T N + F P + F N × 100 %$
召回率	$T P T P + F N × 100 %$
精确率	$T P T P + F P × 100 %$
F1分数	$2 × 精确率 × 召回率精确率 + 召回率$

表2 评估指标及其表达式

Table 2 Evaluation indicators and expressions

评估指标	表达式
准确率	$T P + T N T P + T N + F P + F N × 100 %$
召回率	$T P T P + F N × 100 %$
精确率	$T P T P + F P × 100 %$
F1分数	$2 × 精确率 × 召回率精确率 + 召回率$

表3 对比实验 (%)

Table 3 Comparative experiment

模型	准确率	召回率	精确率	F1分数
GAF+ResNet	92.6	99.9	96.3	92.8
MTF+ResNet	90.9	99.7	100.0	90.9
RP+ResNet	89.6	99.8	88.4	90.1

图7 对比实验损失函数曲线

Fig.7 Loss function curves of comparative experiment

表4 多指标评估结果（均值±标准差） (%)

Table 4 Results of multiple indicator evaluation （mean ± standard deviation）

模型	准确率	召回率	精确率	F1分数
ResNet	90.36±2.27	96.16±2.55	93.04±1.71	90.44±2.42
TSNet	92.21±0.95	97.84±1.90	94.58±1.28	92.24±1.04
SEnet	90.97±2.78	96.38±3.45	92.40±2.38	91.08±2.87
CBAM	90.75±2.38	94.50±3.49	92.90±2.04	90.74±2.49
TS+CBAM	89.76±1.72	94.36±3.37	92.90±1.67	89.96±1.67

图8 网络损失函数曲线

Fig.8 Network loss function curves

图9 网络对比实验图

Fig.9 Diagrams of network comparisons experiments

参考文献 23

1	Sookram C， Munodawafa D， Phori P M，et al.Who’s supported interventions on salt intake reduction in the sub‑Saharan Africa region［J］.Cardiovascular Diagnosis and Therapy，2015，5（3）：186-190.
2	Hettiarachchi R， Haputhanthri U， Herath K，et al.A novel transfer learning‑based approach for screening pre‑existing heart diseases using synchronized ECG signals and heart sounds［C］//2021 IEEE International Symposium on Circuits and Systems （ISCAS）.Daegu，2021：1-5.
3	Rautaharju P M.Eyewitness to history：landmarks in the development of computerized electrocardiography［J］.Journal of Electrocardiology，2016，49（1）：1-6.
4	Leatham A.Auscultation of the heart and phonocardiography［J］.Postgraduate Medical Journal，1971，47（550）：582.
5	Martins M， Gomes P， Oliveira C，et al.Design and evaluation of a diaphragm for electrocardiography in electronic stethoscopes［J］.IEEE Transactions on Biomedical Engineering，2020，67（2）：391-398.
6	Chakir F， Jilbab A， Nacir C，et al.Recognition of cardiac abnormalities from synchronized ECG and PCG signals［J］.Physical and Engineering Sciences in Medicine，2020，43（2）：673-677.
7	Li J H， Ke L， Du Q，et al.Multi‑modal cardiac function signals classification algorithm based on improved D-S evidence theory［J］.Biomedical Signal Processing and Control，2022，71：103078.
8	Singh S A， Singh S A， Devi N D，et al.Heart abnormality classification using PCG and ECG recordings［J］.Computación y Sistemas，2021，25（2）：381-391.
9	Huang J S， Chen B Q， Yao B，et al.ECG arrhythmia classification using STFT‑based spectrogram and convolutional neural network［J］.IEEE Access，2019，7：92871-92880.
10	Al Rahhal M M， Bazi Y， Al Zuair M，et al.Convolutional neural networks for electrocardiogram classification［J］.Journal of Medical and Biological Engineering，2018，38（6）：1014-1025.
11	Potes C， Parvaneh S， Rahman A，et al.Ensemble of feature‑based and deep learning‑based classifiers for detection of abnormal heart sounds［J］.Computing in Cardiology，2016，43：621-624.
12	TSchannen M， Kramer T， Marti G，et al.Heart sound classification using deep structured features［C］//2016 Computing in Cardiology Conference （CinC）.Vancouver：IEEE，2016：565-568.
13	Wibawa M S， Maysanjaya I M D， Novianti N K D P，et al.Abnormal heart rhythm detection based on spectrogram of heart sound using convolutional neural network［C］//The 6th International Conference on Cyber and IT Service Management （CITSM 2018）.Parapat：IEEE，2018：1-4.
14	Wu J M T， Tsai M H， Huang Y Z，et al.Applying an ensemble convolutional neural network with Savitzky‑Golay filter to construct a phonocardiogram prediction model［J］.Applied Soft Computing，2019，78：29-40.
15	Noman F， Ting C M， Salleh S H，et al.Short‑segment heart sound classification using an ensemble of deep convolutional neural networks［C］//International Conference on Acoustics，Speech and Signal Processing （ICASSP）.Brighton，2019：1318-1322.
16	Li H， Wang X P， Liu C C，et al.Integrating multi‑domain deep features of electrocardiogram and phonocardiogram for coronary artery disease detection［J］.Computers in Biology and Medicine，2021，138：104914.
17	Wang Z G， Oates T.Imaging time‑series to improve classification and imputation［EB/OL］.（2015-06-01）［2023-03-21］..
18	Clifford G D， Liu C Y， Moody B，et al.Classification of normal/abnormal heart sound recordings：the PhysioNet/computing in cardiology challenge 2016［C］//2016 Computing in Cardiology Conference （CinC）.Vancouver：IEEE，2016：609-612.
19	Eckmann J P， Kamphorst S O， Ruelle D.Recurrence plots of dynamical systems［J］.World Scientific Series on Nonlinear Science Series A，1995，16：441-445.
20	Liu L， Wang Z G.Encoding temporal Markov dynamics in graph for time series visualization［EB/OL］.（2016-10-24）［2023-03-21］. .
21	He K M， Zhang X Y， Ren S Q，et al.Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas，2016：770-778.
22	Hu J， Shen L， Sun G.Squeeze‑and‑excitation networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018：7132-7141.
23	Woo S， Park J， Lee J Y，et al.CBAM：convolutional block attention module［C］//Computer Vision-ECCV2018.Munich，2018：3-19.

[1]	杨譞，何占奇. 改进的两层BiLSTM的心电信号分割方法[J]. 东北大学学报（自然科学版）, 2023, 44(12): 1705-1711.
[2]	李鸿儒，任子洋，黄友鹤，于霞. 基于变权重奇异谱分析的心律不齐识别方法[J]. 东北大学学报（自然科学版）, 2022, 43(3): 305-312.
[3]	徐久强，张金鹏，贾玉其，邵建新. 基于集成学习的束支传导阻滞识别方法[J]. 东北大学学报:自然科学版, 2020, 41(3): 321-326.
[4]	刘鹏，杜佳芝，吕伟刚，窦明武. 面向不平衡数据集的一种改进的k-近邻分类器[J]. 东北大学学报:自然科学版, 2019, 40(7): 932-936.
[5]	佘黎煌，卢丽，张石，王明全. 基于粒子群和非参数检验的T波交替联合检测方法[J]. 东北大学学报(自然科学版), 2013, 34(3): 326-329.
[6]	王春武;王旭;龙哲;张柯欣;. 基于心冲击信号的心率提取算法[J]. 东北大学学报(自然科学版), 2012, 33(8): 1103-1106.
[7]	冯朝路;杨金柱;赵大哲;刘积仁;. 一种心脏影像四维动态实时绘制方法[J]. 东北大学学报(自然科学版), 2011, 32(1): 18-21.