Emotional Classification Based on Multidimensional Feature Matrix and Improved Dense Connection Network

doi:10.12068/j.issn.1005-3026.2024.07.003

Abstract

Abstract:

Emotional EEG（electroencephalogram） signal is a non?stationary time series with low signal?to?noise ratio. Traditional feature extraction and classification methods are difficult to extract and classify the effective features of different emotional states. In regard to the above situation， a deep learning model that automatically fuses different frequency bands and time?frequency characteristics of EEG signals is proposed. Firstly， the preprocessed data is processed in frequency bands， and the differential entropy features of each frequency band are extracted. Then， the squeeze excitation module connected in the network assigns weight to the differential entropy features of different frequency bands to obtain the valuable information of the input data， and then uses the improved dense connection network for feature fusion and classification recognition to ensure the maximum information transmission between the network layers. Finally， the algorithm is verified by using the SEED emotional EEG of three classification dataset， and the classification accuracy is 96.03%， which is higher than the existing baseline learning algorithm. The proposed algorithm further enhances network feature extraction capabilities and demonstrates faster convergence， which is of great significance for improving the performance of the classifier.

Key words: emotional classification, dense connection, multidimensional feature matrix, deep learning, squeeze excitation

CLC Number:

TP 29

Hong-li LI, Hao-yu LIU, Rong-hua ZHANG, Yi CHENG. Emotional Classification Based on Multidimensional Feature Matrix and Improved Dense Connection Network[J]. Journal of Northeastern University(Natural Science), 2024, 45(7): 928-935.

Figures/Tables 11

References 26

1	郑伟龙，石振锋，吕宝粮.用异质迁移学习构建跨被试脑电情感模型［J］.计算机学报，2020，43（2）：177-189.
	Zheng Wei‑long， Shi Zhen‑feng， Bao‑liang Lyu.Building cross‑subject EEG‑based affective models using heterogeneous transfer learning［J］.Chinese Journal of Computers，2020，43（2）：177-189.
2	权学良，曾志刚，蒋建华，等.基于生理信号的情感计算研究综述［J］.自动化学报，2021，47（8）：1769-1784.
	Quan Xue‑liang， Zeng Zhi‑gang， Jiang Jian‑hua，et al.Physiological signals based affective computing：a systematic review［J］.Acta Automatica Sinica，2021，47（8）：1769-1784.
3	Sani O G， Yang Y X， Lee M B，et al.Mood variations decoded from multi‑site intracranial human brain activity［J］.Nature Biotechnology，2018，36（10）：954-961.
4	Zheng W L， Liu W， Lu Y F，et al.EmotionMeter：a multimodal framework for recognizing human emotions［J］.IEEE Transactions on Cybernetics，2019，49（3）：1110-1122.
5	褚亚奇，朱波，赵新刚，等.基于时空特征学习卷积神经网络的运动想象脑电解码方法［J］.生物医学工程学杂志，2021，38（1）：1-9.
	Chu Ya‑qi， Zhu Bo， Zhao Xin‑gang，et al.Convolutional neural network based on temporal‑spatial feature learning for motor imagery electroencephalogram signal decoding［J］. Journal of Biomedical Engineering，2021，38（1）：1-9.
6	Fdez J， Guttenberg N， Witkowski O，et al.Cross‑subject EEG‑based emotion recognition through neural networks with stratified normalization［J］.Frontiers in Neuroscience，2021，15：626277.
7	Joshi V M， Ghongade R B.EEG based emotion detection using fourth order spectral moment and deep learning［J］.Biomedical Signal Processing and Control，2021，68：102755.1-102755.12.
8	周如双，赵慧琳，林玮玥，等.基于深浅特征融合的深度卷积残差网络的脑电情绪识别模型［J］.中国生物医学工程学报，2021，40（6）：641-652.
	Zhou Ru‑shuang， Zhao Hui‑lin， Lin Wei‑yue，et al.Feature fusion based deep residual networks using deep and shallow learning for EEG‑based emotion recognition［J］.Chinese Journal of Biomedical Engineering，2021，40（6）：641-652.
9	Liu W， Zheng W L， Lu B L.Emotion recognition using multimodal deep learning［C］//International Conference on Neural Information Processing.Cham：Springer，2016：521-529.
10	Zhang T， Zheng W， Cui Z，et al.Spatial‑temporal recurrent neural network for emotion recognition［J］.IEEE Transactions on Cybernetics，2017：839-847.
11	Song D W， Zhang Y Z， Hu B，et al.Exploring EEG features in cross‑subject emotion recognition［J］.Frontiers in Neuroscience，2018，12：162.
12	Duan R N， Zhu J Y， Lu B L.Differential entropy feature for EEG‑based emotion classification［C］//2013 6th International IEEE/EMBS Conference on Neural Engineering （NER）.San Diego，2013：1-4.
13	苗敏敏，徐宝国，胡文军，等.基于自适应优化空频微分熵的情感脑电识别［J］.仪器仪表学报，2021，42（3）：221-230.
	Miao Min‑min， Xu Bao‑guo， Hu Wen‑jun，et al.Emotion EEG recognition based on the adaptive optimized spatial‑frequency differential entropy［J］.Chinese Journal of Scientific Instrument，2021，42（3）：221-230.
14	Zheng W L， Lu B L.Investigating critical frequency bands and channels for EEG‑based emotion recognition with deep neural networks［J］.IEEE Transactions on Autonomous Mental Development，2015，7（3）：162-175.
15	Shi L C， Jiao Y Y， Lu B L.Differential entropy feature for EEG‑based vigilance estimation［C］//International Conference of the IEEE Engineering in Medicine & Biology Society. San Diego，2013：6627-6630.
16	戴紫玉，马玉良，高云园，等.基于多尺度卷积核CNN的脑电情绪识别［J］.传感技术学报，2021，34（4）：496-503.
	Dai Zi‑yu， Ma Yu‑liang， Gao Yun‑yuan，et al.A multi‑scale convolutional kernel CNN for EEG emotion recognition［J］.Journal of Transduction Technology 2021，34（4）：496-503.
17	李红利，尹飞超，张荣华，等.基于通道注意力和稀疏时频分解的运动想象分类［J］.生物医学工程学杂志，2022，39（3）：488-497.
	Li Hong‑li， Yin Fei‑chao， Zhang Rong‑hua，et al.Motor imagery electroencephalogram classification based on sparse spatiotemporal decomposition and channel attention［J］.Journal of Biomedical Engineering，2022，39（3）：488-497.
18	Hu J， Shen L， Sun G.Squeeze‑and‑excitation networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Salt Lake City，2018：7132-7141.
19	晁浩，曹益鸣，刘永利.基于三维特征矩阵和冲压激励网络的多通道脑电情感识别［J］.控制与决策，2023，38（12）：3427-3435.
	Chao Hao， Cao Yi‑ming， Liu Yong‑li.Emotion recognition from multi‑channel EEG data through three‑dimensional feature matrix and squeeze‑and‑excitation networks［J］.Control and Decision，2023，38（12）：3427-3435.
20	Chen B L， Zhao T S， Liu J H，et al.Multipath feature recalibration DenseNet for image classification［J］.International Journal of Machine Learning and Cybernetics，2021，12（3）：651-660.
21	柴国强，王大为，芦宾，等.基于注意机制的轻量化稠密连接网络单幅图像去雨［J］.北京航空航天大学学报，2022，48（11）：2186-2192.
	Chai Guo‑qiang， Wang Da‑wei， Lu Bin，et al.Lightweight dense network based on attention mechanism for single‑image deraining［J］.Journal of Beijing University of Aeronautics and Astronautics，2022，48（11）：2186-2192.
22	Kingma D P， Ba J.Adam：a method for stochastic optimization［C］// The 3rd International Conference on Learning Representations.San Diego，2015：1412.6980.
23	Dang W D， Lyu D M， Li R M，et al.Multilayer network‑based CNN model for emotion recognition［J］.International Journal of Bifurcation and Chaos in Applied Sciences and Engineering，2022，32（1）：2250011.
24	Zheng W L， Zhu J Y， Lu B L.Identifying stable patterns over time for emotion recognition from EEG［J］.IEEE Transactions on Affective Computing，2019，10（3）：417-429.
25	Song T， Zheng W， Song P，et al.EEG emotion recognition using dynamical graph convolutional neural networks［J］.IEEE Transactions on Affective Computing，2020，11（3）：532-541.
26	Zheng W L， Guo H T， Lu B L.Revealing critical channels and frequency bands for emotion recognition from EEG with deep belief network［C］//7th International IEEE/EMBS Conference on Neural Engineering （NER）.Montpellier，2015：154-157.

名称	单位样本输入尺寸	单位样本输出尺寸
输入	（8，9，4）	（8，9，4）
SE模块	（8，9，4）	（8，9，4）
卷积层（3×3）	（8，9，4）	（8，9，64）
稠密连接层1	（8，9，64）	（8，9，96）
过渡层1	（8，9，96）	（4，4，48）
稠密连接层2	（4，4，48）	（4，4，80）
过渡层2	（4，4，80）	（2，2，40）
稠密连接层3	（2，2，40）	（2，2，72）
SE模块	（2，2，72）	（2，2，72）
全局池化层	（2，2，72）	72
全连接层	128	3

名称	单位样本输入尺寸	单位样本输出尺寸
输入	（8，9，4）	（8，9，4）
SE模块	（8，9，4）	（8，9，4）
卷积层（3×3）	（8，9，4）	（8，9，64）
稠密连接层1	（8，9，64）	（8，9，96）
过渡层1	（8，9，96）	（4，4，48）
稠密连接层2	（4，4，48）	（4，4，80）
过渡层2	（4，4，80）	（2，2，40）
稠密连接层3	（2，2，40）	（2，2，72）
SE模块	（2，2，72）	（2，2，72）
全局池化层	（2，2，72）	72
全连接层	128	3

模型	正确率
BiLSTM^[7]	90.22
DCRN^[8]	91.18
DAEN^[9]	91.01
STRNN^[10]	89.50
SVM, LOSO^[11]	83.33
MCNN^[23]	91.31
GELM^[24]	91.07
DGCNN^[25]	90.40
本文模型	96.03

模型	正确率
BiLSTM^[7]	90.22
DCRN^[8]	91.18
DAEN^[9]	91.01
STRNN^[10]	89.50
SVM, LOSO^[11]	83.33
MCNN^[23]	91.31
GELM^[24]	91.07
DGCNN^[25]	90.40
本文模型	96.03

受试	9通道	15通道	33通道	62通道
1	74.48	87.75	92.32	93.48
2	76.09	92.14	94.75	97.33
3	84.89	90.03	93.24	96.45
4	86.07	97.79	99.86	99.85
5	76.67	86.54	94.57	95.41
6	88.64	90.77	98.53	99.44
7	80.24	86.23	93.32	92.46
8	86.45	91.64	96.54	97.33
9	84.85	89.31	97.35	96.59
10	86.75	91.25	97.37	97.34
11	83.43	89.42	93.36	95.56
12	81.56	88.64	92.41	95.71
13	83.16	89.72	96.32	95.27
14	82.48	89.93	97.78	96.44
15	75.69	85.56	90.03	91.86
平均	82.10	89.78	95.18	96.03