东北大学学报:自然科学版  2018, Vol. 39 Issue (1): 102-107  
0

引用本文 [复制中英文]

王琳, 化成城, 姜鑫, 王宏. 基于颈腰部肌电及脑电信号的疲劳驾驶检测[J]. 东北大学学报:自然科学版, 2018, 39(1): 102-107.
[复制中文]
WANG Lin, HUA Cheng-cheng, JIANG Xin, WANG Hong. Investigation on Driver Fatigue Testing Based on the Combination of Cervical-Lumbar EMG and EEG[J]. Journal of Northeastern University Nature Science, 2018, 39(1): 102-107. DOI: 10.12068/j.issn.1005-3026.2018.01.021.
[复制英文]

基金项目

国家自然科学基金资助项目(NSFC 51405073)

作者简介

王琳(1980-),女,辽宁沈阳人,东北大学博士研究生;
王宏(1960-),女,辽宁沈阳人,东北大学教授,博士生导师。

文章历史

收稿日期:2016-07-11
基于颈腰部肌电及脑电信号的疲劳驾驶检测
王琳1,2, 化成城1, 姜鑫1, 王宏1    
1. 东北大学 机械工程与自动化学院,辽宁 沈阳 110819;
2. 沈阳工程学院 机械学院,辽宁 沈阳 110136
摘要:为了有效判别驾驶员的疲劳状态,结合生物力学分析提取了驾驶过程中的颈腰部肌电信号EMG和头部脑电信号EEG,并分析其特征参数在驾驶过程中的变化规律.结果表明:颈肌样本熵、颈肌复杂度、腰肌样本熵、腰肌复杂度、脑电样本熵、脑电复杂度这6个生理信号的特征参数值都随着驾驶时间的延长而逐渐降低,通过主成分分析可实现特征参数间的合理组合.基于多元回归理论,建立了能够有效预测疲劳驾驶的数学模型.状态验证结果表明,该模型对疲劳状态判别的正确率可达95%以上.
关键词疲劳驾驶    肌电信号    脑电信号    生物力学    特征参数    
Investigation on Driver Fatigue Testing Based on the Combination of Cervical-Lumbar EMG and EEG
WANG Lin1,2, HUA Cheng-cheng1, JIANG Xin1, WANG Hong1    
1. School of Mechanical Engineering & Automation, Northeastern University, Shenyang 110819, China;
2. Department of Mechanical Engineering, Shenyang Institute of Engineering, Shenyang 110136, China
Corresponding author: WANG Hong, professor, E-mail: hongwang@mail.neu.edu.cn
Abstract: In order to effectively test driver fatigue, the surface electromyography (EMG) and electroencephalogram (EEG) were collected in driving processes, and the characteristic parameters were extracted and analyzed combined with biomechanics. The experimental results indicated that the sample entropy (SampEn) and complexity of EMG and EEG gradually decrease with the driving time expends. These characteristic parameters can be reasonably combined by using the principal component analysis. Based on the multiple regression theory, the characteristic parameters at different positions of the body are reasonably combined, and a mathematical model to evaluate fatigued driving is built. The accuracy of the model is up to 95% by the state validation.
Key Words: driver fatigue    electromyography (EMG)    electroencephalogram (EEG)    biomechanics    characteristic parameters    

驾驶过程中,驾驶员长时间保持坐姿状态,颈腰部肌肉的疲劳及脑部注意力的下降易导致人体困乏和反应迟钝,是引起交通事故的重要原因,疲劳驾驶问题已受到全球各国研究人员的关注[1].目前,对疲劳驾驶的研究主要是通过检测驾驶员的生理信号(如脑电信号、肌电信号、心电信号、呼吸信号等)[2-5],提取其特征参数(如中值频率、峰值因数、近似熵、样本熵、复杂度等)[6-7]来分析驾驶员的疲劳状态,这些研究对疲劳驾驶的检测和预防都取得了非常有意义的成果.

但是,由于不同部位生理信号的特征参数间存在一定的相关信息和冗余信息,使得检测效果并不十分理想.选择合理的生理信号检测部位,并将不同部位特征参数进行组合是保留参数间有用信息、消除冗余信息的有效手段[8].对此,本文进行了相关的实验研究和理论分析.

1 实验及算法 1.1 实验过程

本实验随机抽取8名年龄22~35岁之间的男性作为被试者.所有被试者无肌肉骨骼系统及精神类疾病史,24 h内没有饮用酒精、咖啡等刺激性饮料.实验时间为下午12:30—14:30,该时段是与疲劳有关的交通事故高发时段[9].被试者在模拟驾驶舱内进行连续2 h的驾驶,并实时采集其颈部双侧上斜方肌、腰部竖脊肌的表面肌电信号,以及人脑枕部的脑电信号.数据采集系统为Neuroscan 4.3,采样频率为1 000 Hz,陷波频率为50 Hz.测试电极的位置分析与确定详见第2节.

1.2 经验模态分解

经验模态分解(empirical mode decomposition, EMD)算法是一种用于非线性和非平稳时间序列信号分解的新方法,是对生理信号进行去噪的有效手段.2 h的驾驶实验过程中,驾驶员出汗、身体移动及呼吸等引起的信号漂移为主要的噪声来源,本文采用EMD算法对所测信号进行预处理.EMD是将所测得的信号分解为一系列本征模态分量IMF,将每个IMF投影到频域中得到各个IMF的频谱.然后对所测信号频谱进行信号重构,在保留原信号有用信息的基础上,去除了伪迹的干扰和基线漂移的影响.

IMF要满足两个约束条件:①在整个数据序列中,函数极值点的数量与过零点的数量相等,或最多相差一个;②在任意点处,所有极大值点形成的上包络线和所有极小值点形成的下包络线的均值为零.

对于给定信号x(t),EMD算法的步骤为

1) 计算信号x(t)的所有局部极值点.

2) 通过插值分别获得由极大值点构成的上包络线emax(t)和由极小值点构成的下包络线emin(t).

3) 计算上下包络线的平均值m0(t),从而求得h0(t)=x(t)-m0(t).

4) 判断h0(t)是否满足IMF的上述两个约束条件.若满足,则h0(t)就是x(t)的第一个IMF分量;否则,将h0(t)记为x(t).重复步骤1)~步骤3),经过k次筛选,直至得到一个IMF分量,记为c1(t).

5) 记r1(t)=x(t)-c1(t).将r1(t)当作新的信号重复以上步骤,得到第二个IMF,记为c2(t),此时可得余项r2(t)=r1(t)-c2(t).重复以上步骤,直至得到的余项rn(t)变为单调函数,从中不能再筛选出IMF分量为止.则原始信号x(t)经上述处理后,可分解为n个IMF分量与残余信号rn(t)的和,即

1.3 样本熵

样本熵(sample entropy,SE)是由Richman和Moorman提出的一种新的时间序列复杂性度量算法[10],比近似熵更具有相对一致性.样本熵有较好的抗噪抗干扰能力,只需要较短的数据就能达到有效分析的目的,运算时间短,对确定性信号和随机信号都适用,是非线性动力学时间序列研究的有力工具.本文通过计算驾驶员驾驶过程中各个指定时间点处所有被试者生理信号的样本熵,作为表征驾驶员疲劳的特征参数,可用SE(m, r, N)来表示.其中:m为维数,r为相似容限,N为长度.研究指出[11],当m=2,r=(0.1~0.2)SD时,样本熵的结果较为合理,其中SD为原始数据的标准差.样本熵算法为

1) 设N点的原始时间序列为x(1), x(2), …, x(N),其按顺序组成一组m维矢量:

2) 定义Xm(i)和Xm(j)间的距离“d[Xm(i), Xm(j)]”为两者对应元素中差值最大的一个,即

3) 给定阈值r,对每一个iNm值,统计d[Xm(i), Xm(j)] < r的数目(模板匹配数),然后计算此数目与距离总数的比值,用Bim(r)表示,即

Bim(r)={d[Xm(i), Xm(j)] < r的数目, ij}/(Nm+1).

4) 求Bim(r)对于所有i的平均值,即Bm(r)=(B1m+B2m+…+BNMm)/(NM).

5) 将矢量维度m改为m+1,重复步骤1)~步骤4),得Bim+1(r),则此序列样本熵为

N为有限值时,样本熵可表示为

1.4 复杂度

Lempel-Ziv复杂度(Lempel-Ziv complexity,LZC)算法是由Lempel和Ziv提出的一种用于度量随着序列长度的增加而新模式也增加的算法,表征了一个时间序列里出现新模式的速率.LZC值越高表明新模式出现的概率越高,同时也说明动力学行为越复杂.因此,Lempel-Ziv复杂度能够反映出生理信号随人体状态而变化的情况,本文使用复杂度来描述人体颈腰部EMG和脑部EEG在驾驶过程中随疲劳状态的变化情况.

Lempel-Ziv复杂度具体算法为[12]:设c(n)为序列S(s1, s2, …, sn)的复杂度,Lempel和Ziv已证明,当n→∞时,c(n)趋近于定值n/loglnl为粗粒化段数(传统二值化时,l=2),则归一化计算式为.

2 电极位置的选取

长时间驾驶过程中,人体颈部第6块和第7块椎体,腰部第4块和第5块椎体等颈腰部较低节段附近的肌肉易产生劳损.因此,为合理选择采集信号的电极位置,本文首先分析了颈6与颈7、腰4与腰5部位的受力情况.根据生物力学原理,按照人体头部、颈部和腰部的外形及其受力情况,可将其简化为一个变截面悬臂梁(图 1).图中,m为头颅质量,X颈6X颈7X腰4X腰5分别为颈6、颈7、腰4、腰5的阻力臂,X颈6X颈7X腰4X腰5.人体脊柱质量可假设为作用在人体脊柱的均部载荷,载荷系数为q,脊柱长度为L.对于同一被试者,qLθ相等.驾驶时颈腰部的受力情况可根据第三强度理论建立式(1)所示的力学模型.

(1)
图 1 根据驾驶姿势的头颈腰部受力示意图 Fig.1 Schematic stress of head-cervical-lumbar (a)—实际驾驶姿势;(b)—受力分析.

根据实际驾驶员的驾驶姿势:颈6和颈7处的弯矩M(x)近似相等,同一驾驶员驾驶过程中颈部扭矩MT(x)相同;腰4和腰5处的弯矩M(x)近似相等,腰部扭矩MT(x)相同.颈6与颈7或腰4与腰5最主要的区别在于尺寸不同.由人体颈腰部生理结构及特点可知,颈腰部横截面为近似椭圆形,DADB分别表示椭圆的长轴和短轴.根据第三强度理论,式(1)为采用椭圆的等效直径计算得到颈腰部任意截面处的正应力.无论长轴、短轴,颈6处均小于颈7处,腰4处均小于腰5处(图 2),即DA颈6 < DA颈7DB颈6 < DB颈7DA腰4 < DA腰5DB腰4 < DB腰5.因此,根据式(1),驾驶过程中驾驶员颈6处的应力值大于颈7处的应力值,在长时间高应力作用下导致颈6周围肌肉较颈7周围肌肉更易疲劳.同理,腰4处的应力值大于腰5处的应力值,故腰4周围肌肉较腰5周围肌肉更易疲劳.

图 2 电极位置示意图 Fig.2 Positions of electrodes

因此,颈6部位上斜方肌和腰4部位竖脊肌在驾驶过程中对疲劳状态的反应最灵敏,该处肌肉为本实验肌电信号的提取位置.电极位置分别为颈6棘突旁开2 cm处,腰4棘突旁开3 cm处,参考电极N置于颈7棘突处.4个肌电信号测试通道分别为A1,A2,B1,B2(图 2).根据文献调研[5],驾驶过程中人脑枕部的O1,O2处脑电信号对驾驶疲劳反应比较灵敏,故本文选图 2中的O1,O2为脑电信号的电极位置.

3 特征参数提取与分析

针对EMG和EEG的混沌特性,本文采用非线性动力学理论揭示其变化规律.首先利用经验模态分解EMD对原始信号进行降噪处理,再提取并分析颈腰部EMG及脑部EEG的特征参数在驾驶过程中的变化规律.图 3为驾驶过程中特征参数随时间的变化趋势.由图可见,6种特征参数值都随着驾驶时间的延长而逐渐降低,约90 min后,下降趋势变得平缓,表明驾驶员进入较疲劳状态.该变化表明随着驾驶时间的延长,肌肉逐渐处于紧张僵直状态,人体的困倦感逐渐增强.可见,这6种特征参数对驾驶疲劳有较强的表征能力,对于不同被试者,规律的稳定性较好.

图 3 特征参数在驾驶过程中的变化规律 Fig.3 Variation of characteristic parameters in driving process
4 驾驶疲劳模型 4.1 特征参数的相关性分析

为便于描述,本文定义:驾驶实验前期的0~30 min为正常状态,驾驶实验后期的90~120 min为疲劳状态.从8名被试者正常和疲劳状态中各选4 min数据,分别对颈部EMG、腰部EMG、脑部EEG每30 s计算一个样本熵和一个复杂度,则每种特征参数分别获得128个值(8名被试者×2种状态×4 min/30 s=128),其中正常状态和疲劳状态各64个.

本文利用皮尔逊相关系数算法对6个特征值进行相关性分析(式(2)).式中,K1K2分别为两种特征参数,i为某名被试者的某个时间段,n=128个特征值.由式(2)计算出各特征参数之间的相关系数r, 进而通过统计分析软件SPSS计算得到显著性差异P(表 1).可见,各特征参数之间具有良好的相关性(r=0.80~1.00,P < 0.05),说明各特征参数之间既存在有用信息,也存在冗余信息.其中,冗余信息主要是由于被试者个体差异和各种特征参数变化幅度不同所致.合理地将这些特征参数的冗余信息去除,保留其有用信息,则更能增加其对疲劳状态的辨别效果.

(2)
表 1 皮尔逊相关性分析(相关系数r/显著性差异P) Table 1 Pearson correlation analysis (correlation coefficient r / significant different P)
4.2 特征参数的降维与优化

由以上分析可知,颈腰部及头部的6种特征参数在表征驾驶疲劳时具有一定的相关性,将该6种特征参数联立起来去除冗余信息、保留有用信息,更能明显区分正常和疲劳两种状态.为此,本文利用主成分分析对6种特征参数进行降维与优化.主成分分析结果表明,前3个主成分U1U2U3的贡献率分别为69.62%,13.63%和7.88%,3者之和为91.13%,超过85%.因此,本文选取贡献率大的前3个主成分作为表征驾驶疲劳的综合状态参数.U1U2U3是原始6个变量的线性组合,根据系数矩阵其计算式如式(3)~式(5)所示.式中,X1X2,…,X6分别表示颈肌样本熵、颈肌复杂度、腰肌样本熵、腰肌复杂度、脑电样本熵、脑电复杂度.

根据式(3)~式(5)可获得3个主成分U1U2U3,并对其进行归一化处理,消除个体差异.归一化的驾驶状态三维分布图如图 4所示.可见,正常状态时,3种主成分的值都较大;疲劳状态时,3种主成分的值都较小.

(3)
(4)
(5)
图 4 归一化的驾驶状态三维分布图 Fig.4 Normalized 3D distribution of state in driving process
4.3 驾驶疲劳模型的建立与验证

根据以上分析,以U1U2U3为独立变量,基于多元回归理论,将人体不同部位的肌电信号及脑电信号进行整合,建立了驾驶疲劳模型,如式(6)所示.

(6)

式中,因为U1, U2, U3是主成分分析优化求得的3个主成分,所以3者不存在相关性,可避免其产生伪回归现象,确保了驾驶疲劳评价模型的正确性和合理性.根据式(6)的模型计算,若疲劳状态指标R>0,表示正常状态;若R < 0,表示疲劳状态.

利用传统的多元回归模型(特征参数样本)和本文提出的PCA-多元回归模型(PCA样本)分别对以上128组样本进行状态验证,结果如表 2所示.由表 2可见,传统的多元回归模型平均正确率为82.82%,PCA-多元回归模型平均正确率为95.32%.因此,经主成分分析及多元回归理论相结合的方法构建的驾驶疲劳模型,可有效减少传统多元回归模型的误判率,正确率较高.

表 2 传统多元回归模型(特征参数样本)与PCA-多元回归模型(PCA样本)的比较 Table 2 Comparison between traditional multiple regression and PCA-multiple regression
5 结论

1) 颈肌样本熵、颈肌复杂度、腰肌样本熵、腰肌复杂度、脑电样本熵、脑电复杂度这6个生理信号的特征参数值都随着驾驶时间的延长而逐渐降低.将这6个特征参数联立起来更能明显区分正常和疲劳两种状态,说明它们之间既存在有用信息,也存在冗余信息.通过主成分分析可实现颈腰部和头部特征参数间的合理组合,保留有用信息,消除冗余信息.

2) 基于多元回归理论,将人体不同部位的生理信号进行整合,建立了能够有效判别疲劳驾驶的数学模型.状态验证结果表明,该模型的正确率可达95%以上.

参考文献
[1]
Lal S K, Craig A. A critical review of the psychophysiology of driver fatigue[J]. Biological Psychology, 2001, 55(3): 173–194. DOI:10.1016/S0301-0511(00)00085-5
[2]
Kapthick P A, Venugopal G, Ramakeishnan S. Analysis of muscle fatigue progression using cyclostationary property of surface electromyography signals[J]. Journal of Medical System, 2016, 40(1): 28–35. DOI:10.1007/s10916-015-0394-0
[3]
王福旺, 王宏, 罗旭. 基于EEG与EOG信号的疲劳驾驶状态综合分析[J]. 东北大学学报(自然科学版), 2014, 35(2): 175–178.
( Wang Fu-wang, Wang Hong, Luo Xu. Comprehensive analysis of fatigue driving based on EEG and EOG[J]. Journal of Northeastern University(Natural Science), 2014, 35(2): 175–178. )
[4]
付荣荣, 王宏, 王琳, 等. 基于无线体域网中多生理信号驾驶疲劳检测[J]. 东北大学学报(自然科学版), 2014, 35(6): 850–853.
( Fu Rong-rong, Wang Hong, Wang Lin, et al. Detection of driver fatigue based on multi-physiological signals in wireless body area network[J]. Journal of Northeastern University(Natural Science), 2014, 35(6): 850–853. )
[5]
Scommerich C M, Joines S M, Hermans V, et al. Use of surface electromyography to estimate neck muscle activity[J]. Journal of Electromyography and Kinesiology, 2000, 10(3): 377–389.
[6]
Zhang C, Wang H, Wu M H. EEG-based expert system using complexity measures and probability density function control in alpha sub-band[J]. Integrated Computer-Aided Engineering, 2013, 20(4): 391–405.
[7]
Zhang C, Wang H, Fu R R. Automated detection of driver fatigue based on entropy and complexity measures[J]. IEEE Transactions on Intelligent Transportation System, 2014, 15(1): 168–177. DOI:10.1109/TITS.2013.2275192
[8]
Voerman G E, Vollenbroek M M, Hermens H J. Upper trapezium muscle activation patterns in neck-shoulder pain patients and healthy control[J]. European Journal of Apply Physiology, 2007, 102(1): 1–9.
[9]
Sagberg F. Road accidents caused by drivers falling asleep[J]. Accident and Prevent, 1999, 31(6): 639–649. DOI:10.1016/S0001-4575(99)00023-8
[10]
Richman J S, Moorman J R. Physiological time-series analysis using approximate entropy and sample entropy[J]. American Journal of Physiological Heart and Circulatory Physiology, 2000, 278(6): 2039–2049. DOI:10.1152/ajpheart.2000.278.6.H2039
[11]
Foij O, Holcik J. Applying nonlinear dynamics to ECG signal processing[J]. IEEE Engineering in Medicine and Biology, 1998, 3(4): 96–110.
[12]
Lempel A, Ziv J. On the complexity of finite sequence[J]. IEEE Transactions on Information Theory, 1976, 22(1): 75–81. DOI:10.1109/TIT.1976.1055501