2019, Vol. 40
与普通X射线或计算机层析成像(CT)相比, 磁共振成像(MRI)无电离辐射损伤且能极好地分辨软组织, 对颅内组织器官疾病诊断更敏感, 可在早期发现并准确定位病变[1]；因而MRI可以更加精准地显示颅内解剖结构, 这对检出和判断病灶性质有重要价值, 使医生能够更为精确地对颅内疾病进行人工评价[2].
卷积神经网络(CNN)作为近年来深度学习的热门领域, 多用于图像识别与图像分类, 是无监督学习的一种方法[3].深度学习的目的在于搭建和模仿人脑分析学习所用的模式, 将其称为神经网络, 使其模拟人脑的行为模式，对如文本, 图像和声音等类型的数据进行处理解析.
CNN在图像分割和分类方面展示出了比传统的浅层学习方法更显著的效果和较好的临床应用前景[4].颅脑MRI可在帕金森病鉴别诊断中发挥积极作用, 具有较高应用价值[5].研究表明，CNN在颅脑疾病研究中可以发挥重大作用[6]，本文将CNN引入到帕金森病患者脑部影像的诊断中, 旨在探究将CNN应用于帕金森MRI图像的计算机辅助诊断的可行性, 为颅内组织器官疾病诊断提出创新性的思路, 为影像科医生提供高效准确的新型诊断方式.
1 深度学习与CNN的结构和算法 1.1 深度学习与CNN结构特点深度学习一词源于人工神经网络, 目的是组合低层特征从而形成更加抽象的高层特征, 用这种方式来发现原始数据中所隐藏的分布式特征[7].深度学习的“深度”一般指网络层数, 通常网络的神经元为4~9层.现有深度学习的一般结构包括:输入层、多层隐层、输出层, 其中仅相邻层的节点间有连接, 同层或跨层的节点之间相互无连接, 因此可将每一层都看作是一个独立的模型, 这种分层结构比较接近人类大脑结构[8].
CNN是深度学习的代表模型, 是一种局部连接、权值共享的前馈神经网络.在时间上实现权值共享, 减少参数以降低学习复杂度.
由上述理论可知，CNN对于自然图像的识别更有优势, 它能够从存在局部区域稳定性的自然图像中学习到适合于其他相邻局部区域的特征.权值共享即相同卷积核共享相同权值和偏置值.同一种卷积核使用同样权值，按照某种顺序卷积图像，提取一种特征, 因此如需提取多种不同特征则需多种卷积核，这样即可减少网络的学习参数[9].
CNN基本组成分为四个部分:输入层、卷积层、全连接层和输出层[10]，如图 1所示.
|
图 1 CNN基本结构示意图 Fig.1 Schematic of CNN structure |
在CNN模型中, VGG-Net[11]是一种多用于图像分类和识别方面的CNN, 具有良好的特征提取能力.
本文设计的CNN采用反向传播(back propagation, BP).反向传播算法的步骤如下：
1) 对网络内部的参数进行初始化.
2) 对网络输入一个样本X和其对应的期望输出Y.计算每层的输出, 对第k层第i个神经元的输出为
|
根据误差代价函数求各层参数的误差, 针对输出层有k=m:di(m)=Xi(m)(1－Xi(m))(Xi(m)－Yi); 对于其他层有
|
更新权值系数和阈值:
|
其中，
|
CNN模型训练前, 要进行参数初始化.若初始化值在误差相对平缓的地方, 会导致收敛速度十分缓慢, 因此采用较多的初始化权值分布如下:
|
(1) |
在CNN中, 增加层数可以使网络学习能力增强, 但若样本数据量稀少则会导致过拟合, 以至于网络预测无法泛化到其他数据样本.
为避免网络出现这种问题, 本文采取正则化策略, 正则化可以保留所有特征参数，只减小其数量级，即在代价函数里加上描述网络复杂度的部分, 减小权重的幅度[12].
1.2.3 Softmax分类器神经网络输出层的值就是分类结果, 所以网络包含一个分类器, 本文采用的是softmax分类器.
针对网络模型的训练集, softmax分类器可根据样本的输入，通过式(3)的假设函数计算输入属于每个类别的概率:
|
(3) |
式中:k代表类别数；p(y(i)=j| x(i))表示第i个样本的输入x(i)属于类别j的概率；θ为网络参数统称.
再根据代价函数迭代求解CNN的参数梯度, 在梯度下降策略时进行权值更新.为防止参数过大引入正则化策略后变成凸函数的代价函数能保证梯度下降法的解为全局最优解.本文通过最小化误差代价函数值得到一个softmax分类器.
2 基于CNN的诊断研究本文根据上述理论设计并搭建网络模型，命名为MRIVGG-Net, 用预处理后的结构MRI影像集对网络进行训练和测试, 使网络可以对帕金森患者结构MRI影像进行辅助诊断.
2.1 数据收集与处理PPMI网站是目前国际上欧美对帕金森病研究最权威的通用网站, ADNI和HCP数据库也是欧美的脑部公开数据库.本文从数据库中共收集273名帕金森病患者和273名未患病者的MRI影像.目前项目已与中国医科大学附属盛京医院影像科进行合作，故下一步将从盛京医院和PPMI等数据库获取更多影像样本, 提高网络的训练和诊断准确率.
因为本文研究所采用的影像均来自各公开数据库, 为保证训练时的图像较为清晰, 需在网络训练前对图像进行如下预处理:
1) 灰度映射:收集到的医学影像均为DICOM格式, 灰度值范围为-2 000~2 000, 故先通过灰度映射将灰度值映射到0~255.
2) 对图像进行直方图均衡化:
|
(4) |
式中:k=0, 1, 2, …, L－1, L为图像中可能的灰度级数量; M, N分别为图像的长、宽像素数; nk为灰度级为rk的像素个数.
3) 基于小波系数相似性进行去噪, 即取以该小波系数参数为中心的窗口内所有小波系数的平方和T, 计算出对应收缩因子, 相应得到全局阈值, 进而对图像进行改进.该算法的表达式为
|
(5) |
式中全局阈值α由高斯白噪声的信号离散个数和标准差经过式(6)计算而得:
|
(6) |
|
(7) |
4) 利用对比度线性拉伸变换函数进行图像增强, 其中输入函数与输出函数的灰度变换为线性变换.函数表达式为
|
(8) |
预处理前后图像对比如图 2所示.
|
图 2 图像预处理前后对比 Fig.2 Comparison of images before and after preprocessing |
因为VGG-Net涉及的参数较多, 显存较难满足需求，所以本文对经典VGG-Net模型进行改进, 使其更适应有限显存, 同时具有高效的图像分类能力，即MRIVGG-Net模型, 结构如图 3所示.
|
图 3 MRIVGG-Net结构示意图 Fig.3 Schematic diagram of MRIVGG-Net |
表 1为本文设计搭建的CNN中各项参数的设定.网络模型分三个单元, 每个单元由两个卷积层和一个下采样层组成.卷积层的堆叠是为了对输入进行更为密切的卷积操作, 提取更多的特征.两个5×5卷积核可以等效为9×9的卷积核, 但其堆叠的卷积层的非线性转换效果较好, 具有更优良的特征提取能力.最后连接全连接层和softmax分类器, 输出结果二分类.模型涉及的激活函数均为ReLU.
|
表 1 卷积神经网络模型的具体参数 Table 1 Specific parameters of the convolutional neural network model |
本文运用前期收集的546人的MRI影像进行预先的诊断训练.整理从PPMI等数据库收集的273名患者(预留一位患者的影像, 最后单独通过网络进行诊断)和273名未患病者的同一部位的MRI影像.将患者的样本逐张进行一系列预处理.图 4是预处理后得到的MRIVGG-Net训练样本集中的部分样本.
|
图 4 MRIVGG-Net网络训练的部分样本集 Fig.4 Partial sample set for MRIVGG-Net network training |
然后选取540张MRI(患病者数据270张, 未患病者数据270张)进行5次十折交叉验证.每一次十折交叉验证将540张MRI平均分为10组, 轮流保留1组作为测试集, 另外9组作为训练集, 进行准确度测验.将预处理后的图像集存入一个矩阵, 并将该矩阵与其对应的二分类标签同时存入mat文件, 读入网络.共进行5次十折交叉验证, 得到50个正确率，平均准确率为87.63 %.
最后将预留的帕金森病患者的影像读入模型中, 以进行疾病诊断.预测疾病的结果为“该患者疑患有帕金森病”, 诊断均正确.
与乳腺癌MRI计算机辅助诊断的早期CNN模型相比, 改进的VGG模型准确率和性能明显优于原模型[13].
前期工作结果证实CNN可以对帕金森病做出诊断, 但准确率仍不够高, 故本文下一步需要在扩大训练样本数量的同时, 进一步对网络结构进行改进, 提高其诊断准确率.
3 基于反卷积网络的特征可视化反卷积神经网络通常独立进行图像训练测试, 多用于无监督学习.本文中反卷积的过程不具有学习能力, 仅用于可视化.反卷积网络可视化，以各层得到的特征图作为输入进行反卷积, 得到反卷积结果, 用以验证显示各层提取到的特征图.可视化网络结构如图 5所示, 左边一个反卷积网络层连接右面一个卷积层.
|
图 5 反卷积神经网络示意图 Fig.5 Sketch map of deconvolutional neural network |
反卷积可视化的主要研究内容分为反池化、反激活和反卷积三种类型.由于CNN的工作原理是通过训练调节参数, 逐层学习特征, 通过逐层学习, 提取图像特征.本文尝试逐层提取网络模型中作为判断是否患有疾病的特征图, 使特征图可视化.
图 6是输入图像经过第一、第二、第三单元处理的最后的输出特征图, 输入图像用学习好的卷积核经两层卷积层进行卷积再经过下采样后得到的输出特征图.
|
图 6 卷积层处理后的输出特征图 Fig.6 Output feature map of the three units (a)—第一单元卷积层处理后；(b)—第一、第二单元卷积层处理后；(c)—三个单元卷积层处理后. |
第一单元卷积层提取的是基本的灰度和边缘信息等一些低层次特征；第二阶段卷积层的特征提取较为复杂, CNN学习到一些纹理特征, 特征细节更多；第三阶段卷积层提取的特征较有区分性, 每幅输出特征图均不相同, CNN学习到具有辨别性的特征.
综上所述, 特征在经过CNN学习后较有分辨性, 可以将网络提取出的可视化特征图反馈给临床医生, 对医生的临床诊断具有重大研究价值.
4 结论1) 在基于CNN的帕金森影像诊断中, 本文基于VGG-Net模型设计并搭建一种新的CNN模型, 使其适应有限的显存, 同时具有高效的图像分类和识别能力.
2) 本文搭建的MRIVGG-Net模型经过训练, 可以辅助医生对帕金森疾病进行诊断，诊断准确率达85 %以上.
3) 本文在利用CNN模型提取特征后引入反卷积网络, 实现网络提取特征的可视化, 有助于深入了解帕金森脑部影像诊断特征, 挖掘潜在的特征.
| [1] |
赵强, 尹慧敏.
磁共振成像的临床应用[J]. 现代科学仪器, 2014(6): 75–77.
( Zhao Qiang, Yin Hui-min. Clinical application of magnetic resonance imaging[J]. Modern Scientific Instruments, 2014(6): 75–77. ) |
| [2] |
朱艳艳, 侯代伦, 柳澄, 等.
CT与MRI对颅内结核分型诊断研究进展[J]. 中国防痨杂志, 2016, 38(3): 215–217.
( Zhu Yan-yan, Hou Dai-lun, Liu Cheng, et al. The progress of computed tomography and magnetic resonance for the classification and diagnosis of intracranial tuberculosis[J]. Chinese Journal of Antituberculosis, 2016, 38(3): 215–217. DOI:10.3969/j.issn.1000-6621.2016.03.012 ) |
| [3] |
Zeiler M D, Fergus R.Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Zurich, Switzerland, 2014: 818-833.
https://arxiv.org/abs/1311.2901 |
| [4] |
Simonyan K, Zisserman A.Very deep convolutional networks for large-scale image recognition[R/OL].[2017-08-13].https://arxiv.org/pdf/1409.1556.pdf.
|
| [5] |
原相丽, 李常红, 周正宏, 等.
颅脑MRI在帕金森病与帕金森综合征的鉴别价值分析[J]. 中国CT和MRI杂志, 2016, 14(7): 7–9.
( Yuan Xiang-li, Li Chang-hong, Zhou Zheng-hong, et al. Diagnostic value of brain MRI analysis in Parkinson' s disease and Parkinson' s syndrome[J]. Chinese Journal of CT and MRI, 2016, 14(7): 7–9. ) |
| [6] |
Pereira S, Pinto A, Alves V, et al.
Brain tumor segmentation using convolutional neural networks in MRI images[J]. IEEE Transactions on Medical Imaging, 2016, 35(5): 1240–1251.
DOI:10.1109/TMI.2016.2538465 |
| [7] |
Sun Y, Wang X G, Tang X O.Deep learning face representation from predicting 10, 000 classes[C/OL]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2014: 1891-1898[2017-08-02].https://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Sun_Deep_Learning_Face_2014_CVPR_paper.pdf.
|
| [8] |
Farabet C, Couprie C, Najman L, et al.
Learning hierarchical features for scene labeling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1915–1929.
DOI:10.1109/TPAMI.2012.231 |
| [9] |
Howard A G.Some improvements on deep convolutional neural network based image classification[C]//International Conference on Learning Representations.Banff, Canada, 2014.
https://arxiv.org/ftp/arxiv/papers/1312/1312.5402.pdf |
| [10] |
Bouvrie J.Notes on convolutional neural networks[R].Massachusetts: Center for Biological and Computational Learning, 2006: 38-44[2017-09-12].http://cogprints.org/5869/1/cnn_tutorial.pdf.
http://cogprints.org/5869/1/cnn_tutorial.pdf |
| [11] |
Hassvun M H.
Fundamentals of artificial neural networks[M]. Cambridge: MIT Press, 1995.
|
| [12] |
Williams C K I.
Learning with kernels:support vector machines, regularization, optimization, and beyond[J]. Journal of the American Statistical Association, 2003, 98: 489–489.
|
| [13] |
Huynh B, Drukker K, Giger M.
MO-DE-207B-06:Computer-aided diagnosis of breast ultrasound images using transfer learning from deep convolutional neural networks[J]. Medical Physics, 2016, 43(6): 3705–3705.
|