2017, Vol. 38
2.东北大学 软件学院， 辽宁 沈阳 110169
2.School of Software, Northeastern University, Shenyang 110169, China
近年来，为了应对光照、遮挡、姿态或背景条件的变化对人脸识别性能的影响，用局部模式来表征人脸识别的方法成为研究热点.旋转、平移、光照和方向的变化对于局部的影响较小，因此局部特征与全局特征相比具有更好的稳定性.
人脸纹理结构特征与灰度特征相比对外界条件变化不敏感.经过多年研究，目前典型的纹理特征描述方法主要包括LPQ和LBP及其变体算法[1-2].LPQ(local phase quantization)是文献[3]提出的一种局部特征提取算法，其对模糊变换不敏感，已成功应用于纹理检索和人脸识别领域.LBP(local binary patten)运算速度快、容易实现并且对光照具有很强的鲁棒性，且具有旋转不变性和灰度不变性等显著优点.另一种典型的局部特征表征是Gabor小波，可对多方向多尺度的局部特征进行提取[4].单一特征描述对于图像只能提供有限信息，因此合理结合不同的特征信息会更有效.最近不同描述子的融合引起了很大关注，例如全局和局部描述子融合[5-6]、多尺度特征提取[7]、不同频率融合[8]、LBP和Gabor融合[9]，Gabor幅相特征融合[10].在人脸特征融合过程中，特征维数通常比较高，因此通常采用降维技术，在保证识别性能不变的情况下得到低维特征，使分类问题得以简化[11].文献[12]采用FLDA(fisher linear discriminant analysis)的方法来解决这个问题.另外，针对传统LDA提取的判别方向个数限制问题，文献[13]给出了解决方案.
其中文献[14]将目标集、查询集中图像裁剪为纯脸图像和整个头像图像两部分，对每部分分别采取RTF(retinal texture feature)和RCF(retinal color feature)进行特征提取，再用IRDM(incremental robust discriminant model)对特征降维分类;最后对两部分图像(纯脸图像和整个头像图像)进行特征融合，利用最邻近分类器方法进行识别，最终得到在错误接受率为0.1%时验证率为93.91%.文献[15]对目标集、查询集中图像裁剪为大、中、小三部分图像，对每部分分别采取Gabor得幅值特征信息和LPQ得相位特征信息；再用FLDA对特征降维分类，对两种特征进行融合，最后对三部分(大、中、小)图像进行特征融合，得到最终目标集和查询集的相似度矩阵；利用最邻近分类器方法进行识别，最终得到在错误接受率为0.1%时验证率为95.15%.弹性匹配方法也被广泛关注，取得了不错的效果[16-18]，但这些方法较复杂.另外，深度学习[19]方法也取得了不错的效果，但依赖于巨量训练样本和超算能力.
借鉴文献[20]的工作，本文提出了LBP，LPQ，Gabor及不同分块多种特征融合寻优加权与FLDA 进行人脸表示，结合最临近分类的方法进行人脸识别，为证明提出方法的有效性，在大规模人脸数据集 FRGC2.0的实验四中进行测试.
1 算法介绍 1.1 LBP原理局部二值模式算法最初主要对数据图像进行纹理描述.其原理是确定中心像素，周围像素值与其比较进行二值化，LBP算子采用大小3×3方形区域，像素的灰度级256(8bit).Ojala等研究提出降低维数且有利于分类识别的统一模式LBP纹理描述方法为
|
(1) |
LPQ可以有效描述图像纹理特征，对图像具有模糊不变性.令x=[x1, x2]T表示图像f(x)的像素点，LPQ特征可由式(2)计算：
|
(2) |
二值化得到一个8位的二进制串，转化成整数得到LPQ特征为
|
(3) |
Gabor是一种时频窗都可变的局部化分析方法，其二维Gabor表达式为
|
(4) |
式中：z=(x, y)为位置坐标；‖.‖是取范数运算；小波向量定义为
|
式中：f是间隔因子；μ和ν分别指方向和尺度因子.用Gabor方法提取一幅图像的特征只需要把Gabor函数族和图像进行卷积就可以了.
1.4 FLDA方法FLDA方法是先采用主成分分析将高维数据降维，将模式特征从原N维降到r维空间后，再采用标准的Fisher线性判别法得到原样本的最优特征表示，使样本具有更好的分类性能.
设训练样本集中包含N幅人脸图像{x1, x2, …, xN}，每一幅人脸图像构成一个特征样本，用n维向量xj表示；样本共分为c类，其中ω1类有N1个样本，ω2类有N2个样本，则利用训练样本的类内散度矩阵SW和类间散度矩阵SB可得到线性判别准则函数J定义为
|
(5) |
在提取人脸LBP，LPQ特征时，直方图统计时是分块处理的.单一的分块的分割线往往会把人脸重要区域(如眼睛、嘴巴等)分隔，这样会造成关键部位有效特征不能完整描述.为此提出了“多重分块”的方法，弥补分割线边缘的特征信息.
首先对图像进行5×2大块分割，然后对每大块进行3×6小块分割.对每一小块(共180块)LBP，LPQ特征进行统计；再对图像进行4×2大块分割，然后对每块进行3×5小块分割，对每一小块(共120块)LBP，LPQ特征进行统计，得到两种分块图像的LBP和LPQ特征序列LBPHS，LPQHS.
对于Gabor算法，由于数据量较大，对裁剪后的图片(像素大小120×96)进行4×4下采样得到降维图片(像素大小30×24)，对得到的新图像进行3×3分块，而不进行小块划分和多重分块.
1.6 基于遗传算法的多特征融合基于特征融合的算法实际上是借鉴人脑处理问题的方式，同时获得图像的多方面信息，将其在时空上的冗余或互补信息进行优化组合，最终获得综合信息对1张图像进行判定.为此，本文引入智能优化方法——遗传算法来寻找不同算法的最优权值，从而建立它们之间的联系，得到最终的相似度矩阵.
为了观察特征提取算法的分类能力，查询库的人脸图像与目标库的人脸图像之间的相似性选择欧式距离作为度量.
假设通过1.5节中的特征提取算法得到的LBP两种分块方法、LPQ两种分块方法以及Gabor小波变换的相似度矩阵分别用A1, A2, …, A5来表示，则对5种相似度矩阵进行加权融合后得到
|
(6) |
其中：Ai为相似度矩阵；xi为对应的权系数.
首选识别率的计算公式为
|
(7) |
问题转化为求取系统最大识别率时的不同算法的权值，即：
|
(8) |
由于待求取的目标函数为一定约束条件下的首选识别率的问题，为此，建立适应度函数为
|
(9) |
其中∑xi为所有权值之和.函数中的前一部分为系统的首选识别率，后一部分为对约束条件所加的惩罚项.从式(9)可以看出，在权系数和接近1时，系统的首选识别率越大，则对应的适应度值也越大；当权系数和距离1比较远时，后面的惩罚项对适应度值的影响比较大，使对应的适应度值明显变小，从而保证所有特征权值和在接近1的情况下，系统具有较大的识别率.
由于不同算法的权值为连续值，并且已知各个连续变量的范围为[xmin, xmax].在使用遗传算法求解不同权值时，需要根据[xmin, xmax]对连续变量进行编码：
|
(10) |
式中，(b)2是连续变量xi对应的二进制编码.通过式(10)可以得到各个权值的二进制编码，并将它们串联起来组成一个染色体，如图 1所示.
|
图 1 染色体编码 Fig.1 Chromosome encoding |
本文实验取初始种群数为20，种群代数为300.另外，由于本文对连续变量采取的是二进制编码，所以遗传策略分别选取的是轮盘赌选、单点交叉和二进制变异.
2 实验与结果 2.1 FRGC2.0数据集人脸识别大挑战(FRGC)是美国政府资助的大规模人脸识别评测.FRGC2.0评测采用了50000多个样本数据，分为训练集和确认集两类数据.FRGC数据集包含可控与不可控图像，在FRGC2.0评测设计的实验四中，训练集包含222个人的12776张图片，其中有6388张可控图片和6388张不可控图片；目标集包含16028张可控人脸图片；查询集包含8014张不可控图片[13].
2.2 实验过程及技术要点对FRGC2.0数据集上选取训练集12776张图片，目标集16028张图片，查询集8014张图片进行人脸识别仿真实验，基本过程如下：
1) 对原始人脸样本图片进行人脸定位、人脸检测，裁剪为96×120像素大小图像，并归一化预处理；
2) 采用前文提到的LBP, LPQ, Gabor分块特征提取算法得到每张样本图像的统计直方图LBPHS, LPQHS和小波图像作为最终特征；
3) 将5种特征进行FLDA降维;
4) 采用遗传算法对特征权值寻优并归一化；
5) 采用χ2分类方法进行识别，计算识别率.
对LBP和LPQ特征提取得到的脸部特征及Gabor方法得到的特征如图 2和图 3所示.
|
图 2 LBP和LPQ提取的人脸特征图像 Fig.2 Face feature images extracted by LBP and LPQ |
|
图 3 Gabor方法得到的特征图像 Fig.3 Feature image obtained by Gabor |
实验提取特征过程如图 4所示.
|
图 4 LBP，LPQ，Gabor多特征融合过程 Fig.4 Multi-feature fusion of LBP, LPQ, Gabor |
本文对常用特征提取算法进行对比实验，结果见表 1.其中(10×18)代表先对图片按5×2分块，再按3×6分块，同理可知(8×15)含义.Gabor中(3×3)代表先进行4×4下采样，再分为3×3块，然后对每一块进行小波变换.表 1显示采用单一特征时Gabor效果最好，达到首选识别率98.48%，验证率93.17%；对LBP，LPQ采用两种分块方法融合特征时，性能较单一方法有较大改进；平均加权融合5种特征首选识别率和验证率有所提高，但不明显.
|
表 1 不同方法不同权值的首选识别率 Table 1 Recognition rate of different methods and weights |
表 1最后一行为解的情况.
|
图 5 识别ROC曲线 Fig.5 Recognition of ROC graph |
对应最佳权值的首选识别率为99.06%.为了进一步验证基于遗传算法寻优的人脸识别算法的有效性，计算了验证率和错误接受率.可知，当错误接受率为0.1%的情况下，系统的验证率为95.31%.
3 结论本文提出了基于LBP，LPQ和Gabor特征融合寻优加权的人脸识别算法.首先对图像进行不同分块，再进行LBP，LPQ和Gabor小波提取特征，将5种特征分别采用FLDA进行降维并计算相似度矩阵，对各相似度矩阵进行寻优加权并归一化，采用最近邻方法进行识别.算法在FRGC2.0实验四上验证，取得在错误接受率为0.1%时验证率为95.31%和99.06%的首选识别率.实验表明该算法结合三种不同局部特征的特点，采用寻优加权有很强的表示能力和鉴别能力，对光照、姿态也有很强的鲁棒性.
| [1] | Huang D, Shan C, Ardabilian M, et al. Local binary patterns and its application to facial image analysis:a survey[J]. IEEE Transactions on Systems Man & Cybernetics Part C , 2011, 41(6): 765–781. |
| [2] |
张洁玉, 赵鸿萍, 陈曙.
自适应阈值及加权局部二值模式的人脸识别[J]. 电子与信息学报, 2014(6): 1327–1333.
( Zhang Jie-yu, Zhao Hong-ping, Chen Shu. Face recognition based on weighted local binary pattern with adaptive threshold[J]. Journal of Electronics & Information Technology , 2014(6): 1327–1333. ) |
| [3] | Ojansivu V,Heikkilä J.Blur insensitive texture classification using local phase quantization[C]// Image and Signal Processing,International Conference.Cherbourg-Octeville,2008:236-243. |
| [4] | Zhang W, Shan S, Qing L, et al. Are Gabor phases really useless for face recognition?[J]. Formal Pattern Analysis & Applications , 2009, 12(3): 301–307. |
| [5] | Su Y, Shan S, Chen X, et al. Hierarchical ensemble of global and local classifiers for face recognition[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society , 2009, 18(8): 1885–1896. DOI:10.1109/TIP.2009.2021737 |
| [6] | Pu X,Wang Y.Face detection on partial and holistic LBP features[C]// International Conference on Electrical and Control Engineering.Yichang,2011:1071-1074. |
| [7] | Wei W, Huang F F, Li J W, et al. Face description and recognition using multi-scale LBP feature[J]. Optics & Precision Engineering , 2008, 16(4): 696–705. |
| [8] | Hwang W,Park G,Lee J,et al.Multiple face model of hybrid fourier feature for large face image set[C]// IEEE Computer Society Conference on Computer Vision & Pattern Recognition.New York,2006:1574-1581. |
| [9] | Zhang W,Shan S,Gao W,et al.Local Gabor binary pattern histogram sequence (LGBPHS):a novel non-statistical model for face representation and recognition[C]// Tenth IEEE International Conference on Computer Vision.Beijing:IEEE Computer Society,2005:786-791. |
| [10] | Xie S, Shan S, Chen X, et al. Fusing local patterns of Gabor magnitude and phase for face recognition[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society , 2010, 19(5): 1349–1361. DOI:10.1109/TIP.2010.2041397 |
| [11] |
殷飞, 焦李成, 杨淑媛.
基于子空间类标传播和正则判别分析的单标记图像人脸识别[J]. 电子与信息学报, 2014(3): 610–616.
( Yin Fei, Jiao Li-cheng, Yang Shu-yuan. Subspace label propagation and regularized discriminant analysis based single labeled image person face recognition[J]. Journal of Electronics & Information Technology , 2014(3): 610–616. ) |
| [12] |
曹明明, 干宗良, 崔子冠, 等.
基于2D-PCA特征描述的非负权重邻域嵌入人脸超分辨率重建算法[J]. 电子与信息学报, 2015(4): 777–783.
( Cao Ming-ming, Gan Zong-liang, Cui Zi-guan, et al. Novel neighbor embedding face hallucination based on non-negative weights and 2D-PCA feature[J]. Journal of Electronics & Information Technology , 2015(4): 777–783. ) |
| [13] | Zhao C, Gao F. A nested-loop fisher discriminant analysis algorithm[J]. Chemometrics & Intelligent Laboratory Systems , 2015, 146: 396–406. |
| [14] | Shan S,Zhang W,Su Y,et al.Ensemble of piecewise FDA based on spatial histograms of local (Gabor) binary patterns for face recognition[C]// IEEE Computer Society.Washington，2006:606-609. |
| [15] | Deng W, Hu J, Guo J, et al. Emulating biological strategies for uncontrolled face recognition[J]. Pattern Recognition , 2010, 43(6): 2210–2223. DOI:10.1016/j.patcog.2009.12.026 |
| [16] | Li Y,Shan S,Zhang H,et al.Fusing magnitude and phase features for robust face recognition[C]// Asian Conference on Computer Vision.Daejeon,2012:601-612. |
| [17] | Li H,Hua G,Shen X,et al.Eigen-PEP for video face recognition[C]// Computer Vision-ACCV 2014.Singapore:Springer International Publishing,2014:17-33. |
| [18] | Zhu Z, Luo P, Wang X, et al. Recover canonical-view faces in the wild with deep neural networks[J]. Technical Report Arxiv , 2014: 1404. |
| [19] | Yi D,Lei Z,Li S Z.Shared representation learning for heterogenous face recognition[C]// IEEE International Conference and Workshops on Automatic Face and Gesture Recognition.Washington:IEEE,2015:1-7. |
| [20] | Ding C, Choi J, Tao D, et al. Multi-directional multi-level dual-cross patterns for robust face recognition[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence , 2016, 38(3): 518–531. |