基于局部四值模式的人脸识别_新闻_

基于局部二值模式和深度学习的人脸识别

云楠+冯志勇

摘要：局部二值模式（LBP）作为经典的纹理特征描述方法广泛应用于纹理分类和人脸识别等领域。然而现有相关算法仅利用周围一个圆形邻域的信息，没有充分利用周围邻域的信息。为此，提出一种利用不同圆形邻域之间的微分结构信息进行联合描述的特征描述子，从而能够更加充分地利用邻域信息。由于所提方法在圆形邻域上每个坐标处有4种不同可能的取值情况，因此将这种模型称为局部四值模式（LQP）。在通用的人脸识别数据库FERET上的大量实验证明了所提算法的有效性。

关键词：局部二值模式；人脸识别；纹理特征；空域信息

中图分类号： TN919?34 文献标识码： A 文章编号： 1004?373X（2014）22?0030?04

Face recognition based on local quaternize pattern

YUN Nan， FENG Zhi?yong

（Tianjin University， Tianjin 300072， China）

Abstract： As a classic description method of texture features， local binary pattern （LBP） has been widely used in fields of texture classification and face recognition. However， the existing algorithms do not make full use of the surrounding spatial information but only exploit a circular neighborhood. To overcome the disadvantage， a novel descriptor which applies differential structure information between different circular neighborhoods to do joint description is proposed. It has four possible values at each coordinate in the circular neighborhood. Thus the model is called local quaternize pattern （LQP）. Extensive experiment results on a popular face recognition dataset FERET show the effectiveness of the proposed method.

Keywords： local binary pattern； face recognition； texture feature； spatial information

0 引言

局部二值模式（LBP）作为经典的纹理特征描述方法广泛应用于纹理分类[1?3]和人脸识别[4?5]等领域。该特征算子不仅简单高效，而且对图像整体灰度单调变化具有鲁棒性。其原因在于LBP并非从单一像素点的角度来描述纹理，而是用一个局部区域的模式来进行描述图像的微观结构，例如微点、微线、微斑点、微折线等。由于这种微结构很好地刻画了图像中的微纹理，因而具有较强的判别和区分能力。

近年来，大量的针对LBP局部微观结构改进的算法被提出。例如，Liao等人通过实验统计来选择局部微结构中的主要结构，从而提出了主要局部二值模式（Dominant LBP）算子[6]。Zhang等人提出了局部衍生模式（Local Derivative Pattern， LDP），使用多种形状的微结构模板来提取高阶的LBP信息[7]。这样，LBP实际上就是LDP的局部一阶偏导模式。Tan和Triggs通过设定阈值将邻域与中心相似的状态作为一种中间态[8]，扩展局部邻域关系为三种状态，并提出了局部三值模式（Local Ternary Patterns，LTP），对光照变化有较好的鲁棒性。Guo等人深入地分析了LBP中局部邻域点与中心点灰度差值的计算过程，指出LBP方法表示的局部二值关系对应着差值的符号信息[3]。通过分别利用差值的符号信息和幅值信息计算局部二值模式，提出了一套新的完整的图像描述模型（Completed Modeling of Local Binary Pattern，CLBP）。在CLBP中，图像的局部区域由局部差分符号?幅度变换（LDSMT）来表示。为了使符号部分和幅度部分那部分信息更能够表征局部差分值，将局部差分值由符号部分和幅度部分分别进行重建。

在人脸识别方面，LBP算子也表现出了不错的性能。例如，Ahonen等人将人脸图像划分为几个互不重叠的区域，并分别求取其LBP直方图，然后将各区域直方图连接起来作为人脸的特征[4]。张文超等人将LBP与Gabor小波相结合，提出了基于Gabor直方图序列的人脸识别方法[5]。Zhang等人提出了一种级联LBP人脸识别方法，通过改变局部区域的位置和窗口大小提取LBP特征集，并采用AdaBoost级联学习的方法选择LBP特征[9]。Jin等人提出了一种改进的LBP算子，该算子将局部形状和纹理信息相结合，并采用多元高斯混合模型建立人脸模型，用贝叶斯分类器进行人脸识别[10]。

1 局部二值模式介绍

对于一幅给定的图像，定义纹理描述符号T为纹理图像中某一像素点[gc]与周围邻域的[P]个像素点之间的联合分布：

[T=t（gc，g0，...，gP-1） ] （1）

式中：[gc]是邻域中心像素点的灰度值，[gp（p=0，1，2，…，P-1）]是以中心像素点为圆心，[R（R>0）]为半径的圆形邻域上均匀分布的[P]个坐标点处的灰度值，[gp]的坐标为[（-Rsin（2πpP），Rcos（2πpP））]。

假设图像的差值[gp-gc]独立于[gc]，则可以将纹理描述符T表示为：

[T≈t（gc）t（g0-gc，g1-gc，...，gP-1-gc） ] （2）

为了使图像描述子具有图像灰度值平移不变性，只考虑局部圆形邻域的像素的灰度值与中心像素的灰度值之间差值的符号部分，此时纹理描述符号T可以近似等于：

[T≈t（s（g0-gc），s（g1-gc），…，s（gP-1-gc）），s（x）=1， x≥00， x<0] （3）

当为每个[s（gp-gc）]分配一个系数[2p]时，式（3）可以变成一个刻画图像局部纹理空间结构的局部二值模型：

[LBPP，R=p=0P-1s（gp-gc）2p ] （4）

从式（4）中可以看出：局部二值模型反映了局部邻域的像素的灰度值被中心像素点的灰度值二值化。在得到图像每个像素点的LBP之后，可以计算该图像的LBP特征直方图，其公式如下：

[H（k）=i=1Ij=1Jf（LBPP，R（i，j），k）， k∈[0，K] ，f（x，y）=1， x=y0， otherwise ] （5）

式中[K]表示LBP模型的最大值。

当图像旋转时，p坐标点的灰度值[gp]将在以[gc]为圆心，R为半径的圆周上移动。然而，[g0]总是对应着以[gc]像素为中心，坐标为[（0，R）]的位置，因此，当旋转图像时，[g0]的值将会发生改变，[LBPP，R]将会随之发生改变。为了消除旋转的影响，Ojala等人对[LBPP，R]进行了改进[2]，定义一种具有旋转不变性的LBP，即[LBPriP，R]：

[LBPriP，R=min{ROR（LBPiP，R）i=0，1，2，…，P-1} ] （6）

式中：[ROR（x，i）]表示将[x]循环右移i比特位。可知当P=8时，[LBPri8，R]共有36个不同的取值，即有36种基本模型。在基本LBP模型中，一些特定的二进制模型是基本LBP模型的基础，起主导作用。通过实验发现，这些特定的LBP模型相比其他的LBP模型出现的几率要高，有时甚至高达90%，这些基础的LBP模型称作均匀模型。这些均匀模型有一个共同的特性，这个特性就是其二进制编码的空间跳变次数较少。

2 所提出的局部四值模式

通过上面的分析，不难发现现有LBP特征描述子仅利用周围一个圆形邻域的信息，并没有充分利用到周围邻域的信息。基于此问题，本文提出了一种更加充分地利用圆形邻域周围信息，区分力更强的图像描述子。基本思想是针对现有LBP仅仅使用图像中某一像素点与其圆形邻域的微分信息的不足，在其基础上进一步利用不同圆形邻域之间的微分信息，然后将两种微分信息进行联合，从而得到更具有区分力的特征描述子。

对于图像中某一个像素点，取其两个半径不同的圆形邻域，其半径分别设为RS和RB，圆形邻域上P个均匀分布的点。当P=8时，两个半径不同的圆形邻域的情况如图1所示。

图1 不同半径的圆形邻域

首先，求出中心像素点与圆形邻域RS之间的差值。同LBP一样，只取符号部分，则圆形邻域RS上每个坐标点位置处对应的二元取值可以表示为：

[BSC（p）=sgSp-gp， s（x）=1， x≥00， x<0] （7）

然后，将圆形邻域RS和圆形邻域RB之间的灰度信息进行比较，以便得到邻域间相关位置处对应的二元取值，结果表示如下：

[BBS（p）=sgBp-gSp， s（x）=1， x≥00， x<0] （8）

接着将[BSC（p）]和[BBS（p）]联合在一起，形成一种对局部纹理描述更深刻的描述子[LQP]：[LQPP，R=p=0P-12BSC（p）+BBS（p）2p =p=0P-12s（gSp-gc）+s（gBp-gSp）2p， s（x）=1， x≥00， x<0] （9）

从式（9）中可以看出中心像素点的圆形邻域上每个坐标点取值有四种可能，即00，01，10，11，如图2所示。图中四种不同颜色表示4种不同的取值情况。由于该模型圆形邻域上每个坐标处有4种不同可能的取值情况，因此将这种模型称为局部四值模式（Local Quaternize Pattern，LQP）。

图2 LQP模型

由于LQP的比特位数是LBP的比特位数的两倍，如果直接使用LBP相同的方式建立相关的查找表，其输出值的个数将会很大，从而导致形成的图像特征直方图的维度较高。同时，对于LQP中两种微分信息而言，中心像素与较小邻域间的差分信息比较大邻域与较小邻域间的差分信息更重要。基于上述两种原因，使用以下方法建立LQP的特征直方图。

首先，根据圆形邻域RS的LBP划分方法将[BSC（p）]形成的P比特二进制数[BSC]划分成N1个bins，其中N1-1个bins为归一化的bins。按照相同的方法，将[BBS（p）]形成的P比特二进制数[BBS]划分成N2个bins，同样，其中N2-1个bins为归一化的bins。然后，对于[BSC]属于归一化的情况，将它与[BBS]进行异或运算形成一个新的P比特的二进制数[BBSC]；对于[BSC]不属于归一化的情况，不管[BBS]取何值，都将这些情况归为一类情况。

接着，定义一个变量[U（BBSC）]，它表示[BBSC]的空间跳变次数。当[BBS]属于N2-1个归一化的情况时，将[U（BBSC）≤2]的情况归为一类，将[U（BBSC）>2]的归为一类；当[BBS]不属于N2-1个归一化情况时，将[U（BBSC）=2]的情况归为一类，将[U（BBSC）≠2]的情况归为一类。这样，[BSC]中的N1-1个归一化情况的每种情况将会扩展为4种，总共有[4（N1-1）]种情况。最后，将得到LQP的2P比特组成的二进制数的查找表，这个查找表共有[4（N1-1）+1]个输出值。利用这个查找表，便可以得到图像的LQP描述子的图像直方图。

使用LGP进行图像模式分类的过程如图3所示。算法分为训练部分和测试部分。训练部分的主要目的是为了得到大量有关样本的相关特征，以便与测试样本的相关特征进行对比，进而将测试样本划归到与它相似度最高的样本所属的类中去。具体地，对于一个测试图像样本，首先从图像中提取特征。然后计算特征的直方图。将该直方图与训练样本中的直方图特征进行对比，得到训练训练样本特征和测试样本特征之间的相似度度量值。根据度量值的大小，利用最近邻分类原则，将测试样本分类为对应的类别并输出该类别的类别标签。在相似度测量上，本文使用基于卡方距离的相似度测量的方法。

图3 基于LGP的图像模式分类框架图

3 人脸识别实验

实验采用FERET数据库[11]进行人脸识别性能的测试，该数据库是目前世界上最权威的人脸数据库，是由美国国防部项目支持的。它是一个使用十分广泛的被用来评估人脸识别算法的数据库，该数据库包含1 199个人的14 051幅在不同的光照条件、表情、姿态以及不同时期的人的人脸图像。该人脸数据库分为训练集、原型图像集和不同的测试集，其训练集分别为fa（正常的人脸表情）和fb（变化的人脸表情）；原型图像集则包含1 196个人的正面图像；测试集分为4个，分别为fb、fc、DupI和DupII。总的来看，FERET数据库包含下面5个子集：

fa子集：用作字典集，它包含了1 196个人的正面图像；

fb子集（1 195张图像）：相对于fa子集而言，该子集存在一定的表情变化；

fc子集（194张图像）：相对于fa子集而言，该子集存在一定的光照变化；

Dup I子集（722张图像）：该子集的图像是在fa子集的图像拍摄一定时间后进行拍摄的；

DupⅡ子集（234张图像）：DupI的子集，该子集的图像的拍摄时间相对于fa子集中的其他图像的拍摄时间至少晚1年。实验中将fa作为字典集，其余4个子集作为测试集，以测试描述子在不同条件下人脸识别的性能。由于FERET的图像是人的上半身照片，需要将它进行裁剪以得到只包含人脸部分的图像。在实验中对图像进行归一化，统一裁剪成大小为128×128的图像。

为了验证所提方法的有效性，将所提LQP算法与文章[4]提出的使用LBP的方法进行对比。同文献[4]中对人脸进行分块计算特征一样，本文也将使用这种方法计算人脸的特征。在人脸识别的过程中，将人脸图像分成[R1，R2，…，Rm]个子区域，以便增加图像的空间信息，使识别的准确率更高。图4给出了人脸图像被分别分成[7×7，5×5，3×3]个子矩形区域的示意图。首先，分别计算每个子区域的描述子特征直方图；然后，将这些直方图连接在一起，形成描述子关于人脸图像的特征直方图。

图4 人脸图像分解成[7×7，5×5，3×3]个子矩形区域

在实验过程中，改变子矩形区域的个数，LQP的两个圆形邻域半径RS和RB的大小以及圆形邻域上像素点的个数，观察描述子的相关规律。

表1为LQP和LBP在FERET人脸数据库上的实验数据。在表1中，（8，2），（8，3）分别表示中心像素点圆形邻域S的半径为2、圆周上取8个坐标点，中心像素点圆形邻域B的半径为3、圆周上去8个坐标点；LBP表示[LBPu28，2]，即归一化的LBP；LBP2表示[LBPu28，2]和[LBPu28，3]的直方图连接在一起；[（n×n），n=4，5，…，9]表示将大小为128×128的人脸图像分成[n×n]个子区域，分别求出每个子区域的直方图，然后连接它们。在表1中，加入了图像描述子LBP2的主要目的是观察当原始LBP描述子利用与LQP描述子相同的邻域信息时，LBP2的性能与LQP的性能谁更好，以更有效地证明LQP描述子的正确性。从表1中，可以得出以下结论：

（1）总体来看，LQP描述子人脸识别的正确率相对于LBP和LBP2的人脸识别的正确率要高。但是在不同的情况下，LQP性能的提升不同，例如，对于探测集fb而言，LQP性能的提高不如其他探测集，这可能是因为LQP的区分力更强，它在一定程度上会将表情的变化当做干扰因素。但是，从整体上看，LQP描述相对于LBP描述子具有更好的人脸识别性能。

（2）当人脸被划分成[n×n]个子区域时，由于增加了图像的空间信息，相关图像描述的人脸识别性能得到大幅提升。但是，随着n的进一步增大，由于子区域过小，不同图像对应的相同子区域所含的相同信息过少，其性能将会逐渐变差。由表1可以看出当n取8时，LQP描述子的性能基本达到最优。

4 结语

针对现有LBP特征算子没有充分利用周围邻域的信息的不足，提出一种利用不同圆形邻域之间的微分信息进行联合描述的特征描述子，称为局部四值模式（Local Quaternize Pattern，LQP）。LQP通过在LBP的基础上引入二阶信息和邻域多值信息增强了邻域信息的利用能力。通过在人脸识别数据库FERET上的大量实验，证明了所提算法的有效性。LQP的不足之处在于不能够应对人脸光照、表情等因素的剧烈变化等情况，这也是人脸识别中的挑战性问题。因此，未来工作将集中于如何设计对光照等更加鲁棒的LQP特征算子。

参考文献

[1] OJALA T， PIETIK?INEN M， M?ENP?? T. Multiresolution gray?scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971?987.

[2] OJALA T， PIETIK?INEN M， HARWOOD D. A comparative study of texture measures with classification based on featured distributions [J]. Pattern Recognition， 1996， 29（1）： 51?59.

[3] GUO Z， ZHANG L， ZHANG D. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing， 2010， 19（6）： 1657?1663.

[4] AHONEN T， HADID A， PIETIK?INEN M. Face recognition with local binary patterns： application to face recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（12）： 2037? 2041.

[5] 张文超，山世光，张洪明，等.基于局部Gabor变化直方图序列的人脸描述与识别[J].软件学报，2006，17（12）：2508?2517.

[6] LIAO S， LAW M， CHUNG A. Dominant local binary patterns for texture classification [J]. IEEE Transactions on Image Processing， 2009， 18（5）： 1107?1118.

[7] ZHANG Bao?chang. GAO Yong?sheng， ZHAO San?qiang， et al. Local derivative pattern versus local binary pattern： face recognition with high?order local pattern descriptor [J]. IEEE Transactions on Image Processing， 2010， 19（2）： 533?544.

[8] TAN X， TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [J]. IEEE Transactions on Image Processing， 2010， 19（6）：1635?1650.

[9] ZHANG G， HUANG X， LI S， et al. Boosting local binary pattern （LBP）?based face recognition[C]// Proceedings of Advances in Biometric Person Authentication： 5th Chinese Conference on Biometric Recognition. Cuangzhou， China： [s.n.]， 2004： 179?186.

[10] JIN H， LIU Q， LU H， et al. Face detection using improved LBP under Bayesian framework [C]// Proceedings of Third International Conference on Image and Graphics. Hong Kong， China： [sn.]， 2004： 306?309.

[11] PHILLIPS P J， MOON H， RIZVI S A. The FERET evaluation methodology for face recognition algorithms [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（10）： 1090?1104.