目前人脸识别技术在生活中的应用十分广泛，大到机场车站的安检系统，小到随处可见的移动终端上的身份验证功能.人脸识别技术不仅大大提高了身份信息验证的效率，还给用户带来快捷方便的生活体验.但是，当有人伪造客户人脸并试图通过人脸识别系统的验证时就会出现欺诈攻击.目前，大部分基于脸部识别的反欺诈操作都需要人机交互.比如，客户需要根据系统提示进行组合动作操作完成银行系统的实名验证过程、用户需要眨眼完成支付宝的身份信息验证等，这些交互过程极大降低了客户体验的满意程度.一些公司或者社区使用人脸识别门禁系统时，还需要雇佣一些安保人员参与其中以实现“双保险”.因此，在进行人脸识别前增加非人机交互的人脸欺诈检测以解决人脸识别系统中存在的风险与漏洞是一项非常有意义的工作.

人脸欺诈攻击一般可分为3种方式：打印攻击、重放攻击和3D模型攻击.打印攻击也称为照片攻击，是指将合法用户的照片打印出来或呈现在电子设备屏幕上，然后显示在人脸识别系统的镜头前，或是攻击者将用户人脸照片的眼部区域剪裁后放在自己的面部模拟用户眨眼来响应系统指令.重放攻击也指视频攻击，是指在人脸识别系统的镜头前重复播放录制好的用户脸部视频以试图通过系统验证.3D模型攻击是指利用特殊材料构造3D模型来模拟用户头部，当欺诈检测系统提示用户做出相应动作时，攻击者用手左右转动模型来模拟用户的头部运动.打印攻击和重放攻击相对于3D模型攻击所用的欺诈材料易获取，欺诈样本的制作也更为简单，因此前两者欺诈方式在人脸识别系统中存在的风险系数较高，针对打印攻击和视频攻击提出的反欺诈方法也比较广泛.

近年来，特征提取成为人脸反欺诈检测的热点研究内容[1-6].如Boulkenafet等人[1,6]使用局部二值模式(local binary pattern, LBP)提取颜色纹理特征，这种方法简单有效而且在经典的人脸欺诈数据库上都表现出了很强的泛化能力.但是，LBP只反映了图片局部区域中心点与邻近点像素值间的大小关系而忽略了重要的纹理细节信息.针对传统LBP的这一不足，本文提出了差分量化局部二进制模式(difference quantization local binary pattern， DQ_LBP)，即利用图像局部中心点与周围点之间的差值来细化局部二值模式的纹理信息.除此之外，本文将DQ_LBP与空间金字塔算法[7](spatial pyramid, SP)结合大大提升了该算法的分类性能.

本文的主要贡献在于4个方面:

1) 提出的DQ_LBP与传统的LBP相比，不仅能够反映中心点与邻近点之间像素值的大小关系，更能将像素之间的差值量化并利用量化结果描述人脸局部纹理的细节特征.DQ_LBP保持了LBP构造简单的优点，且得到的DQ_LBP特征不会因为增加额外的纹理信息而增加特征的维度.

2) 使用空间金字塔算法一方面可以细致地表示人脸的空间结构信息，另一方面可以将不同尺寸的人脸图片转化成统一维度的特征向量.DQ_LBP和空间金字塔算法相结合既提取了图片的纹理和空间结构信息，又反映了图片局部和全局的特征信息.

3) 通过分析该算法在不同颜色空间中的性能说明彩色纹理对欺诈检测的作用，并将不同的颜色空间融合以增强算法的鲁棒性.

4) 仅需提取视频中的一帧图片就可以对该样本进行分类，从而有效节约了算法的运算时间.

1 相关工作

近年来，随着公共人脸欺诈数据库的增加，人脸反欺诈的研究得到了快速的发展.现有的人脸欺诈检测方法主要分为基于局部特征、基于3D深度信息分析和基于人体运动信息分析的方法.除此之外，将以上方法与深度学习相结合在该领域的应用也越来越广泛.

基于局部特征提取的方法[2-3]是利用图片再造过程中产生的纹理差异(包括打印瑕疵、视频伪影、显示设备的噪声信号和云纹效果等)辨别镜头前人脸的真假.文献[8]为了提取更强的边缘纹理特征，提出GS-LBP(guided scale based local binary pattern)淡化图像纹理的冗余度.Pereira等人[4]和Maatta等人[5]分别提出LBP-TOP(local binary pattern from three orthogonal planes)算子和基于不同模式的LBP组合的特征提取方法.前者通过LBP-TOP算子将时间和空间信息组合，大大提高了欺诈识别精度;后者通过实验证明了LBP相比局部相位量化(local phase quantization, LPQ)和Gabor算子在人脸欺诈识别上具有更好的鉴别能力.Chingovska等人[9]首次将LBP应用到欺诈检测领域，并通过实验证明LBP对于不同数据库中不同的攻击类型的检测都有一定的适用性.Wen等人[10]将镜面反射、模糊、颜色矩和色彩差异信息结合进行图像失真分析，并提出基于颜色质量的特征提取方法并表明重新获得的面部图像不仅颜色退化还缺乏颜色多样性.随后Boulkenafet等人[1]提出一种基于颜色纹理分析的人脸反欺诈方法，证明在未知条件下面部颜色纹理的表现比灰度表示的表现更加稳定，该方法简单有效而且在跨数据库间具有很强的泛化能力.文献[11]提出使用彩色共生局部二值模式(chromatic co-occurrence of local binary pattern, CCoLBP)，该算法在脸部实时应用设备上具有很大的潜力.

真实人脸是一个3D的面部结构，而打印攻击和视频攻击所产生的假脸在形成过程中会丢失部分脸部3D结构信息.基于3D深度信息分析[12]主要是利用2D图像和3D物体之间深度信息的差异来辨别真脸和假脸.例如文献[12-13]分别通过使用卷积神经网络输出深度图谱和在深度学习框架下从对齐的人脸图像和所有视频帧中获取深度纹理特征.

基于人体运动信息的欺诈检测主要研究人体的生理反应或运动反应，如眨眼[14-15]、人体运动[14]和头部旋转[16].Frischholz等人[17]提出使用3种不同的特征——脸部、声音和嘴唇动作进行活体检测，这种方法比仅使用单特征提取方法具有更高的识别精度.由于基于人体运动信息的检测方法需要提取多帧信息，因此容易受到重放视频的攻击;Patel等人[12]提出了一种融合深度纹理特征和面部运动线索(如眨眼)的鲁棒表示方法以应对图片和回放等攻击.

随着设备和技术的逐渐完善，将以上方法与深度学习结合后应用到人脸反欺诈领域取得了显著的效果.如Feng等人[18]利用卷积神经网络构造出一种层次性可扩展的框架，该框架能够融合图像的质量和运动等信息，因此在跨数据库之间具有很强的泛化能力;Atoum等人[13]将图片分为若干小块，利用卷及神经网络(convolutional neural network, CNN)计算每个小块的欺诈分数及其平均值，再根据基于全局深度信息的CNN判别脸部是否具有深度，最后将二者结合判别样本真假.实验表明，该方法在高分辨率样本上也取得较好的结果，而且因使用切片代替以往使用全局图片的方法使得该算法具有鲁棒性.以上2种方法需要大量的欺诈样本才能通过CNN训练出较好的模型，但欺诈样本收集却是个难题.Li等人[19]在卷积特征图中提取彩色LBP特征，并用已有的VGG-Face模型对其进行微调来减少过拟合影响，该算法在CASIA FASD,Replay-Attack数据库上都取得了稳定的性能.

以上方法在人脸反欺诈领域都表现出显著的分类效果，但也存在不足之处.例如在获取样本运动信息时往往要计算大量的视频帧，在提取样本深度信息时易受到欺诈照片卷曲影响而错误分类.使用卷积神经网络虽为目前较为先进的方法，但是容易受到欺诈样本限制而且模型训练的时间较长.对于局部特征纹理提取的方法，文献[1]虽然详细阐明了颜色通道对于欺诈识别分类的作用，但使用的特征提取方法不能充分反映图片的局部纹理信息.针对该问题，本文提出基于DQ_LBP的人脸反欺诈算法.该算法将DQ_LBP和空间金字塔算法结合，一方面DQ_LBP能够获取更细微的纹理特征，另一方面空间金字塔算法能够将不同尺度的脸部纹理图片转变成统一维度的特征向量，并且能更加准确地反映图片的空间结构信息.此外，为说明彩色空间对辨别真脸和假脸的作用，本文分别在Gray,RGB,HSV,YCbCr彩色空间进行了大量实验，并将互补的彩色空间进行融合来提高算法的识别性能.该方法简单高效而且节省大量时间，仅需提取视频中的一帧就可在CASIA FASD,Replay-Attack,Replay-Mobile上达到很好的检测效果.

2 基于DQ_LBP的人脸反欺诈算法

针对打印攻击和重放攻击，本文提出了一种DQ_LBP特征提取算法，并在颜色空间中将其与空间金字塔算法结合进行人脸欺诈检测.该算法的总体框架如图1所示，主要包含5个步骤：

Step1. 为提高人脸的识别效率，从每一个视频中仅提取一帧作为图片样本，然后进行脸部定位，确定脸部位置之后对原始图片进行剪裁形成新的人脸图片数据库;

Step2. 原始图片的彩色空间为RGB形式，为探究本文算法在不同颜色空间表示之间的差异，分别将原始图片转换为HSV、YCbCr和灰度图形式;

Step3. 分别在灰度图、RGB、HSV和YCbCr颜色空间内提取人脸图片的DQ_LBP特征;

Step4. 利用空间金字塔算法提取颜色空间中各通道的全局和局部纹理特征，然后将各通道特征级联形成表示人脸的特征向量;

Step5. 利用支持向量机(support vector machine, SVM)算法进行真假人脸的检测与分类.

2.1 脸部提取

首先利用级联目标检测器[20]获取脸部位置信息，在该过程中由于用户头部旋转可能会造成当前帧的脸部位置获取异常，此时将会对下一帧图片进行检测.适当的背景信息能够帮助欺诈检测系统有效地鉴别真脸和假脸，本文把检测到的人脸区域扩充到原来的1.5倍后再进行剪裁.不同于文献[1,6]中需要把剪裁后的脸部图片标准化为64×64像素，为了避免图片标准化后使得纹理信息丢失，本文不对剪裁后的人脸图片进行任何处理，并用空间金字塔算法解决图片多尺度问题.将CASIA FASD数据库中提取的人脸图像进行剪裁和扩充，形成32×32,64×64,128×128,150×150,200×200像素的标准人脸图片库和一个未经处理的人脸图片库.图2为在HSV空间中使用DQ_LBP结合空间金字塔算法提取的特征在以上6个人脸库中的等错误率(equal error rate, EER)和半总错误率(half total error rate, HTER).可以看出算法在未经标准化处理的人脸库中表现的性能最好.

2.2 颜色空间转换

人脸在重造过程中会产生许多纹理差异，这种差异在彩色通道上的表现更为明显.图3(a)行1和行2分别是低分辨率下真脸和假脸在RGB、灰度图和HSV空间中的表示.图3(b)是高分辨率图片示例，从上到下分别表示真脸、卷曲照片、剪切照片和重放攻击图片.cos θ表示对应假脸图片和真脸图片的余弦相似度：

(1)

其中,x1k，x2k(k=1,2,…,n)分别表示第1幅图片和第2幅图片的第k个特征点.

如图3所示，自然状态下的图片是以RGB形式呈现在人眼中.低分辨率真脸和假脸图片在RGB和S通道中的差异比灰度表示下的差异更为明显.但对于高分辨率的图片，在彩色空间或通道内也很难直观地辨别真脸和假脸.通过比较S通道和灰度图的值可知，真脸和假脸在彩色空间中的差异更大.

2.3 DQ_LBP特征提取

纹理反映了图像灰度的性质及其空间拓扑关系.其中，LBP因其简单高效和灰度不变性等优点被广泛应用到人脸欺诈识别领域，但是传统LBP只考虑中心像素值与其邻近像素值之间大小关系，而没能将它们之间的差值信息进行量化，针对传统LBP的这一不足，本文提出一种新颖的LBP改进方法.

2.3.1 LBP

局部二进制模式的原理是利用局部区域中心像素点与周围点的大小关系形成二进制编码，该二进制编码的十进制表示则为中心像素点的LBP值，具体定义：

(2)

(3)

其中，rc和rn(n=1,2,…,P)分别表示中心点(x,y)的像素值和位于半径为R(R>0)的圆上的P个邻域的像素值.

2.3.2 DQ_LBP

传统LBP忽略了局部中心点与相邻点像素之间的差异信息，如图4①和图4②这2个3×3窗口的中心像素点和周边像素点的差值虽然不同，但经过计算之后其LBP序列完全相同.针对该问题，DQ_LBP借鉴了LBP的构造过程来量化局部相邻像素之间的差值，即将量化的差值附加在以2为底的指数中，使DQ_LBP在进行编码时把差值信息融合进去.因此DQ_LBP的特征维度与LBP一致且包含更丰富的纹理信息.这种增加LBP差值信息的纹理提取方法能够有效地表示真脸和假脸之间的差异，在人脸欺诈检测方面具有较好的表现.

如式(2)所示，LBP的计算过程类似于幂指函数求和运算.由于中心点像素与其相邻像素差值的范围为[0,255]，如果本文直接将差值作为指数进行运算，将会使得当前位的二值权重激增，因此在运算前需要将差值进行归一化.本文构造有关差值和中心点像素值归一化为：

(4)

其中，rn 和rc分别表示图像相邻点和中心点的像素值，差值大小为rn> rc.从式(4)可以看出，A值随差值和中心点像素值的变化而变化.max表示该DQ_LBPP,R所能表示的最大值，其大小取决于周围点选取的个数，与max关系可用max=2P-1表示，如果P=8，则max=255.在式(2)中，LBP值随n呈指数关系递增.在细化LBP纹理时，为了不增加DQ_LBP的特征维度，本文借鉴LBP构造过程将A(A∈(0,1])作为附加信息添加到指数中，构造的DQ_LBP：

(5)

(6)

式(6)与式(3)不同，其中x>0(即rn>rc)一方面可避免式(4)的分母，另一方面约束了DQ_LBPP,R的大小.式(5)中，DQ_LBPP,R的值会随着n的增加以2(1+A)的倍数递增，当n=P时A值对DQ_LBPP,R的影响最大，当n=1时DQ_LBPP,R值将不受A的限制.假设n=(p+1)2时A对DQ_LBP值的影响最大，那么DQ_LBPP,R算法不会因为n较小而过多改变当前位LBP信息，也不会因为n太大使DQ_LBPP,R值远远超出max范围.鉴于上述假设，本文构造二次函数：

y=(p-n)(n-1),

(7)

为了约束DQ_LBPP,R的大小，需要对y进行归一化.求y关于n的导数为

=p+1-2n.

(8)

当∂y/∂n=0时，n=(p+1)/2，此时y的最大值y=((p+1)/2)2，得到值域为[0,1]的约束函数C：

(9)

最终得到的DQ_LBP：

(10)

当图像分辨率越高时，图片局部像素间的差异越小.图5表示高分辨率样本的灰度图，任取其局部纹理可知中心点与周围点像素值的差不超过5.事实上，通过统计CASIA FASD和Replay-Attack数据库中每张图片的差值得知，像素之间的差值多数分布在0～25之间，差值的最大值不超过50.由式(10)知，当周围点与邻近点差值越小，DQ_LBPP,R值就越小.因此，对于像素值变化较为平缓的中、高分辨率人脸图像，其DQ_LBPP,R值一般不会超过最大值max，如果DQ_LBPP,R>max，则设置DQ_LBPP,R=max.

本文提出的DQ_LBP是综合考虑实际图片的差值分布和传统LBP的构造过程而设计的一种特征提取方式.因此DQ_LBP在细化原始LBP特征时不会增加其特征维度.图6(a)给出了当中心点像素值不变时LBP和DQ_LBP随差值变化的曲线.从中可以出，DQ_LBP会随着差值增大而增大，而LBP始终保持不变.图6(b)是衡量LBP,DQ_LBP特征值和中心点像素值关系的曲线图.其中DQ_LBP是随中心点像素值的变化而变化的，而且这种变化的差异较小.总之，DQ_LBP增加了纹理差值信息的同时在一定程度上保留了LBP的灰度尺度不变性.值得注意的是，当中心点像素值为0～150时，DQ_LBP值比LBP值要小，这是因为式(6)对特征值的增加具有约束作用.3.3.1节介绍了DQ_LBP和其他常用的特征提取方式以及3种LBP改进方法的实验比较，进一步说明了DQ_LBP的优越性.

2.4 空间金字塔

在计算机视觉应用中，空间金字塔算法经常被用来解决图片多尺度问题[21].文献[22]提出基于序的空间金字塔池化算法，该算法不仅能够处理多尺度的子图像块，还解决了传统池化方法容易损失大量重要信息和易过拟合的问题.基于上述原因，本文将DQ_LBP纹理与经典的空间金字塔算法结合，其过程如图7所示.首先将一张纹理特征图片分为L层，对于第l(l∈{0,1,…,L-1})层的图片则会被划分为2l×2l个均匀大小的方块;然后统计每个方块中的特征直方图并将其按照顺序级联;最后将每一层的直方图级联一起形成表示样本图片的一维向量.空间金字塔算法实际上是对图片进行粒度划分，当层数越高就意味对图片的划分越精细，因此更能详细地反映图片的空间结构和局部纹理信息.表示在S彩色空间i通道内获取的特征向量:

(11)

将S彩色空间内各个通道的特征向量级联形成表示该图片的特征向量:

HS=(HS1,HS2,…,HSI).

(12)

其中I为S彩色空间内的通道个数.

空间金字塔算法的使用可以大幅度提高算法的识别精度，但是也会使其数据维度扩增，因此研究人员在使用金字塔算法时通常将其设置为3层.考虑到人脸欺诈识别是一种二分类问题，过于细化特征图片的结构信息会存在数据干扰，于是本文使用空间金字塔的第1层和第3层，其主要优点是将特征维度降低为原来的(1+16)(1+4+16).

3 实验结果与分析

为了评估本文所提出算法的有效性，本文在CASIA FASD,Replay-Attack,Replay-Mobile三个权威的人脸反欺诈数据库进行实验.主要工作：

1) 通过在不同颜色空间中比较DQ_LBP,DQ_LBP结合空间金字塔算法(DQ_LBP+SP)和其他常用的6种特征提取方法的性能来说明DQ_LBP及其DQ_LBP+SP算法的优越性;

2) 将不同的颜色空间融合以增强算法的泛化能力;

3) 根据实验数据分析该算法的检测性能;

4) 将本文算法和前沿的人脸反欺诈算法进行比较.

3.1 数据库介绍

3.1.1 CASIA FASD数据库

在CASIA FASD脸部反欺诈数据库[23]中，研究人员对50名实验者的真实面部进行了记录并设计了3种欺诈攻击：卷曲照片攻击、剪切照片攻击(摄影掩模)和视频攻击.真实的访问和攻击尝试都使用低、正常和高3种成像质量来记录.50名受试者被分成2个不相交子集进行训练和测试，其中训练集为20个类，测试集为30个类.图8是来自文献[1]中CASIA FASD数据库的示例人脸图像，从上到下为：低质量、正常质量和高质量的人脸图像.从左到右为：真实脸部照片和相应的卷曲照片、剪切照片和视频回放攻击.

3.1.2 Replay-Attack数据库

Replay-Attack数据库[9]中设计了打印攻击、手机攻击和高清攻击3种攻击类型.根据在摄像机前展示假脸的设备时所使用的支撑物不同定义了手持和固定支持攻击.50名受试者被分为3个独立的小组进行训练、验证和测试.图9是来自文献[1]中Replay-Attack数据库的示例人脸图像，行1显示来自受控场景的图像，而行2对应于来自非控制场景的图像.从左到右为:真实人脸图片和相应的高清攻击、手机攻击和打印攻击.

3.1.3 Replay-Mobile数据库

Replay-Mobile数据库是近年提出的一种新型的人脸欺诈检测数据库，相比于Replay-Attack，该数据库使用更高分辨率的设备进行样本录制，和CASIA FASD相比，前者增加了移动场景的测试.Replay-Mobile数据库[24]收集了40个研究对象的1 030个视频.包含了打印照片攻击、平板照片攻击和移动视频攻击；检测环境包括受控场景、非受控场景、直接场景、横向场景和扩散场景；攻击设备类型包括基于手持的设备和固定支持设备.该数据库分为训练集、测试集和验证集3个非重叠的子集，分别包含12,16,12个类.Replay-Mobile数据库的人脸示例如图10所示：行1表示智能手机上捕获的攻击访问样本，行2表示平板电脑上采集的样本.从左到右的列分别显示了光照条件下哑光屏幕、无光照条件下哑光屏幕、光照条件下打印和非光照打印的人脸示例.

3.2 评价指标

本文采用线性核的支持向量机(SVM)分类器进行二值分类.以EER和HTER为评价指标.其中HTER为FAR与FRR的均值，FAR(false accep-tance rate)为错误接受率，FRR(false rejection rate)为错误拒绝率.EER为FAR,FRR的2条曲线的相交点对应的值.为了将本文算法和其他算法进行公平比较，本文在Replay-Mobile中增加了APCER(attack presentation classification error rate),BPCER(bona fide presentation classification error rate),ACER(average classification error rate)三个指标，其中APCER和BPCER类似上述FAR和FRR，区别在于前2个指标为了考虑每种攻击类型的攻击潜力和成功概率，最终的APCER,BPCER用所有攻击类型中性能表现最差的值进行评估，而且ACER为APCER与BPCER的均值.所有指标值越小表示该算法的整体性能越好.

3.3 实验结果与分析

3.3.1 与其他特征提取方法的比较

为了验证DQ_LBP特征提取方法及其结合空间金字塔算法在人脸欺诈检测中的有效性，表1和表2给出LB,CoALBP(co-occurrence of adjacent local binary pattrens),LPQ(local phase quantization),BSIF(binarized statistical image features),SID(scale-invariant descriptor),LTP(local ternary pattern)[25],DQ_LBP,DQ_LBP+SP这8种特征提取方法在各个颜色通道的表现结果，其中前5种实验数据来自于文献[1].从表1和表2可以看出，虽然相比已有的特征提取方法，DQ_LBP并不是在所有的颜色空间内具有最好的检测性能，但是因为量化了原始LBP的差值信息使得其性能有了很大的提高.比如在Replay-Attack数据库中，DQ_LBP在RGB空间的HTER值达到0.0%.在前6种特征提取方法中，LTP,CoALBP和本文提出的DQ_LBP表现的性能较为突出.其中LTP也对局部像素间的差值进行量化并在人脸识别领域具有突出的表现，但可能由于LTP过多地考虑了光照不变性而在人脸欺诈检测方面的性能并不理想.而CoALBP在CASIA FASD中的表现和DQ_LBP相当，但在Replay-Attack中的表现不如DQ_LBP.而且CoALBP因为增加了原始LBP的结构信息使得其维度大幅增加.综上所述，DQ_LBP能够更加准确的描述真脸和假脸的差异信息.为了增加图片纹理的结构信息，本文将DQ_LBP和空间金字塔算法结合.实验表明DQ_LBP+SP在CASIA FASD和Replay-Attack上都表现出最好的结果.表1中8种特征提取方法在RGB,HSV,YCbCr中的识别性能要比在灰度图中表现的结果好.虽然表2中不是所有的颜色空间中的实验表现都比在灰度图中的优越，但是始终存在某个颜色空间(如RGB)会表现出最佳的性能.综上所述，彩色纹理能够提高人脸欺诈检测的性能，但对于不同的数据库彩色空间发挥的作用具有不稳定性.针对该问题，本文在3.3.2节将不同的彩色空间融合来增加算法的泛化能力.为研究DQ_LBP和空间金字塔层数对算法性能的影响，图11给出LBP,DQ_LBP,DQ_LBP结合3层空间金字塔DQ_LBP_SP(0,1,2)和DQ_LBP结合2层空间金字塔DQ_LBP_SP(0,2)在CASIA FASD,Replay-Attack,Replay-Mobile数据库中的ROC图横坐标为假正例率(false positive rate, FPR)，纵坐标表示真正例率(true positive rate, TPR).可以看出DQ_LBP能够有效提高原始LBP的分类性能；DQ_LBP结合空间金字塔算法进一步提高算法的泛化能力；当去除空间金字塔中间一层时并没有对算法性能造成大的影响，而且大大降低了数据的维度.

3.3.2 彩色纹理融合

彩色空间相比灰度图可以提高欺诈检测的性能，但由于使用的数据库不同，算法在何种彩色空间中表现的性能最好具有不确定性，为了提高算法整体的泛化能力，本文将不同彩色空间进行融合.表3给出了彩色纹理融合方式及其实验结果，其中HSV和YCbCr空间结合增加了算法在CASIA FASD和Replay-Mobile数据库中的性能，本文算法的最终结果将统一以在HSV+YCbCr中得到的实验数据为准.

3.3.3 检测性能分析

为了解本文算法在不同成像质量和不同欺诈攻击样本中的性能表现，表4～6分别给出算法在Replay-Mobile,CASIA FASD,Replay-Attack中的实验结果.在上述3种数据库中，本文算法分别在视频图片攻击、数码图片攻击和移动设备攻击下具有更高的检测精度.值得注意的是，本文算法能够完美地检测出Replay-Attack数据库中的数码图片攻击.

3.3.4 与现有算法比较

表7给出了本文算法和经典的以及前沿的人脸反欺诈算法比较，其中DQ_LBP+SP和前6种方法是使用传统的纹理特征提取方法，而文献[13,18-19,28]是将深度信息、运动信息、纹理信息等和卷积神经网络相结合的算法.对比传统方法中LB,CLBP,LBP+DCT的实验结果可知，将多种信息融合的算法比提取单一信息的算法更加高效.其中LBP

结合多层离散余弦变量的算法和本文算法都在Replay-Attack数据库中达到了完美检测，但是本文算法在CASIA FASD中的EER值比LBP+DCT降低了97.79%.近年来，卷积神经网络因其强大的分类性能被广泛应用于活体检测领域.从表7可以看出结合CNN的算法在整体上比传统方法表现的性能更佳，比如文献[28]中提出的适合时空输入的3D卷积神经网络在Replay-Attack,CASIA FASD中都具有较为突出的性能.但是欺诈样本获取相对困难从而使网络模型的训练受到限制，而且模型在训练时也耗费较多的时间.综合来看，本文算法的性能明显优于其他传统算法，而且与大部分卷积神经网络算法相比，其泛化能力也更胜一筹.在表8所示的Replay-Mobile数据库中，本文方法的ACER值比IQM(image quality measure),Gabor分别降低了92.38%,89.08%.和LBP+GS-LBP,CCoLBP,LBP+CCoLBP这3种改进的LBP算法相比，本文算法也具有更好的性能表现.

4 结 论

本文针对打印攻击和视频攻击提出一种基于DQ_LBP的人脸反欺诈算法.通过将DQ_LBP纹理与空间金字塔算法结合使得该算法在CASIA FASD,Replay-Attack,Replay-Mobile数据库中都表现了较为优异的性能.DQ_LBP是经过分析数据库差值分布和借鉴LBP构造过程形成的一种纹理特征提取方式，该算子能够将像素之间的差值量化来增加原始LBP的纹理信息.将DQ_LBP结合空间金字塔算法一方面解决图片多尺度问题，另一方面提取样本的结构信息.为了降低数据维度，本文还对空间金字塔层数的设置进行讨论.在实验中发现，对于不同的数据集，性能表现最好的颜色空间无法确定，本文将通过将不同的彩色空间进行结合提升本文算法的泛化能力.

本文算法的优点是结合了彩色纹理信息和空间结构信息，能够更加详细地反映样本的纹理特征.DQ_LBP+SP算法和其他传统的算法相比具有更精确的识别性能，和结合卷积神经网络的算法相比，前者训练时间短而且表现出的性能也具有鲁棒性.本文因为细化了图片纹理信息使得算法的跨数据库检测性能不是很好，在后期工作中，我们将会把本文特征提取方法与卷积神经网络结合来尝试提高算法在跨库实验中的性能.

参考文献

[1]Boulkenafet Z, Komulainen J, Hadid A. Face spoofing detection using colour texture analysis[J]. IEEE Transactions on Information Forensics and Security, 2017, 11(8): 1818-1830

[2]Kose N, Dugelay J. Classification of captured and recaptured images to detect photograph spoofing[C] Proc of the Int Conf on Informatics, Electronics Vision. Piscataway, NJ: IEEE, 2012: 1027-1032

[3]Agarwal A, Singh R, Vatsa M. Face anti-spoofing using Haralick features[C] Proc of the 8th Int Conf on Biometrics Theory, Applications and Systems. Piscataway, NJ: IEEE, 2016

[4]Pereira T D F, Anjos A, Martino J M D, et al. LBP-TOP based countermeasure against face spoofing attacks[C] Proc of the 11th Int Conf on Computer Vision. Berlin: Springer, 2013: 121-132

[5]Maatta J, Hadid A, Pietikainen M. Face spoofing detection from single images using micro-texture analysis[C] Proc of the 1st Int Joint Conf on Biometrics. Piscataway, NJ: IEEE, 2011

[6]Boulkenafet Z, Komulainen J, Hadid A. Face anti-spoofing based on color texture analysis[C] Proc of the 22nd Int Conf on Image Processing. Piscataway, NJ: IEEE, 2015: 2636-2640

[7]Lazebnik S, Schmid C, Ponce J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories[C] Proc of the 6th IEEE Computer Society Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2006: 2169-2178

[8]Peng Fei, Qin Le, Long Min. Face presentation attack detection using guided scale texture[J]. Multimedia Tools and Applications, 2017, 77(7): 8883-8909

[9]Chingovska I, Anjos A, Marcel S. On the effectiveness of local binary patterns in face anti-spoofing[C] Proc of the Int Conf of Biometrics Special Interest Group. Piscataway, NJ: IEEE, 2012

[10]Wen Di, Han Hu, Jain A K. Face spoof detection with image distortion analysis[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(4): 746-761

[11]Peng Fei, Qin Le, Long Min. CCoLBP: Chromatic co-occurrence of local binary pattern for face presentation attack detection[C] Proc of the 27th Int Conf on Computer Communication and Networks. Piscataway, NJ: IEEE, 2018

[12]Patel K, Han Hu, Jain A K. Cross-Database face anti spoofing with robust feature representation[C]Proc of Biometric Recognition. Berlin: Springer, 2016: 611-619

[13]Atoum Y, Liu Yaojie, Jourabloo A, et al. Face anti-spoofing using patch and depth-based CNNs[C]Proc of IEEE Int Joint Conf on Biometrics. Piscataway, NJ: IEEE, 2017: 319-328

[14]Yan Junjie, Zhang Zhiwei, Lei Zhen, et al. Face liveness detection by exploring multiple scenic clues[C] Proc of the 12th Int Conf on Control Automation Robotics and Vision. Piscataway, NJ: IEEE, 2012: 188-193

[15]Pan Gang, Sun Lin, Wu Zhaohui, et al. Monocular camera-based face liveness detection by combining eyeblink and scene context[J]. Telecommunication Systems, 2011, 47(34): 215-225

[16]Komulainen J, Hadid A, Pietikainen M, et al. Complementary countermeasures for detecting scenic face spoofing attacks[C] Proc of Int Conf on Biometrics. Piscataway, NJ: IEEE, 2013

[17]Frischholz R W, Dieckmann U. BiolD: A multimodal biometric identification system[J]. Computer, 2000, 33(2): 64-68

[18]Feng Litong, Po Laiman M, Li Yuming, et al. Integration of image quality and motion cues for face anti-spoofing: A neural network approach[J]. Journal of Visual Communication and Image Representation, 2016, 38(C): 451-460

[19]Li Lei, Feng Xiaoyi, Jiang Xiaoyue, et al. Face anti-spoofing via deep local binary patterns[C] Proc of IEEE Int Conf on Image Processing. Piscataway, NJ: IEEE, 2017: 101-105

[20]Alionte E, Lazar C. A practical implementation of face detection by using Matlab cascade object detector[C] Proc of the 19th Int Conf on System Theory, Control and Computing. Piscataway, NJ: IEEE, 2015: 785-790

[21]Lin Tsungyi, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C] Proc of IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 936-944

[22]Shi Zenglin, Ye Yangdong, Wu Yunpeng, et al. Crowd counting using ranking-based spatial pyramid pooling network[J]. Acta Automatica Sinica, 2016, 42(6): 866-874 (in Chinese)(时增林, 叶阳东, 吴云鹏, 等. 基于序的空间金字塔池化网络的人群计数方法[J]. 自动化学报, 2016, 42(6): 866-874)

[23]Zhang Zhiwei, Yan Junjie, Liu Sifei, et al. A face antispoofing database with diverse attacks[C] Proc of the 5th IAPR Int Conf on Biometrics. Piscataway, NJ: IEEE, 2012: 26-31

[24]Costa-Pazo A, Bhattacharjee S, Vazquez-Fernandez E, et al. The replay-mobile face presentation-attack database[C] Proc of the Int Conf on Biometrics Special Interests Group. Piscataway, NJ: IEEE, 2016: 209-216

[25]Tan Xiaoyang, Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions[J]. IEEE Transactions on Image Processing, 2010, 19(6): 1635-1650

[26]Zhang Lebin, Peng Fei, Qin Le, et al. Face spoofing detection based on color texture Markov feature and support vector machine recursive feature elimination[J]. Journal of Visual Communication and Image Representation, 2018, 51: 112-121

[27]Tian Ye, Xiang Shijun. LBP and multilayer DCT based anti-spoofing countermeasure in face liveness detection[J]. Journal of Computer Research and Development, 2018, 55(3): 643-650 (in Chinese)(田野, 项世军. 基于LBP和多层DCT的人脸活体检测算法[J]. 计算机研究与发展, 2018, 55(3): 643-650)

[28]Li Haoling, He Peisong, Wang Shiqi, et al. Learning generalized deep feature representation for face anti-spoofing[J]. IEEE Transactions on Information Forensics & Security, 2018, 13(10): 2639-2652

Research on Face Anti-Spoofing Algorithm Based on DQ_LBP

Shu Xin1, Tang Hui1, Yang Xibei1, Song Xiaoning2, and Wu Xiaojun2

1(School of Computer Science, Jiangsu University of Science and Technology, Zhenjiang, Jiangsu 212003) 2(School of IOT Engineering, Jiangnan University, Wuxi, Jiangsu 214122)

Abstract As face recognition technology has been integrated into human daily life, face spoofing detection as a key step before face recognition has attracted more and more attention. For print attack and video attack, we propose a difference quantization local binary pattern (DQ_LBP) algorithm for refining the feature of traditional local binary pattern (LBP) by quantifying the difference between the value of central pixel and its neighborhood pixels. DQ_LBP can extract the difference information between the local pixels without increasing the original dimension of LBP, and thus be able to describe the local texture features of images more accurately. In addition, we use the spatial pyramid (SP) algorithm to calculate the histogram of DQ_LBP features in different color spaces and cascade them into a unified feature vector, so as to obtain more elaborate local color texture information and spatial structure information from the face sample, thus, the fraud face detection performance of the algorithm in this paper has been further improved. Extensive experiments are conducted on three challenging face anti-spoofing databases (CASIA FASD, Replay-Attack, and Replay-Mobile) and show that our algorithm has better performance compared with the state of the art. Moreover, it has great potential in the application of real-time devices.

Key words face anti-spoofing; local binary pattern(LBP); difference quantization local binary pattern(DQ_LBP); space pyramid; color space

(shuxin@just.edu.cn)

收稿日期：2019-05-31；修回日期： 2020-01-13

基金项目：国家自然科学基金面上项目(61572242,61672265,61876072,61772244)

This work was supported by the General Program of the National Natural Science Foundation of China (61572242, 61672265, 61876072, 61772244).

中图法分类号 TP391

Shu Xin, born in 1979. PhD, associate professor. His main research interests include pattern recognition, face recognition, and computer vision.

Tang Hui, born in 1994. Master. Her main research interests include face recognition and multimedia information security.

Yang Xibei, born in 1980. PhD, professor. His main research interests include rough set, granular computing and data mining.

Song Xiaoning, born in 1975. PhD, professor. His main research interests include pattern recognition, face recognition, and computer vision.

Wu Xiaojun, born in 1967. PhD, professor and PhD supervisor. Senior member of CCF. His main research interests include pattern recognition, computer vision, fuzzy systems, neural networks, and intelligent systems.