一种静默活体检测方法与流程

1.本发明涉及人脸活体检测领域，具体涉及一种静默活体检测方法。


背景技术：

2.亟需在现有设备条件下，以有限的成本将静默活体检测引入到系统中，从而提升系统的安全性。但是现有算法普遍将人脸活体检测视为二分类任务，忽略了不同非活体攻击图像之间的差异以及类别不均衡问题对模型学习的不利影响，训练得到的模型往往泛化性能不足，难以应用到复杂多变的实际场景中。


技术实现要素：

3.为解决上述问题，本发明公开了发明目的：本发明的目的在于解决现有基于二分类的静默活体检测方法中存在的不足，提供一种能够降低分类错误率、提升泛化性能的面向社区矫正对象的静默活体检测方法。
4.本发明所述的一种静默活体检测方法，依次包括以下顺序执行的步骤：
5.(1)输入数据的预处理：
6.(1.1)现有训练数据样本通常为视频格式，而本发明采取单帧图片输入的形式，为了充分利用视频中的所有有效图片数据，模型在训练过程中，每一轮随机从视频中抽取一帧有效人脸图片，并对图片进行一系列图像增强处理，从而得到固定大小的输入图像；
7.(1.2)验证和测试过程对数据处理操作一致，从视频中的有效图片数据中选取最中间的一帧图片，并经过缩放得到固定大小的输入图像；
8.(2)双流特征融合网络模型的构建。非活体欺诈图像是由活体图像二次采集得到，导致非活体欺诈样本的图像质量下降，不同类别样本图像的梯度和色彩特征存在差异。对此，本发明通过深度可分离卷积并结合注意力机制思想将梯度和色彩信息融入进网络结构之中，构建出一个双流特征融合网络模型，对依据步骤(1)所述得到的输入图像进行特征提取。模型的训练过程如下：
9.(2.1)将图像转换到rgb色彩空间表示，训练得到基于rgb 色彩空间输入图像的梯度卷积网络预训练模型；
10.(2.2)将图像转换到ycrcb色彩空间表示，训练得到基于ycrcb 色彩空间输入图像的梯度卷积网络预训练模型；
11.(2.3)将两个预训练模型参数分别赋给双流特征融合网络的两个分支，接着进一步对整个网络进行参数调整。
12.(3)多分类损失学习策略的选择。本发明分析不同非活体欺诈图像的特征差异，将非活体类别细分成打印攻击和展示攻击两种类别，视活体检测为多分类任务，利用交叉熵损失监督网络模型学习，使得模型更为关注类间差异和类内共性特征学习，降低数据采集环境特征的影响，最终学习到的分类特征表征更为准确。
13.本发明的有益效果：
14.(1)基于单帧图像实现真伪活体判别，无需额外辅助设备和人机交互，成本低廉、用户体验好；
15.(2)采取多分类交叉熵损失监督模型训练，能够均衡类别样本数目的差异，提升模型对类间差异和类内共性特征的学习，降低数据采集环境特征的影响，提升模型的泛化性能；
16.(3)利用深度可分离卷积将sobel梯度算子融入卷积神经网络，对模型参数量和计算量的增加较小，但提升了模型对图像梯度特征的学习；同时，结合图像通道注意力机制，将从rgb色彩空间和ycrcb 色彩空间分别提取到的图像特征进行自适应融合，依据具体输入图像对特征进行合理权重调整，使得最终的分类特征表征信息更为准确丰富，降低了模型的分类错误率并提升泛化性能。
附图说明
17.图1为本发明所述静默活体检测方法的示意图；
18.图2为输入数据预处理的示意图；
19.图3为sobel梯度卷积特征提取网络的示意图；
20.图4为双流特征融合网络模型的结构示意图；
21.图5为自适应特征融合子模块的结构示意图。
具体实施方式
22.下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
23.如图1所示，本实施例的一种静默活体检测方法，依次包括以下顺序执行的步骤：
24.1.输入数据预处理
25.数据预处理流程如图2所示，具体步骤如下：
26.(1)将视频流分割成独立的单帧图片，并利用dlib库中的人脸检测算法对图片进行人脸检测，记录每张图片中的人脸位置信息，过滤掉不存在人脸信息的无效图片；
27.(2)为了充分利用视频中的有效人脸图片，在每一轮(epoch) 训练时从视频流中随机挑选一张有效人脸图片输入到特征提取网络中，在验证或测试时，从视频流中固定选择最中间的有效人脸图片；
28.(3)为了降低数据数据采集环境特征的影响，在训练时对图像进行多种图像增强操作，包括：对图像的每一个通道进行小范围内的数值扰动，根据图像中的人脸区域位置随机进行缩小或扩大(0.8
‑
1.2) 并裁剪，缩放至114
×
114的固定大小，随机擦除图像中一块10
×
10 至25
×
25大小的区域；在测试时，仅仅需要将图像按照人脸位置进行裁剪并缩放至114
×
114固定大小。
29.2.双流特征融合网络构建
30.鉴于二次采集导致人脸图像的梯度和色彩特征差异，本发明构建了一个双流特征融合网络模型。该模型利用设计的梯度卷积特征提取网络对从rgb和ycrcb色彩空间输入图
像进行特征提取，并经过设计的自适应特征融合子模块实现特征的自适应融合，进而得到表征更为准确丰富的图像分类特征。双流特征融合网络的结构如图4所示，具体结构说明如下：
31.(1)针对不同类别人脸图像的梯度差分特征差异，本发明选择 sobel梯度算子并将其融入卷积过程，以深度可分离卷积的形式构建了sobel梯度卷积，卷积过程如图3所示，整个卷积包含两个计算过程，前半部分输入特征图中各个通道独立的卷积运算称之为 depthwise convolution，用于独立提取各个通道的图像特征；后半部分采取多个不同的1
×
1卷积核对所有通道进行组合得到输出特征图，该过程称之为pointwise convolution。具体过程为：首先，输入特征图拆分成一个个独立的单通道特征图；然后，分别与同样数目的卷积核一一进行卷积运算；接着，将进行卷积运算之后的多个特征图合并成多通道特征图，其中，sobel梯度算子需要分别提取水平和竖直梯度信息，构建了两个depthwise convolution分支；最后，与多个大小为1
×
1的卷积核进行运算，得到最终的输出特征图。
32.(2)首先，将(1)中所述的sobel梯度卷积和普通卷积相加结合得到组合卷积；然后，将三个组合卷积堆叠后接一个最大池化层得到卷积子模块；接着，采取现有活体检测方法中普遍采取的低、中、高三层特征依次连接的方式，构建出梯度卷积特征提取网络；最后， rgb色彩空间图像和ycrcb色彩空间图像分别经过梯度卷积特征提取网络，得到表征信息存在差异性与互补性的两种特征，并经过自适应特征融合子模块，将特征按照通道重要程度的不同在相加融合前进行激发或抑制，进而得到最终的特征表示形式。
33.(3)自适应特征融合子模块的结构如图5所示。该过程借鉴于图像通道注意力机制的思想，利用梯度卷积特征提取网络得到的特征向量最后是经过全局平均池化层得到512维特征向量，向量每一维来自于特征图的一个通道，类似图像通道注意力实现过程，依照各个通道的重要程度对特征向量进行激发或抑制，最后再将两个特征向量相加融合，计算过程如下式所示：
34.f＝∑
i
w
i
⊙
f
i
ꢀꢀꢀꢀ
(1)
[0035][0036]
scale
i
＝param
key
⊙
f
i
ꢀꢀ
(3)
[0037]
3.多分类损失学习策略选择
[0038]
由于现有研究都将人脸活体检测当作一个二分类任务，忽略了不同非活体攻击方式之间的差异以及类别不均衡问题对模型学习的不利影响。对此，本发明提出了一种基于多分类交叉熵损失监督网络模型学习的方案，用于克服二分类和样本不均衡问题，提高模型对非活体识别的精准度。具体内容描述如下：
[0039]
(1)针对打印攻击和展示攻击两种生活中常见的非活体攻击手段，其中，打印攻击，通过将合法用户的人脸图像打印在纸张上，采取弯曲、旋转打印照片或者将剪掉眼睛鼻子嘴巴区域的打印照片放在活体用户面前的欺诈方式，模拟真实人脸的面部动作，试图欺骗人脸识别系统；展示攻击，通过将不合法手段获得到的人脸电子照片或视频展示在电子设备屏幕上试图欺骗人脸识别系统。考虑到不同非活体攻击带来的图像特征差异以及现有数据集样本数目较少，本发明将非活体类别细分成打印攻击和展示攻击两类。在实际应用
中，随着非活体图像数目的不断积累，可以依据图像特征差异进一步细分类别，能够进一步提升算法的分类性能。
[0040]
(2)非活体人脸样本是由活体人脸样本采取多种欺诈手段二次采集得到，一个正样本对应多个负样本，在采取二分类策略时类别样本不均衡问题明显，类别不均衡会影响模型的学习性能。将活体检测从二分类任务转换成多分类任务，通过细分非活体样本类别，能够均衡各类别样本的数目比例；同时，使得模型更为关注类比见的差异学习，避免学习到过多的数据采集环境特征，进而提升模型的泛化性能、降低分类错误率。
[0041]
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。