一种基于多模态数据的静默活体检测方法与流程

1.本发明涉及活体检测方法，特别涉及一种基于多模态数据的静默活体检测方法。


背景技术：

2.活体检测是在一些身份验证场景确定对象真实生理特征的方法，可以有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。静默活体检测只需要求用户实时拍摄一张照片或一段人脸视频，就可以进行真人活体校验。
3.现有的静默活体检测方法多是基于单一模态数据情况下进行，没有考虑不同模态数据之间的表征差异，致使检测精度较低；即使在使用多模态数据时，也只是针对不同传感器获得的图像数据做简单的叠加处理，忽略了活体数据在不同传感器之间的关联性，没有将不同的图像数据进行数据层的融合，进而降低了活体检测的精度。


技术实现要素：

4.发明目的：针对以上问题，本发明目的是提供一种基于多模态数据的静默活体检测方法，考虑了rgb图像、红外图像及深度图像三个模态数据，提高活体检测精度。
5.技术方案：本发明的一种基于多模态数据的静默活体检测方法，包括：
6.(1)利用传感器采集人脸rgb图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；
7.(2)建立特征提取网络，特征提取网络包括卷积层，利用特征提取网络对步骤1中人脸区域图进行特征提取，得到rgb图像、红外图像和深度图像的卷积特征图；
8.(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合，得到多模态融合特征图；
9.(4)利用深度神经网络提取多模态融合特征图的特征向量；
10.(5)对步骤4的特征向量进行处理，输出活体分类的结果，包括活体和非活体。
11.进一步，步骤1进行人脸区域抠图后分别对三种人脸区域图进行仿射变换。
12.进一步，步骤2特征提取网络包括4个卷积层，每个卷积层使用激活函数，4个卷积层依次对每个模态数据进行处理。
13.进一步，步骤4包括：先将多模态融合特征图输入第一全连接层，得到第一全连接层特征向量；再将第一全连接层特征向量输入到第二全连接层，得到第二全连接层特征向量。
14.进一步，步骤5利用分类算法函数对第二全连接层特征向量进行分类，得出二元分类结果，输出值为0或1，对输出值进行判断，如果为0，则检测结果为非活体；如果为1，则检测结果为活体。
15.有益效果：本发明与现有技术相比，其显著优点是：本发明利用rgb图像、深度图像和红外图像三种模态数据对人脸进行活体检测，提高活体判别精度；利用多模态数据进行
活体判别，将不同硬件的信息融合后提升活体判别效果。
附图说明
16.图1为特征提取网络示意图；
17.图2为多模态数据融合和处理流程图。
具体实施方式
18.本实施例所述的一种基于多模态数据的静默活体检测方法，包括：
19.(1)利用传感器采集人脸rgb图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；
20.(11)对rgb图像进行人脸区域抠图并进行仿射变换，最终的rgb图像数据大小为224*224像素；
21.(12)对红外图像进行人脸区域抠图并进行仿射变换，最终的红外图像数据大小为224*224像素；
22.(13)对深度图像进行人脸区域抠图并进行仿射变换，最终的深度图像数据大小为224*224像素。
23.(2)建立特征提取网络，特征提取网络包括4个卷积层，如图1所示，每个卷积层使用激活函数，4个卷积层依次对每个模态数据进行处理。利用特征提取网络对步骤1中人脸区域图进行特征提取，得到rgb图像、红外图像和深度图像的卷积特征图分别为f1、f2、f3；
24.其中卷积层包括：
25.第一卷积层：卷积核大小11*11，卷积核数量为94，步长为4，使用relu激活；
26.第二卷积层：卷积核大小5*5，卷积核数量为256，步长为1，使用relu激活；
27.第三卷积层：卷积核大小3*3，卷积核数量为384，步长为1，使用relu激活；
28.第四卷积层：卷积核大小为1*1，卷积核数量为64，步长为1，使用relu激活。
29.(3)将步骤2中三个卷积特征图f1、f2和f3利用深度神经网络进行数据层面的融合，得到多模态融合特征图f，如图2所示。
30.(4)利用深度神经网络提取多模态融合特征图的特征向量：
31.先将多模态融合特征图输入第一全连接层fc1，全连接通道数为256，得到第一全连接层特征向量f
‑
fc1；再将第一全连接层特征向量输入到第二全连接层fc2，全连接通道数为128，得到第二全连接层特征向量f
‑
fc2。
32.(5)利用softmax算法对第二全连接层特征向量f
‑
fc2进行分类，得出二元分类结果score，score值为0或1，对score值进行判断，如果为0，则检测结果为非活体；如果为1，则检测结果为活体。

技术特征：
1.一种基于多模态数据的静默活体检测方法，其特征在于，包括：(1)利用传感器采集人脸rgb图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；(2)建立特征提取网络，特征提取网络包括卷积层，利用特征提取网络对步骤1中人脸区域图进行特征提取，得到rgb图像、红外图像和深度图像的卷积特征图；(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合，得到多模态融合特征图；(4)利用深度神经网络提取多模态融合特征图的特征向量；(5)对步骤4的特征向量进行处理，输出活体分类的结果，包括活体和非活体。2.根据权利要求1所述的静默活体检测方法，其特征在于，步骤1进行人脸区域抠图后分别对三种人脸区域图进行仿射变换。3.根据权利要求2所述的静默活体检测方法，其特征在于，步骤2特征提取网络包括4个卷积层，每个卷积层使用激活函数，4个卷积层依次对每个模态数据进行处理。4.根据权利要求3所述的静默活体检测方法，其特征在于，步骤4包括：先将多模态融合特征图输入第一全连接层，得到第一全连接层特征向量；再将第一全连接层特征向量输入到第二全连接层，得到第二全连接层特征向量。5.根据权利要求4所述的静默活体检测方法，其特征在于，步骤5利用分类算法函数对第二全连接层特征向量进行分类，得出二元分类结果，输出值为0或1，对输出值进行判断，如果为0，则检测结果为非活体；如果为1，则检测结果为活体。
技术总结
本发明公开了一种基于多模态数据的静默活体检测方法，包括：(1)利用传感器采集人脸RGB图像、红外图像和深度图像，抠出三种原始图像中人脸区域图；(2)建立特征提取网络，利用特征提取网络对步骤1中人脸区域图进行特征提取，得到RGB图像、红外图像和深度图像的卷积特征图；(3)将步骤2中三个卷积特征图利用深度神经网络进行数据层面的融合，得到多模态融合特征图；(4)利用深度神经网络提取多模态融合特征图的特征向量；(5)对特征向量进行处理，输出活体分类的结果。本发明利用RGB图像、深度图像和红外图像三种模态数据对人脸进行活体检测，提高活体判别精度；将不同硬件的信息融合后提升活体判别效果。升活体判别效果。


技术研发人员：冯偲
受保护的技术使用者：的卢技术有限公司
技术研发日：2021.04.26
技术公布日：2021/6/29