本发明涉及人脸识别领域，特别涉及一种防止非活体攻击的人脸识别方法。
背景技术：
随着深度学习模型在2d人脸识别领域的普遍使用，2d人脸识别技术已能达到在大规模个体和照片情况下准确识别个体的效果。例如在megaface挑战中，insightface模型可以在百万其他人照片干扰的情况下识别同一个人的不同照片，准确率达到96%以上，远超人类水平。但是，现有的2d人脸识别技术也有它的缺点——2d人脸识别无法区分真人人脸和人脸照片、人脸视频、人脸面具等伪人脸，容易受到非活体的攻击。
针对2d人脸识别的缺陷，市面上出现了3d人脸识别方案，如采用tof或结构光摄像头采集人脸深度信息，辅助2d人脸识别的技术方案。但该方案的思路主要是采用2d人脸识别技术进行人脸识别，再采用深度信息进行活体验证，因此仅能防范照片、视频等平面非活体攻击，在遇到面具或类似面具道具攻击时就失去了验证效果，例如在遭遇带个体a戴上个体b的面具时，该“3d”人脸识别方案就会失效——会将个体a误识别成个体b。
为此，我们提出一种防止非活体攻击的人脸识别方法，区别于传统的2d人脸识别，加入3d人脸识别模型可基于深度信息提取不同人脸的曲面特征，可在2d人脸识别基础上对抗照片、视频等平面攻击。且不同于之前的3d防伪验证模型，本发明的3d人脸识别模型具备独立的人脸识别功能。
技术实现要素：
本发明的主要目的在于提供一种防止非活体攻击的人脸识别方法，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种防止非活体攻击的人脸识别方法，包括以下步骤：
步骤一：训练2d人脸识别模型和3d人脸识别模型；
步骤二：对人脸进行录入；
步骤三：对人脸进行识别，
在对人脸进行识别时，通过测温热成像模块判定检测人脸是真实人脸还是立体模型人脸，并结合2d与3d人脸识别模型进行联合判断。
进一步的，所述2d人脸数据为普通的rgb人脸图像，3d人脸数据为从点云提取出的深度图以及深度图进行后处理的伪rgb数据，所述步骤一中2d人脸识别模型和3d人脸识别的训练流程如下：首选，准备裁剪好的人脸数据，以及其各自对应的人物标签，不同的标签代表不同的人，同一个人有一张或者多张人脸照片数据；然后，使用resent50作为主干网络，使用arcfaceloss作为损失函数，计算网络输出与标签之间的损失，其具体公式为：
其次，将数据输入网络后，使用梯度下降法迭代网络参数，使网络输出的人物分类与标签一致；最后，在模型训练完成后，将网络最后的分类层去掉，将前一层输出的featuremap作为人脸特征，实现不同的人脸对比，对两个featuremap分别命名为x和y，计算两个featuremap间的欧式距离，公式为：
同一个人的人脸featuremap之间相似，其距离较近，不同人的人脸featuremap相异，其距离较远。
进一步的，所述步骤二中对人脸进行录入时，同时采集当前待录入个体的rgb人脸和深度图数据，并将rgb人脸输入到2d人脸识别模型、深度图人脸经过预处理之后输入到3d人脸识别模型，分别计算出2d人脸特征向量和3d人脸识别特征向量，保存该特征值进入人脸库作为该个体被识别的基准。
进一步的，所述步骤三对人脸进行识别时，同时采集当前个体的rgb人脸图像和深度图数据，将rgb人脸输入到2d人脸识别，深度图经过预处理后输入到3d人脸识别模型，并分别计算出2d人脸特征向量和3d人脸识别特征向量，再将该个体的2d特征向量与人脸库中的所有2d特征向量计算欧氏距离、该个体的3d特征向量与人脸库中的所有3d特征向量计算欧氏距离，将两个距离加权求和，得到联合特征向量距离（简称“联合距离”），联合距离公式为：
进一步的，若该个体与人脸库中联合距离最小的个体、其距离值低于预先设定的距离阈值，则认为该个体与人脸库中联合距离最小的个体为同一人，视为识别成功；若与人脸库中的所有个体之间的联合距离都大于距离阈值，则认为该个体不在人脸库中，视为识别失败。
与现有技术相比，本发明具有如下有益效果：
1、此方法采用的3d人脸识别模型区别于一般的3d防伪或验证模型，其不仅具备活体检测的功能，还具备独立人脸识别的能力；
2、区别于rgb-d单模型，本方案采用2d与3d人脸识别模型联判的方式，提高单一3d人脸识别模型的识别性能和适用规模；
3、通过加入热成像模块，提高对面具攻击的免疫能力，与2d、3d模型共同形成多模态人脸识别方案，可防止包含平面、曲面等多种攻击方式。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种防止非活体攻击的人脸识别方法的训练流程图；
图2为本发明一种防止非活体攻击的人脸识别方法的识别流程图；
图3为本发明一种防止非活体攻击的人脸识别方法的rgb图像示例图、深度图示例图和由深度图转换的伪rgb图示例图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸，对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的，基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本发明保护的范围。
实施例1
如图1-3所示，一种防止非活体攻击的人脸识别方法，包括以下步骤：
步骤一：训练2d人脸识别模型和3d人脸识别模型；
步骤二：对人脸进行录入；
步骤三：对人脸进行识别，
在对人脸进行识别时，通过测温热成像模块判定检测人脸是真实人脸还是立体模型人脸，并结合2d与3d人脸识别模型进行联合判断。
2d人脸数据为普通的rgb人脸图像，3d人脸数据为从点云提取出的深度图以及深度图进行后处理的伪rgb数据，所述步骤一中2d人脸识别模型和3d人脸识别的训练流程如下：首选，准备裁剪好的人脸数据，以及其各自对应的人物标签，不同的标签代表不同的人，同一个人有一张或者多张人脸照片数据；然后，使用resent50作为主干网络，使用arcfaceloss作为损失函数，计算网络输出与标签之间的损失，其具体公式为：
其次，将数据输入网络后，使用梯度下降法迭代网络参数，使网络输出的人物分类与标签一致；最后，在模型训练完成后，将网络最后的分类层去掉，将前一层输出的featuremap作为人脸特征，实现不同的人脸对比，对两个featuremap分别命名为x和y，计算两个featuremap间的欧式距离，公式为：
同一个人的人脸featuremap之间相似，其距离较近，不同人的人脸featuremap相异，其距离较远。
步骤二中对人脸进行录入时，同时采集当前待录入个体的rgb人脸和深度图数据，并将rgb人脸输入到2d人脸识别模型、深度图人脸经过预处理之后输入到3d人脸识别模型，分别计算出2d人脸特征向量和3d人脸识别特征向量，保存该特征值进入人脸库作为该个体被识别的基准。
步骤三对人脸进行识别时，同时采集当前个体的rgb人脸图像和深度图数据，将rgb人脸输入到2d人脸识别，深度图经过预处理后输入到3d人脸识别模型，并分别计算出2d人脸特征向量和3d人脸识别特征向量，再将该个体的2d特征向量与人脸库中的所有2d特征向量计算欧氏距离、该个体的3d特征向量与人脸库中的所有3d特征向量计算欧氏距离，将两个距离加权求和，得到联合特征向量距离（简称“联合距离”），联合距离公式为：
若该个体与人脸库中联合距离最小的个体、其距离值低于预先设定的距离阈值，则认为该个体与人脸库中联合距离最小的个体为同一人，视为识别成功；若与人脸库中的所有个体之间的联合距离都大于距离阈值，则认为该个体不在人脸库中，视为识别失败。
通过采用上述技术方案：此方法采用的3d人脸识别模型区别于一般的3d防伪或验证模型，其不仅具备活体检测的功能，还具备独立人脸识别的能力；区别于rgb-d单模型，本方案采用2d与3d人脸识别模型联判的方式，提高单一3d人脸识别模型的识别性能和适用规模，通过加入热成像模块，提高对面具攻击的免疫能力，与2d、3d模型共同形成多模态人脸识别方案，可防止包含平面、曲面等多种攻击方式。
实施例2
如图1-3所示，一种防止非活体攻击的人脸识别方法，完整流程如下：
s1、准备数据：整理大量id数据，一个id对应一个人物，每个id包含该人物多张人脸数据；
s2、模型准备：准备模型（如resnet50），设置训练的损失函数为arcfaceloss；
s3、模型训练：将数据输入模型（如resnet50）进行训练，使用梯度下降法迭代使网络收敛；
s4、模型提取：将训练好的网络去掉最后一层分类层，剩余部分作为人脸featuremap提取器；
s5、录入新人脸：输入人脸图像，经模型提取为featuremap存入人脸库（人脸库包含n个id）；
s6、识别人脸：输入某个id的人脸图像，经模型提取为featuremap，与人脸库中的featuremap进行比对，计算欧式距离并输出；
s7、判断最小距离是否小于阈值，若是则执行步骤s8，否则执行步骤s9；
s8、判断人脸中是否有该id，若是则表示正确识别，则该距离最小的id即与输入人脸是同一个人；若否则表示误识，错误地把不属于人脸库中的人脸识别成了人脸库中的人脸；
s9、判断人脸库中是否有该id，若是则错误拒识，人脸库中有该id但没认出来；若否则正确拒识，正确拒绝了人脸库中不存在的人脸。
联合模型既克服了3d人脸识别模型识别规模小的问题，又摆脱了2d人脸识别模型无法区分真人与照片、视频的局限，形成具备大规模识别和抵抗平面攻击能力的模型，在此基础上，再加入红外测温传感器检测人脸关键区域的温度值，作为进一步活体检测的验证手段，加强了对抗面具等曲面攻击的能力。
实施例3
当在对人脸进行识别的过程中，假设3d人脸模型出现误识别，联合识别纠正结果如表所示：
联合识别模型具备高性能的理论依据：
当3d人脸识别模型因识别规模较小、从而在大规模人群识别过程中出现误识别时，将由识别规模更广的2d人脸识别模型进行纠正。因为不同个体之间的2d距离之差要大于3d模型误识别时错误id与正确id之间的距离之差，这样即使3d模型出现了误识别，联合距离最小的个体依然将会是被正确识别的个体，与此同时，3d人脸识别模型计算出的真人与平面之间距离将远远大于真人与真人之间的距离，因此联合模型又天然具备抗照片、视频攻击的能力。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
1.一种防止非活体攻击的人脸识别方法，其特征在于，包括以下步骤：
步骤一：训练2d人脸识别模型和3d人脸识别模型；
步骤二：对人脸进行录入；
步骤三：对人脸进行识别，
在对人脸进行识别时，通过测温热成像模块判定检测人脸是真实人脸还是立体模型人脸，并结合2d与3d人脸识别模型进行联合判断。
2.根据权利要求1所述的一种防止非活体攻击的人脸识别方法，其特征在
于：所述2d人脸数据为普通的rgb人脸图像，3d人脸数据为从点云提取出的深度图以及深度图进行后处理的伪rgb数据，所述步骤一中2d人脸识别模型和3d人脸识别的训练流程如下：首选，准备裁剪好的人脸数据，以及其各自对应的人物标签，不同的标签代表不同的人，同一个人有一张或者多张人脸照片数据；然后，使用resent50作为主干网络，使用arcfaceloss作为损失函数，计算网络输出与标签之间的损失，其具体公式为：
其次，将数据输入网络后，使用梯度下降法迭代网络参数，使网络输出的人物分类与标签一致；最后，在模型训练完成后，将网络最后的分类层去掉，将前一层输出的featuremap作为人脸特征，实现不同的人脸对比，对两个featuremap分别命名为x和y，计算两个featuremap间的欧式距离，公式为：
同一个人的人脸featuremap之间相似，其距离较近，不同人的人脸featuremap相异，其距离较远。
3.根据权利要求1所述的一种防止非活体攻击的人脸识别方法，其特征在
于：所述步骤二中对人脸进行录入时，同时采集当前待录入个体的rgb人脸和深度图数据，并将rgb人脸输入到2d人脸识别模型、深度图人脸经过预处理之后输入到3d人脸识别模型，分别计算出2d人脸特征向量和3d人脸识别特征向量，保存该特征值进入人脸库作为该个体被识别的基准。
4.根据权利要求1所述的一种防止非活体攻击的人脸识别方法，其特征在
于：所述步骤三对人脸进行识别时，同时采集当前个体的rgb人脸图像和深度图数据，将rgb人脸输入到2d人脸识别，深度图经过预处理后输入到3d人脸识别模型，并分别计算出2d人脸特征向量和3d人脸识别特征向量，再将该个体的2d特征向量与人脸库中的所有2d特征向量计算欧氏距离、该个体的3d特征向量与人脸库中的所有3d特征向量计算欧氏距离，将两个距离加权求和，得到联合特征向量距离，联合距离公式为：
5.根据权利要求4所述的一种防止非活体攻击的人脸识别方法，其特征在
于：若该个体与人脸库中联合距离最小的个体、其距离值低于预先设定的距离阈值，则认为该个体与人脸库中联合距离最小的个体为同一人，视为识别成功；若与人脸库中的所有个体之间的联合距离都大于距离阈值，则认为该个体不在人脸库中，视为识别失败。
技术总结