本发明属于图像生成技术领域，具体涉及一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统。
背景技术：
人脸识别本质上是一种识别不合作对象的被动生物识别技术，现实无约束环境中由于姿态变化、光照、表情和遮挡等因素极大的降低了人脸识别的精度。尽管由于深度卷积神经网络能够对图像特征进行很强的表示，事实证明以上存在的一系列问题对人脸识别的最终性能存在很大影响，尤其是当姿态存在较大的变化时，特别是当人脸偏转角接近90°时，此时人脸识别的准确率迅速下降。人脸校正再识别目前能够较好的提升在大角度姿态下的人脸识别准确率。人脸校正再识别的一般流程为给一张侧脸图像，通过一个模型生成其对应身份的正脸图像，然后再与人脸底库中的正脸图像进行验证比对。
借助于生成对抗网络强大的生成能力，衍生出了一系列基于生成对抗网络进行人脸校正的方法。在较大偏转角下，由于自遮挡造成二维人脸图像上对应语义的丢失以及人脸纹理形状随姿态变化发生较大形变，导致侧脸图像生成对应身份的正脸图像难度较大，生成的正脸图像在五官局部区域上与真实正脸图像的一致性并不好。
技术实现要素：
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统，第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像；第二阶段使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。
本发明采用以下技术方案：
一种基于两阶段掩码指导的生成对抗网络人脸校正方法，其特征在于，包括以下步骤：
s1、构建不同偏转角下成对的侧脸ip和正脸if图像对作为训练集；
s2、使用离线预训练的人脸解析网络对步骤s1构建的侧脸ip-正脸if图像对提取五官掩码图像，分别得到侧脸五官掩码图像mp和正脸五官掩码图像mf；
s3、构造基于侧脸五官掩码图像mp生成对应正脸五官掩码图像mf的生成对抗网络，其中，生成对抗网络包括生成器网络gm和判别器网络dm，使用步骤s2中的成对的侧脸五官掩码图像mp和正脸五官掩码图像mf进行训练；
s4、构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络g、判别器网络d和人脸特征提取网络b；使用步骤s1中成对的侧脸ip和正脸if图像对生成对抗网络进行训练，训练阶段使用步骤s2中真实的侧脸五官掩码图像mp和正脸五官掩码图像mf，测试阶段使用侧脸图像经过步骤s3的生成对抗网络生成对应正脸的五官掩码图像；
s5、输入侧脸图像至步骤s2中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至步骤s3中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至步骤s4中的生成对抗网络生成正脸图像，实现人脸校正。
具体的，步骤s1中，侧脸图像ip的偏转角由-90°以15°为间隔变化至 90°，包含13种人脸偏转角，将偏转角为0°的人脸图像作为正脸图像if。
具体的，步骤s2中，将眉毛、眼睛、眼镜、鼻子和嘴巴对应的像素灰度值设置为0，剩余语义类别设置为255，得到人脸的五官掩码图像。
具体的，步骤s3中，对构造的基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络进行训练具体为：
构造针对生成的正脸五官掩码图像
进一步的，借助批随机梯度下降方法对判别器网络dm、生成器网络gm依次进行交替训练具体为：
s301、设置训练批次大小n＝32和迭代次数t＝50，以及损失函数中包含的三种权重参数
s302、侧脸五官掩码图像-正脸五官掩码图像对中随机采样一个批次n个样本
s303、通过批随机梯度下降的方法更新判别器网络dm；
s304、通过批随机梯度下降的方法更新生成器网络gm；
s305、重复步骤s302至步骤s304，直到达到迭代次数t；
s306、输出训练完成的生成器网络gm的权值
具体的，步骤s3中，生成器网络gm包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；输入层为128×128×3大小的图像，输出层大小为128×128×3的图像；
生成器网络gm的输入为侧脸五官掩码图像mp，输出为正面化五官掩码图像
判别器网络dm包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；输入层的输入为128×128×1大小的图像,输出是一个标量；
判别器网络dm的输入为真实的正脸五官掩码图像mf和生成的正脸五官掩码图像
具体的，步骤s4中，对构造的基于正脸五官掩码图像指导生成正脸图像的生成对抗网络进行训练具体为：
构造针对生成的正脸图像
进一步的，借助批随机梯度下降方法对判别器网络d、生成器网络g依次进行交替训练具体为：
s401、设置训练批次大小n＝32和迭代次数t＝200，以及损失函数中包含的五种权重参数λ1＝10、λ2＝0.1、λ3＝100、λ4＝0.3和λ5＝0.0001；
s402、侧脸-正脸图像对中随机采样一个批次n个样本
s403、通过批随机梯度下降的方法更新判别器网络d；
s404、通过批随机梯度下降的方法更新生成器网络g；
s405、重复步骤s402至步骤s404，直到达到迭代次数t；
s406、输出训练完成的生成器网络g的权值θg、判别器网络d的权值θd；
s407、将测试集中的侧脸图像输入步骤s2中网络的生成器gm生成正面化五官掩码图像，将侧脸图像和正面化五官掩码图像级联输入步骤s3中网络的生成器g中生成正脸图像。
具体的，步骤s4中，生成对抗网络包括生成器网络g、判别器网络d和人脸特征提取网络b，生成器网络g包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；
生成器网络g的输入为侧脸图像ip和对应正脸的五官掩码图像mf的级联，输出为正脸图像
判别器网络d包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；
判别器d的输入分别为生成的正脸图像
本发明的另一技术方案是，一种基于两阶段掩码指导的生成对抗网络人脸校正系统，包括：
构建模块，构建不同偏转角下成对的侧脸ip和正脸if图像对作为训练集；
提取模块，使用离线预训练的人脸解析网络对构建模块构建的侧脸ip-正脸if图像对提取五官掩码图像，分别得到侧脸五官掩码图像mp和正脸五官掩码图像mf；
训练模块，构造基于侧脸五官掩码图像mp生成对应正脸五官掩码图像mf的生成对抗网络，其中，生成对抗网络包括生成器网络gm和判别器网络dm，使用提取模块中的成对的侧脸五官掩码图像mp和正脸五官掩码图像mf进行训练；
网络模块，构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络g、判别器网络d和人脸特征提取网络b；使用构建模块中成对的侧脸ip和正脸if图像对生成对抗网络进行训练，训练阶段使用提取模块中真实的侧脸五官掩码图像mp和正脸五官掩码图像mf，测试阶段使用侧脸图像经过训练模块的生成对抗网络生成对应正脸的五官掩码图像；
校正模块，输入侧脸图像至提取模块中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至训练模块中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至网络模块中的生成对抗网络生成正脸图像，实现人脸校正。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于两阶段掩码指导的生成对抗网络人脸校正方法，第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像，学习侧脸五官轮廓到其正脸五官轮廓的转换，不包含局部纹理细节，任务学习相对简单；第二阶段使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性，第一阶段生成的正面化五官掩码图像能够约束第二阶段生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节。使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。
进一步的，构建不同偏转角下成对的侧脸和正脸图像对，侧脸图像的偏转角由-90°以15°为间隔变化至 90°，将偏转角为0°的人脸图像作为正脸图像，用于后续两阶段掩码指导的生成对抗网络的训练。。
进一步的，使用离线预训练的人脸解析网络对步骤s1的侧脸-正脸图像对提取五官掩码图像，将眉毛、眼睛、眼镜、鼻子和嘴巴对应的像素灰度值设置为0，剩余语义类别设置为255，用于后续训练基于侧脸五官掩码图像生成对应身份正脸五官掩码图像的生成对抗网络。
进一步的，构造基于侧脸五官掩码图像生成对应正脸五官掩码图像的生成对抗网络利用步骤s2得到的五官掩码图像进行训练，这一阶段相当于只是生成正脸五官轮廓，不包含局部纹理细节，任务学习相对简单，为后续侧脸图像生成正脸图像的过程提供指导。
进一步的，使用随机梯度下降方法对步骤s3网络中的判别器网络和生成器网络进行交替迭代训练，生成器网络和判别器网络两者相互促进，使得最终生成器能够生成足够逼真的正脸五官掩码图像，同时判别器无法区分输入图像是来自于真实的正脸五官掩码图像还是生成的正脸五官掩码图像。
进一步的，步骤s3网络中的生成器网络采取编码器-解码器结构，编码器由一系列卷积层和两层全连接层构成，解码器由连续的反卷积层模块构成，对于每一个卷积层模块和反卷积层模块，通过残差块来加深网络的深度，提升网络的学习能力。判别器网络由连续的卷积层和两层全连接层构成，用于判别输入图像的真假。
进一步的，构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络利用步骤s1中侧脸-正脸图像对以及步骤s2中提取得到的正脸五官掩码图像进行训练，测试阶段使用侧脸图像经过s3所构造的网络生成对应正脸的五官掩码图像，使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。
进一步的，使用随机梯度下降方法对步骤s4网络中的判别器网络和生成器网络进行交替迭代训练，生成器网络和判别器网络两者相互促进，使得最终生成器能够生成尽可能逼真同时保持身份信息一致性的正脸图像，同时判别器无法区分输入图像是来自于真实的正脸图像还是生成的正脸图像。
进一步的，步骤s4网络中的生成器网络采取编码器-解码器结构，编码器由一系列卷积层和两层全连接层构成，解码器由连续的反卷积层模块构成，对于每一个卷积层模块和反卷积层模块，通过残差块来加深网络的深度，提升网络的学习能力。判别器网络由连续的卷积层和两层全连接层构成，用于判别输入图像的真假。
综上所述，本发明通过将侧脸图像生成正脸图像的过程分为两阶段，在侧脸图像生成正脸图像的过程中添加相应的指导信息，使得生成的正脸图像与真实的正脸图像在五官局部区域能够有更好的一致性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明中第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像的生成对抗网络架构示意图；
图2为本发明中第二阶段基于正脸五官掩码图像指导生成正脸图像的生成对抗网络的网络架构示意图；
图3为针对不同偏转角侧脸图像的校正结果图；
图4为针对在较大偏转角下侧脸图像的校正结果图；
图5为在不同偏转角下与人脸校正相关对比方法的校正结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于两阶段掩码指导的生成对抗网络人脸校正方法，构建不同偏转角下成对的侧脸ip和正脸if图像对作为训练集；使用离线预训练的人脸解析网络对侧脸-正脸图像对提取五官掩码图像；构造并训练基于侧脸五官掩码图像mp生成其正脸五官掩码图像mf的生成对抗网络，该网络包括生成器网络和判别器网络；构造并训练基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，该网络包括生成器网络、判别器网络和人脸特征提取网络。
请参阅图1和图2，本发明一种基于两阶段掩码指导的生成对抗网络人脸校正方法，包括以下步骤：
s1、构建不同偏转角下成对的侧脸ip和正脸if图像对作为训练集；
侧脸图像ip的偏转角由-90°以15°为间隔变化至 90°，共包含13种人脸偏转角，将偏转角为0°的人脸图像作为正脸图像if。
s2、使用离线预训练的人脸解析网络对步骤s1中的侧脸-正脸图像对提取五官掩码图像，分别得到侧脸五官掩码图像mp和正脸五官掩码图像mf；
使用离线预训练的人脸解析网络对人脸图像进行像素级分类，将眉毛、眼睛、眼镜、鼻子和嘴巴这些语义类别对应的像素灰度值设置为0，其他语义类别设置为255，得到人脸的五官掩码图像；
s3、构造基于侧脸五官掩码图像mp生成其正脸五官掩码图像mf的生成对抗网络，其中，生成对抗网络包括生成器网络gm和判别器网络dm，使用步骤s2中的成对的五官掩码图像进行训练；
生成器网络gm包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层；输入层为128×128×3大小的图像，输出层大小为128×128×3的图像；
生成器网络gm的输入为侧脸五官掩码图像mp，输出为正面化五官掩码图像
判别器网络dm包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器；输入层的输入为128×128×1大小的图像,输出是一个标量；
判别器网络dm的输入为真实的正脸五官掩码图像mf和生成的正脸五官掩码图像
对构造的基于侧脸五官掩码图像生成其正脸五官掩码图像的生成对抗网络进行训练的具体方法是：
构造针对生成的正脸五官掩码图像
整体损失函数
其中，
针对生成的正脸五官掩码图像
其中，w、h和c分别代表正脸五官掩码图像的宽、高和通道数。
对抗损失函数
其中，mf和
针对生成的正脸五官掩码图像
其中，w、h和c分别代表正脸五官掩码图像的宽、高和通道数，
借助批随机梯度下降方法，对判别器网络dm、生成器网络gm依次进行交替训练的具体步骤为：
s301、设置训练批次大小n＝32和迭代次数t＝50，以及损失函数中包含的三种权重参数
s302、侧脸五官掩码图像-正脸五官掩码图像对中随机采样一个批次n个样本
s303、通过批随机梯度下降的方法更新判别器网络dm：
s304、通过批随机梯度下降的方法更新生成器网络gm：
s305、重复步骤s302至步骤s304，直到达到迭代次数t；
s306、输出训练完成的生成器网络gm的权值
s4、构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，其中，生成对抗网络包括生成器网络g、判别器网络d和人脸特征提取网络b，使用步骤s1中成对的侧脸ip和正脸if图像对进行训练，其中训练阶段使用步骤s2中真实的正脸五官掩码图像，测试阶段使用侧脸图像经过步骤s3的生成对抗网络生成的正面化五官掩码图像。
生成器网络g包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层、第二全连接层、第一反卷积层、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五卷积层、第六卷积层和输出层。
生成器网络g的输入为侧脸图像ip和其正脸的五官掩码图像mf的级联，输出为正脸图像
判别器网络d包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一全连接层和二分类器。
判别器d的输入分别为生成的正脸图像
对构造的基于正脸五官掩码图像指导生成正脸图像的生成对抗网络进行训练的具体方法是：
构造针对生成的正脸图像
整体损失函数ltotal由针对生成的正脸图像
其中，θg表示生成器网络g的参数，θd表示判别器网络d的参数，λ1、λ2、λ3、λ4和λ5均为超参数，具体地：
针对生成的正脸图像
其中，w、h和c分别代表正脸图像的宽、高和通道数。
对抗损失函数ladv表示为：
其中(if,mf)，
针对生成的正脸图像
其中，bfc表示人脸特征提取网络b倒数第二层全连接层，
针对生成的正脸图像
其中，w、h和c分别代表正脸图像的宽、高和通道数，
针对生成的正脸图像
其中，w、h和c分别代表正脸图像的宽、高和通道数，
借助批随机梯度下降方法，对判别器网络d、生成器网络g依次进行交替训练的具体步骤为：
s401、设置训练批次大小n＝32和迭代次数t＝200，以及损失函数中包含的五种权重参数λ1＝10、λ2＝0.1、λ3＝100、λ4＝0.3和λ5＝0.0001；
s402、侧脸-正脸图像对中随机采样一个批次n个样本
s403、通过批随机梯度下降的方法更新判别器网络d：
s404、通过批随机梯度下降的方法更新生成器网络g：
s405、重复步骤s402至步骤s404，直到达到迭代次数t；
s406、输出训练完成的生成器网络g的权值θg、判别器网络d的权值θd。
s407、将测试集中的侧脸图像输入步骤s2中网络的生成器gm生成正面化五官掩码图像，将侧脸图像和正面化五官掩码图像级联输入步骤s3中网络的生成器g中生成正脸图像。
本发明再一个实施例中，提供一种基于两阶段掩码指导的生成对抗网络人脸校正系统，该系统能够用于实现上述基于两阶段掩码指导的生成对抗网络人脸校正方法，具体的，该基于两阶段掩码指导的生成对抗网络人脸校正系统包括构建模块、提取模块、训练模块、网络模块以及校正模块。
其中，构建模块，构建不同偏转角下成对的侧脸ip和正脸if图像对作为训练集；
提取模块，使用离线预训练的人脸解析网络对构建模块构建的侧脸ip-正脸if图像对提取五官掩码图像，分别得到侧脸五官掩码图像mp和正脸五官掩码图像mf；
训练模块，构造基于侧脸五官掩码图像mp生成对应正脸五官掩码图像mf的生成对抗网络，其中，生成对抗网络包括生成器网络gm和判别器网络dm，使用提取模块中的成对的侧脸五官掩码图像mp和正脸五官掩码图像mf进行训练；
网络模块，构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络g、判别器网络d和人脸特征提取网络b；使用构建模块中成对的侧脸ip和正脸if图像对生成对抗网络进行训练，训练阶段使用提取模块中真实的侧脸五官掩码图像mp和正脸五官掩码图像mf，测试阶段使用侧脸图像经过训练模块的生成对抗网络生成对应正脸的五官掩码图像；
校正模块，输入侧脸图像至提取模块中提取侧脸五官掩码图像，将侧脸五官掩码图像输入至训练模块中生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至网络模块中的生成对抗网络生成正脸图像，实现人脸校正。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor、dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于两阶段掩码指导的生成对抗网络人脸校正方法的操作，包括：
构建不同偏转角下成对的侧脸ip和正脸if图像对作为训练集；使用离线预训练的人脸解析网络对构建的侧脸ip-正脸if图像对提取五官掩码图像，分别得到侧脸五官掩码图像mp和正脸五官掩码图像mf；构造基于侧脸五官掩码图像mp生成对应正脸五官掩码图像mf的生成对抗网络，其中，生成对抗网络包括生成器网络gm和判别器网络dm，使用成对的侧脸五官掩码图像mp和正脸五官掩码图像mf进行训练；构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络g、判别器网络d和人脸特征提取网络b；使用成对的侧脸ip和正脸if图像对生成对抗网络进行训练，训练阶段使用真实的侧脸五官掩码图像mp和正脸五官掩码图像mf，测试阶段使用侧脸图像经过生成对抗网络生成对应正脸的五官掩码图像；输入侧脸图像至提取侧脸五官掩码图像，将侧脸五官掩码图像输入至生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至生成对抗网络生成正脸图像，实现人脸校正。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于两阶段掩码指导的生成对抗网络人脸校正方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
构建不同偏转角下成对的侧脸ip和正脸if图像对作为训练集；使用离线预训练的人脸解析网络对构建的侧脸ip-正脸if图像对提取五官掩码图像，分别得到侧脸五官掩码图像mp和正脸五官掩码图像mf；构造基于侧脸五官掩码图像mp生成对应正脸五官掩码图像mf的生成对抗网络，其中，生成对抗网络包括生成器网络gm和判别器网络dm，使用成对的侧脸五官掩码图像mp和正脸五官掩码图像mf进行训练；构造基于正脸五官掩码图像指导生成正脸图像的生成对抗网络，生成对抗网络包括生成器网络g、判别器网络d和人脸特征提取网络b；使用成对的侧脸ip和正脸if图像对生成对抗网络进行训练，训练阶段使用真实的侧脸五官掩码图像mp和正脸五官掩码图像mf，测试阶段使用侧脸图像经过生成对抗网络生成对应正脸的五官掩码图像；输入侧脸图像至提取侧脸五官掩码图像，将侧脸五官掩码图像输入至生成对应正脸的五官掩码图像，最终输入正脸五官掩码图像和侧脸图像至生成对抗网络生成正脸图像，实现人脸校正。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合仿真图对本发明的效果做进一步的描述。
1、仿真条件：
本发明仿真的硬件平台为：hpz840；软件平台为：pytorch；本发明使用的多姿态人脸数据集为m2fpa，训练集样本49140张，测试集样本19824张。
2、仿真内容与结果：
用本发明方法在上述仿真条件下进行实验，使用训练集中成对的侧脸图像和正脸图像对基于两阶段掩码指导的生成对抗网络进行训练。得到如图3的结果，按行查看，从左到右分别为输入的侧脸图像、侧脸的五官掩码图像、生成的正面化五官掩码图像、生成的正脸图像、真实的正脸五官掩码图像和真实的正脸图像，第一列为不同偏转角的输入侧脸图像，由上至下人脸偏转角分别为 15°、 30°、 45°、 60°、 75°和 90°。得到如图4的结果，按行查看，从左到右分别为输入的侧脸图像、侧脸的五官掩码图像、生成的正面化五官掩码图像、生成的正脸图像、真实的正脸五官掩码图像和真实的正脸图像，第一列为不同偏转角的输入侧脸图像，由上至下，人脸偏转角分别为 60°、-60°、-75°和 75°。图3和图4中每一行从左到右分别为输入的侧脸图像、侧脸的五官掩码图像、生成的正面化五官掩码图像、生成的正脸图像、真实的正脸五官掩码图像和真实的正脸图像。得到如图5的结果，按行查看，从左到右分别为输入侧脸图像，本发明生成的正脸图像，人脸校正相关对比方法生成的正脸图像和真实的正脸图像，第一列为不同偏转角下的输入侧脸图像，由上至下偏转角分别为为30°、45°、60°、75°和90°，第二列为本发明的校正结果，第三列至第五列为对比方法的校正结果，最后一列为真实的正脸图像。
表1为在不同偏转角下与人脸校正相关对比方法的人脸识别结果。按行查看，每一行从左到右，偏转角分别为±15°、±30°、±45°、±60°、±75°和±90°，最后一行为本发明的人脸识别结果。
表1(％)
从表1的结果看本发明能够提升在较大偏转角下的人脸识别准确率，与目前基于生成对抗网络进行人脸校正的先进方法进行对比，在大偏转角75°和90°下，相比于对比方法tp-gan和capg-gan有所提升。
综上所述，本发明一种基于两阶段掩码指导的生成对抗网络人脸校正方法及系统，第一阶段基于侧脸五官掩码图像生成正脸五官掩码图像，该阶段相当于学习侧脸五官轮廓到正脸五官轮廓的转换，不包含局部纹理细节，任务学习相对简单。第二阶段使用正脸五官掩码图像指导生成正脸图像，正脸五官掩码能够约束生成的正脸图像更好的恢复五官轮廓形状，同时能够更好的学习恢复局部纹理细节，使得最终生成的正脸图像在五官局部区域上与真实正脸图像具有更好的一致性。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
