本发明属于图像超分领域，特别涉及一种面向低光照低分辨率的人脸图像幻构方法。
背景技术：
在实际监控系统中，由于拍摄距离以及光照等等环境影响，所获取的往往是低光照和低分辨率的人脸图像，难以满足实际需求。如何改善图像的质量，提高人脸的分辨率并且优化图像光照，从而提升图像的清晰度和辨识度是极具挑战的研究。人脸幻构算法是解决以上问题的较经济且重要的解决方案之一。该算法通过解析所获取低质量人脸的图像特征，结合人脸样本库的训练模型，从而构建出高清晰高分辨率人脸图像。
已有的人脸幻构算法(文献1，文献2)通过搭建深度学习网络，并引入图像的小波分解以及人脸特征信息对图像信息进行充分挖掘，更好地表达出清晰精细的特征纹理，从而较好地提升模型图像地重建性能。但是该类方法将低质量人脸图像设定为某固定尺度以及理想的光照质量，在实际应用过程中，很难适用于姿态各异，尺度变化以及环境干扰等条件下的人脸图像，具有很大的局限性。
相关文献如下：
[1]j.jiang,r.hu,z.wang,andz.han,“noiserobustfacehallucinationvialocality-constrainedrepresentation,”ieeetransactionsonmultimedia,vol.16,no.5,pp.1268–128
[2]c.ma,z.jiang,y.rao,j.lu,andj.zhou,“deepfacesuper-resolutionwithiterativecollaborationbetweenattentiverecoveryandlandmarkestimation,”inieeeconferenceoncomputervisionandpatternrecognition(cvpr),june20
技术实现要素：
为了解决以上所存在的技术问题，本发明提出了一种面向低质量图像的任意尺度低光照人脸图像幻构技术，该方法基于低质量人脸图像的两个特点：“人脸特征检测”和“人脸纹理信息相关”，设计了一种端到端结合注意力模块(attentionmodule，am)，人脸增强模块(faceenhancementmodule，fem)以及亮度增强模块(low-lightenhancementmodule，lem)三模块的增强网络。
本发明的技术方案是一种面向低光照低分辨率人脸图像的重建方法，基于人脸图像特征，通过结合注意力模块，人脸增强模块以及亮度增强模块来适用于低光照任意尺度人脸图像的表达能力，重建实现过程如下，
步骤1，获取低分辨率低光照人脸图像，采用残差网络对图像进行解析和特征提取；
步骤2，分别构建注意力模块、人脸增强模块以及亮度增强模块，通过融合三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；
步骤3，将人脸增强模块和亮度增强模块输出的特征进行拼接，并输入级联的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。
进一步的，步骤1的具体实现方式如下；
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的人脸图像，分别设置训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数crf进行亮度以及亮度所引起噪声的图像仿真，仿真函数为
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸图像的特征ifeat。
进一步的，所述残差网络包括两个级联的卷积层单元，其中每个单元包括三个级联的卷积层以及一个子像素卷积层，其中子像素卷积层用于图像超分过程中特征图分辨率的放大。
进一步的，步骤2的具体实现方式如下；
步骤2.1，残差网络提取的特征数据ifeat输入注意力模块；首先注意力模块是定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒性约束，所述注意力模块包括两个级联的沙漏网络，分别训练出人脸位置的特征图is和人脸五官轮廓的特征图id；
步骤2.2，特征数据ifeat输入人脸增强模块，通过一个密集u型网络，并与人脸位置特征图is进行逐像素相乘，得到人脸幻构的输出结果i′f；然后，i′f输入另一个相同结构的密集u型网络，并与人脸五官轮廓特征图id进行逐像素相乘，然后与i′f进行相加，生成出人脸幻构的优化结果if；
步骤2.3，特征数据ifeat同时输入亮度增强模块，通过一个相同结构的密集u型网络，生成出亮度增强的初步结果iw。
进一步的，所述沙漏网络包括m个级联的残差卷积单元，残差卷积单元基本单元包括三个级联的卷积层，第一个和第三个卷积层通过特征加法连接，残差单元为对称的两两连接结构，m为偶数。
进一步的，所述密集u型网络包括用于特征提取的级联的l对两两关联连接并对称的卷积层单元和反卷积层单元，一个特征拼接和级联多个卷积层的重建单元，卷积层单元包括两个卷积层和一个最大池化层，反卷积层单元包括一个反卷积层和两个卷积层，反卷积层适用于特征的进一步强化；同时为了强化输出与传递过程的特征之间的关联，在前l-1个反卷积层单元分别外接了反卷积特征提取；其中特征拼接是将外接反卷积生成特征与最后一个反卷积单元的输出特征进行拼接。
进一步的，还包括步骤4，采用验证集和测试集分别验证和测试人脸幻构的图像性能，并将图像的峰值信噪比psnr和结构相似度ssim作为图像质量客观指标评价标准。
采用以上技术方案，本发明可适用于监控或者拍摄环境下，受到低光照和距离因素等降质影响，导致人脸图像不清晰，人脸特征表达不明等情况的问题，从而提升低质量人脸图像的辨识能力。与现有技术相比较，本发明具有以下有点和效果：
1)与现有技术相比，本发明面向了一个新的研究课题，即实际拍摄的低质量人脸图像会同时受到低光照和不同尺度低分辨率的影响，从而不易幻构重建的问题。
2)与现有技术相比，本发明提出了一个基于注意力模块，亮度增强模块以及人脸增强模块特征融合的人脸幻构框架。
3)与现有技术相比，本发明引入人脸特征，且利用其特性约束人脸图像增强，实现低质量的人脸幻构技术，恢复人脸细节，提升人脸辨识度和清晰度，可应用于实际的人脸图像。
附图说明
图1是本发明实施例的主流程图。
图2是本发明实施例的网络结构图。
图3是本发明实施例的密集u型网络。
图4是本发明实施例的沙漏网络。
具体实施方式
为了便于相关领域技术人员理解和实施本发明，下面结合附图即实施例对本发明作进一步的详细描述，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明的技术方案是一种面向低光照低分辨率人脸图像的重建方法，基于人脸图像特征，通过结合注意力模块，人脸增强模块以及亮度增强模块来适用于低光照任意尺度人脸图像的表达能力。首先，对低质量人脸图像的浅层特征提取，采用残差网络对图像解析和特征提取，为接下来的模型增强提供特征信息；然后，融合注意力模块，人脸增强模块以及亮度增强模块三部分同时优化表达的图像特征，并通过注意力模块约束人脸幻构；最后，将人脸增强模块和亮度增强模块的特征拼接，并输入残差网络，获得最终的高分辨率亮度增强的清晰人脸图像。
本实施例采用1个nvidiagtx1080tigpu来进行运行实验，训练数据来自公共的人脸数据集celeba，celeba是一个采集自互联网的数据集，该数据集囊括了超过20万张人脸图像，涵盖了各种姿态，人脸尺度和背景信息的图像数据。其高分辨率图像的大小设置为256x256。实施例随机选择23000张人脸，分别将20000、1000和2000张图像作为训练集，验证集和测试样本。由于深度学习人脸幻构方法的性能与测试图像和训练图像的相似性相关，其实施例在公开人脸数据集helen上进行了额外的测试，以确保本发明的鲁棒性和泛化性。
参见图1，本发明实施例提供了一种面向低质量人脸图像的幻构方法包括以下步骤：
步骤1，低质量人脸图像的特征提取，采用残差网络对图像解析和特征提取，包括以下子步骤：
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的人脸图像，分别设置为训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数(cameraresponsefunction，crf)进行亮度以及亮度所引起噪声的图像仿真，仿真函数为
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸图像的特征ifeat。
参见图2，实施例中，用于特征提取的残差网络包括两个级联的卷积层单元，其中每个单元包括三个级联的卷积层(cnn,convolutionneuralnetwork)以及一个子像素卷积层(sub-pixelconvolution)，其中子像素卷积层主要用于图像超分过程中特征图分辨率的两倍放大。
步骤2.人脸图像通过注意力模块，人脸增强模块和亮度增强模块进一步解析图像特征。
参见图2，本步骤具体包括以下子步骤，
步骤2.1，残差网络提取的特征数据ifeat同时输入图2的注意力模块，人脸增强模块和亮度增强模块，首先注意力模块是定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒性约束，注意力模块包括两个级联的沙漏网络hourglass，如图4)，分别训练出人脸位置的特征图is和人脸五官轮廓的特征图id。其中沙漏网络包括8个级联的残差卷积单元，残差卷积单元参考残差网络的基本单元包括三个级联的卷积层，第一个和第三个卷积层通过特征加法连接，而为了加强网络中的特征关联，将级联的8个残差单元中间对称的两两连接。同时由于人脸位置囊括了人脸五官，因此人脸五官的特征图id的生成应该在人脸位置的特征图is的有效信息范围内，受到is的生成约束。
步骤2.2，特征数据ifeat输入人脸增强模块，通过一个如图3的密集u型网络，并与人脸位置特征图is进行逐像素相乘，得到人脸幻构的输出结果i′f。在生成的过程中，由于人脸位置特征图is从语义层面标定了人脸位置以及人脸的大致轮廓，因此人脸的像素生成受到了位置特征图is的语义约束。其中密集u型网络包括主要用于特征提取的4对两两关联连接并对称的卷积层单元和反卷积层单元，一个特征拼接和一个3卷积层的重建单元，卷积层单元包括两个卷积层和一个最大池化层，反卷积层单元包括一个反卷积层和两个卷积层，反卷积层适用于特征的进一步强化。同时为了强化输出与传递过程的特征之间的关联，我们在前三个反卷积层单元分辨外接了一个反卷积特征提取，分别包括3个，2个和1个反卷积层；其中，特征拼接是将用于强化输出和关联的三个反卷积特征提取单元的生成特征与第四个反卷积单元的输出特征进行拼接。然后，if输入另一个相同结构的密集u型网络，并与人脸五官轮廓特征图id进行逐像素相乘，然后与i′f进行相加，生成出人脸幻构的优化结果if。类似于is的语义约束，人脸五官轮廓特征图id也从语义层面标定了人脸五官的位置和轮廓，因此人脸的五官细节的像素生成受到了id的语义约束。
步骤2.3，特征数据ifeat同时输入了亮度增强模块，通过一个同上结构的密集u型网络，生成出亮度增强的初步结果iw。
步骤3，在三个模块相互约束下，生成出两个中间结果，人脸位置约束下的人脸信息if和亮度增强的初步结果iw；将两个结果通过特征拼接，输入到级联的三个卷积层网络，生成出最终的人脸幻构结果ifinal。
步骤4，人脸幻构的图像性能评价
步骤4.1，采用步骤1.1所获得验证集和测试集分别验证和测试人脸幻构的图像性能，采用图像的峰值信噪比psnr和结构相似度ssim作为图像质量客观指标评价标准。其中为了进一步验证图像中尺度不一的人脸的信息，通过检测算法标注出单独的人脸框，并测试人脸的客观指标psnr-face和ssim-face。
步骤4.2，对比算法采用亮度增强算法sid，人脸幻构算法wavelet-srnet，super-fan和dic。这些算法都通过我们的仿真训练数据集，在充分训练的情况下，测试相应的测试集，进行客观指标比较。测试显示本发明的实验结果在人脸细节要更清晰，干扰噪声更少。
基于本发明执行步骤1～3所得的结果，在表1中可以看出，在客观指标psnr，ssim，psnr-face，ssim-face这些指标上，几乎都要优于其他对比算法。
表1人脸幻构算法的各客观指标，测试数据集是celeba，最好的结果以粗体显示。
可见，本发明提出的一种针对低光照任意尺度的低分辨率人脸图像的幻构重建模型，在该模型下，低质量的人脸图像得以显著表达，且可以实现任意尺度的低分辨率低光照人脸图像的重建。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应的计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种面向低光照低分辨率人脸图像幻构系统，包括以下单元，
特征提取单元，用于获取低分辨率低光照人脸图像，采用残差网络对图像进行解析和特征提取；
特征融合单元，用于分别构建注意力模块、人脸增强模块以及亮度增强模块，通过融合三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；
重建单元，用于将人脸增强模块和亮度增强模块输出的特征进行拼接，并输入级联的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。
特征提取单元的具体实现方式如下；
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的人脸图像，分别设置训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数crf进行亮度以及亮度所引起噪声的图像仿真，仿真函数为
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸图像的特征ifeat。
特征融合单元的具体实现方式如下；
步骤2.1，残差网络提取的特征数据ifeat输入注意力模块；首先注意力模块是定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒性约束，所述注意力模块包括两个级联的沙漏网络，分别训练出人脸位置的特征图is和人脸五官轮廓的特征图id；
步骤2.2，特征数据ifeat输入人脸增强模块，通过一个密集u型网络，并与人脸位置特征图is进行逐像素相乘，得到人脸幻构的输出结果i′f；然后，i′f输入另一个相同结构的密集u型网络，并与人脸五官轮廓特征图id进行逐像素相乘，然后与i′f进行相加，生成出人脸幻构的优化结果if；
步骤2.3，特征数据ifeat同时输入亮度增强模块，通过一个相同结构的密集u型网络，生成出亮度增强的初步结果iw。
各单元的具体实现方式与各步骤相应，本发明不予撰述。
在一些可能的实施例中，提供一种面向低质量人脸幻构系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种面向人脸图像的任意低光照和低分辨率重建方法。
在一些可能的实施例中，提供一种面向低质量人脸幻构系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种面向人脸图像的任意低光照和低分辨率重建方法。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
1.一种面向低光照低分辨率的人脸图像幻构方法，其特征在于，包括如下步骤：
步骤1，获取低分辨率低光照人脸图像，采用残差网络对图像进行解析和特征提取；
步骤2，分别构建注意力模块、人脸增强模块以及亮度增强模块，通过融合三个模块来优化表达的图像特征，并通过注意力模块约束人脸图像幻构；
步骤3，将人脸增强模块和亮度增强模块输出的特征进行拼接，并输入级联的多个卷积层网络，获得最终的高分辨率亮度增强的清晰人脸图像。
2.如权利要求1所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：步骤1的具体实现方式如下；
步骤1.1，从数据集中随机选择姿态不同，人脸尺度不同，图像背景不同的人脸图像，分别设置训练集、验证集、测试集；
步骤1.2，对于步骤1.1的训练集图像，先采用相机相应函数crf进行亮度以及亮度所引起噪声的图像仿真，仿真函数为
步骤1.3，使用残差网络对图像进行深度信息的特征提取，获得低质量人脸图像的特征ifeat。
3.如权利要求1或2所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：所述残差网络包括两个级联的卷积层单元，其中每个单元包括三个级联的卷积层以及一个子像素卷积层，其中子像素卷积层用于图像超分过程中特征图分辨率的放大。
4.如权利要求1所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：步骤2的具体实现方式如下；
步骤2.1，残差网络提取的特征数据ifeat输入注意力模块；首先注意力模块是定位人脸位置，以及训练出人脸和五官的轮廓细节，作为人脸幻构的特征鲁棒性约束，所述注意力模块包括两个级联的沙漏网络，分别训练出人脸位置的特征图is和人脸五官轮廓的特征图id；
步骤2.2，特征数据ifeat输入人脸增强模块，通过一个密集u型网络，并与人脸位置特征图is进行逐像素相乘，得到人脸幻构的输出结果i′f；然后，i′f输入另一个相同结构的密集u型网络，并与人脸五官轮廓特征图id进行逐像素相乘，然后与i′f进行相加，生成出人脸幻构的优化结果if；
步骤2.3，特征数据ifeat同时输入亮度增强模块，通过一个相同结构的密集u型网络，生成出亮度增强的初步结果iw。
5.如权利要求4所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：步骤3的具体实现方式如下；
将人脸位置约束下的人脸信息if和亮度增强的初步结果iw进行特征拼接，输入到级联的三个卷积层网络，生成出最终的人脸幻构结果ifinal。
6.如权利要求4所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：所述沙漏网络包括m个级联的残差卷积单元，残差卷积单元基本单元包括三个级联的卷积层，第一个和第三个卷积层通过特征加法连接，残差单元为对称的两两连接结构，m为偶数。
7.如权利要求4所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：所述密集u型网络包括用于特征提取的级联的l对两两关联连接并对称的卷积层单元和反卷积层单元，一个特征拼接和级联多个卷积层的重建单元，卷积层单元包括两个卷积层和一个最大池化层，反卷积层单元包括一个反卷积层和两个卷积层，反卷积层适用于特征的进一步强化；同时为了强化输出与传递过程的特征之间的关联，在前l-1个反卷积层单元分别外接了反卷积特征提取；其中特征拼接是将外接反卷积生成特征与最后一个反卷积单元的输出特征进行拼接。
8.如权利要求1所述的一种面向低光照低分辨率的人脸图像幻构方法，其特征在于：还包括步骤4，采用验证集和测试集分别验证和测试人脸幻构的图像性能，并将图像的峰值信噪比psnr和结构相似度ssim作为图像质量客观指标评价标准。
技术总结