图像处理方法、装置、计算机设备和存储介质与流程

1.本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。


背景技术：

2.随着图像处理技术的发展，图像处理技术的应用也越来越广泛。例如，在人脸识别领域中，由于人脸结构的特征性，面部遮挡会对人脸识别结果造成较大的影响。当待识别的人员佩戴有眼镜时，需要对采集到的人脸图像进行眼镜去除处理，再进行人脸识别。传统的眼镜去除模型在修正提取的人脸特征时，会导致非眼镜区域的特征发生变化，致使生成的眼镜去除图像的准确性较低。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种能够提高眼镜去除图像准确性的图像处理方法、装置、计算机设备和存储介质。
4.一种图像处理方法，所述方法包括：
5.获取戴眼镜图像；
6.将所述戴眼镜图像输入至已训练的眼镜去除模型中，通过所述眼镜去除模型对所述戴眼镜图像进行特征提取，得到所述戴眼镜图像的特征向量；
7.获取通过所述眼镜去除模型预测得到的眼镜去除方向的方向向量；
8.通过所述眼镜去除模型将所述眼镜去除方向的方向向量叠加至所述特征向量中；
9.通过所述眼镜去除模型对叠加后的向量进行图像重建，得到所述戴眼镜图像对应的眼镜去除图像。
10.在其中一个实施例中，在所述获取戴眼镜图像之前，所述方法还包括：
11.获取样本图像集；
12.将所述样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含所述样本图像集对应的重建图像集的第一输出结果；所述样本图像集中各样本图像与所述重建图像集中相应重建图像的图像风格是相同的；
13.将所述样本图像集以及所述第一输出结果中的重建图像集输入至所述循环生成对抗网络模型的判别网络中，得到第二输出结果；
14.根据所述样本图像集、所述第一输出结果以及所述第二输出结果计算所述循环生成式对抗网络模型的生成网络损失值；
15.根据所述生成网络损失值更新所述生成网络的网络参数，直至满足预设条件，将更新后的生成网络确定为已训练的眼镜去除模型。
16.在其中一个实施例中，所述循环生成对抗网络模型的生成网络包括编码器和解码器；所述将所述样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含所述样本图像集对应的重建图像集的第一输出结果包括：
17.将所述样本图像集输入至所述循环生成对抗网络模型的生成网络中，通过所述生成网络的编码器提取所述样本图像集的样本特征；
18.通过所述生成网络的解码器根据所述样本特征生成所述样本图像集对应的重建图像集；
19.通过所述编码器提取所述重建图像集的重建特征，根据所述样本图像集、所述样本特征、所述重建图像集以及所述重建特征生成第一输出结果。
20.在其中一个实施例中，所述编码器为基于注意力的特征金字塔网络，所述通过所述生成网络的编码器提取所述样本图像集的样本特征包括：
21.通过所述生成网络中基于注意力的特征金字塔网络提取所述样本图像集中眼镜区域的多尺度特征，将提取的多尺度特征进行组合，得到所述样本图像集的样本特征；
22.所述通过所述编码器提取所述重建图像集的重建特征包括：
23.通过所述基于注意力的特征金字塔网络提取所述重建图像集中眼镜区域的多尺度特征，组合所述重建图像集中目标区域的多尺度特征，得到所述重建图像集的重建特征。
24.在其中一个实施例中，所述根据所述样本图像集、所述第一输出结果以及所述第二输出结果计算所述循环生成对抗网络模型的生成网络损失值包括：
25.根据所述第二输出结果计算所述循环生成对抗网络模型的判别网络损失值；
26.根据所述判别网络损失值更新所述判别网络的网络参数，得到更新后的判别网络；
27.将所述重建图像集输入至所述更新后的判别网络中，根据所述更新后的判别网络的输出、所述样本图像集以及所述第一输出结果计算所述循环生成对抗网络模型的生成网络损失值。
28.在其中一个实施例中，所述第一输出结果还包括所述样本图像集的样本特征以及所述重建图像集的重建特征；所述根据所述更新后的判别网络的输出、所述样本图像集以及所述第一输出结果计算所述循环生成对抗网络模型的生成网络损失值包括：
29.根据所述更新后的判别网络的输出计算所述生成网络的对抗损失值；
30.根据所述样本图像集以及所述第一输出结果中所述样本图像集对应的重建图像集计算感知损失值；
31.根据所述样本特征以及所述重建特征计算循环一致性损失值；
32.根据所述生成网络的对抗损失值、所述感知损失值、循环一致性损失值和预设关系算所述循环生成对抗网络模型的生成网络损失值。
33.在其中一个实施例中，已训练的眼镜去除模型包括编码器和线性回归单元；在所述将更新后的生成网络确定为已训练的眼镜去除模型之后，所述方法还包括：
34.将所述样本图像集输入至已训练的眼镜去除模型的编码器中，通过所述编码器提取所述样本图像集的特征信息，将所述特征信息进行分类，得到戴眼镜特征集和未戴眼镜特征集；
35.通过所述线性回归单元对所述戴眼镜特征集和所述未戴眼镜特征集进行线性回归处理，得到所述戴眼镜特征集对应的眼镜添加方向的方向向量以及所述未戴眼镜特征集对应的眼镜去除方向的方向向量。
36.在其中一个实施例中，所述戴眼镜图像为戴眼镜的人脸图像，所述眼镜去除图像
为眼镜去除的人脸图像；所述方法还包括：
37.将所述眼镜去除的人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
38.一种图像处理装置，所述装置包括：
39.图像获取模块，用于获取戴眼镜图像；
40.特征提取模块，用于将所述戴眼镜图像输入至已训练的眼镜去除模型中，通过所述眼镜去除模型对所述戴眼镜图像进行特征提取，得到所述戴眼镜图像的特征向量；
41.方向向量获取模块，用于获取通过所述眼镜去除模型预测得到的眼镜去除方向的方向向量；
42.向量叠加模块，用于通过所述眼镜去除模型将所述眼镜去除方向的方向向量叠加至所述特征向量中；
43.图像重建模块，用于通过所述眼镜去除模型对叠加后的向量进行图像重建，得到所述戴眼镜图像对应的眼镜去除图像。
44.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。
45.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
46.上述图像处理方法、装置、计算机设备和存储介质，获取戴眼镜图像，将戴眼镜图像输入至已训练的眼镜去除模型中，得到戴眼镜图像的特征向量，获取通过眼镜去除模型预测得到的眼镜去除方向的方向向量，通过眼镜去除模型将眼镜去除方向的方向向量叠加至特征向量中，通过眼镜去除模型对叠加后的向量进行图像重建，得到戴眼镜图像对应的眼镜去除图像。由于眼镜去除模型预测的眼镜去除方向的方向向量能够确保眼镜去除后图像的其他属性不发生变化，将眼镜去除方向的方向向量叠加至戴眼镜图像的特征向量中，能够准确控制戴眼镜图像的特征向量进行属性反转，能够增强戴眼镜的人脸图像的有效特征，抑制无效特征，有效进行眼镜去除，同时不会对眼镜区域后的其他属性造成影响，确保眼镜去除的人脸图像恢复出戴眼镜的人脸图像的关键特征，提高眼镜去除的人脸图像的还原度和真实性，进一步保证了人脸识别结果的准确性。
附图说明
47.图1为一个实施例中图像处理方法的应用环境图；
48.图2为一个实施例中图像处理方法的流程示意图；
49.图3为一个实施例中判别网络的结构示意图；
50.图4为一个实施例中训练眼镜去除模型步骤的流程示意图；
51.图5为一个实施例中将样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含样本图像集对应的重建图像集的第一输出结果步骤的流程示意图；
52.图6为一个实施例中编码器的结构示意图；
53.图7为一个实施例中自注意力单元的结构示意图；
54.图8为一个实施例中解码器的结构示意图；
55.图9为一个实施例中训练循环生成对抗网络过程中的网络结构示意图；
56.图10为一个实施例中图像处理装置的结构框图；
57.图11为一个实施例中计算机设备的内部结构图。
具体实施方式
58.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
59.本申请提供的图像处理方法，可应用于计算机设备中，计算机设备可以为终端或服务器。可以理解的是，本申请提供的图像处理方法可以应用于终端，也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。
60.本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102与服务器104通过网络进行通信。在需要进行眼镜去除处理时，服务器104获取终端102发送的戴眼镜图像，将戴眼镜图像输入至已训练的眼镜去除模型中，通过眼镜去除模型对戴眼镜图像进行特征提取，得到戴眼镜图像的特征向量，从而获取通过眼镜去除模型预测得到的眼镜去除方向的方向向量，通过眼镜去除模型将眼镜去除方向的方向向量叠加至特征向量中，进而通过眼镜去除模型对叠加后的向量进行图像重建，得到戴眼镜图像对应的眼镜去除图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
61.在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于计算机设备为例进行说明，计算机设备具体可以是图1中的终端或服务器，包括以下步骤：
62.步骤202，获取戴眼镜图像。
63.戴眼镜图像是指包含有眼镜佩戴信息，需要进行眼镜去除的图像。戴眼镜图像具体可以是预处理后的戴眼镜人脸图像。预处理是指对戴眼镜人脸图像进行人脸检测、人脸对齐、人脸裁剪以及归一化等多种数据处理。其中，人脸检测是指识别戴眼镜人脸图像并获取戴眼镜人脸图像中的人脸区域。人脸对齐也可以称为人脸关键点检测，是指获取戴眼镜人脸图像的人脸区域中人脸关键点的位置。人脸关键点可以包括眉毛、眼睛、鼻尖、嘴角尖以及人脸各部件轮廓点。人脸区域截取是指根据获取到的人脸关键点在戴眼镜人脸图像中的位置，将人脸区域裁剪出来。归一化是指将裁剪出来的人脸区域图像进行尺寸缩放处理。例如，尺寸缩放后得到的戴眼镜人脸图像的尺寸为256*256。进一步的，可采用mtcnn(multi
‑
task convolutional neural networks，基于多任务联合学习的级联卷积神经网络)方法，同时完成人脸检测和人脸对齐，还可以采用基于lbp(local binary pattern，局部二值模式)特征的人脸检测方法和基于形状回归的人脸对齐方法。归一化方法可以是z
‑
score标准化(zero
‑
mean normalization，零
‑
均值标准化)方法、min
‑
max标准化(min
‑
max normalization，离差标准化)方法等传统归一化方法中的任意一种。
64.步骤204，将戴眼镜图像输入至已训练的眼镜去除模型中，通过眼镜去除模型对戴眼镜图像进行特征提取，得到戴眼镜图像的特征向量。
65.计算机设备中预先存储有已训练的眼镜去除模型。眼镜去除模型是通过大量的戴眼镜样本图像和未戴眼镜样本图像对循环生成对抗网络模型进行训练得到的。眼镜去除模
型可以是针对全局的戴眼镜人脸图像进行眼镜去除的模型。可以理解，当眼镜去除模型为针对全局的戴眼镜人脸图像进行眼镜去除的模型时，戴眼镜图像为全局的戴眼镜人脸图像。其中，戴眼镜样本图像和未戴眼镜样本图像可以是不配对的样本图像，眼镜去除模型为对循环生成对抗网络模型进行训练得到的，无需采集配对的样本图像进行模型训练，减少了数据准备的工作量，从而提高了模型的训练效率。
66.循环生成对抗网络模型包括生成网络和判别网络。生成网络模型用于根据输入图像重建出一张图像，判别网络模型用于判别出输入的重建图像属于真实图像还是假图像。循环生成对抗网络模型训练是指由生成网络生成的重建图像去欺骗判别网络，然后判别网络去判断该重建图像以及对应的输入图像的真假，在这两个网络训练的过程中，使得两个网络的能力越来越强，最终达到稳态的过程。已训练眼镜去除模型为训练完成后，循环生成对抗网络中的生成网络。生成网络中包括依次连接的编码器和解码器，即已训练的眼镜去除模型包括编码器和解码器。调用已训练的眼镜去除模型，通过眼镜去除模型中的编码器提取戴眼镜图像的特征向量。提取的特征向量可以是戴眼镜图像中眼镜区域的特征向量。
67.进一步的，生成网络可以包括编码器、线性回归单元和解码器。判别网络可以为五层的卷积网络，具体可以包括四个卷积层及一个全连接层，如图3所示。其中，batch normalization是指进行批量标准化处理。relu(rectified linear unit，激活函数)可用于在网络训练时，更加有效率的进行梯度下降以及反向传播，避免了梯度爆炸和梯度消失问题。
68.步骤206，获取通过眼镜去除模型预测得到的眼镜去除方向的方向向量。
69.眼镜去除方向的方向向量是指眼镜去除属性对应的方向向量。
70.在得到已训练的眼镜去除模型后，将用于训练模型的戴眼镜样本图像和未戴眼镜样本图像输入至已训练的眼镜去除模型中，得到有标签的戴眼镜特征集和未戴眼镜特征集。再通过已训练的眼镜去除模型对有标签的戴眼镜特征集和未戴眼镜特征集进行线性回归，从而得到眼镜添加方向的方向向量和眼镜去除方向的方向向量。其中，戴眼镜和未戴眼镜是图像的两个属性，线性回归是指将戴眼镜特征集和未戴眼镜特征集进行属性方向回归，得到用于区分戴眼镜和未戴眼镜的数据分布的超平面，从而得到眼镜添加方向的方向向量和眼镜去除方向的方向向量。通过线性回归，使得属性控制的指向性更强。可以将眼镜去除方向的方向向量存储在眼镜去除模型中，在需要进行眼镜去除时，眼镜去除模型可以获取眼镜去除方向的方向向量。
71.步骤208，通过眼镜去除模型将眼镜去除方向的方向向量叠加至特征向量中。
72.步骤210，通过眼镜去除模型对叠加后的向量进行图像重建，得到戴眼镜图像对应的眼镜去除图像。
73.眼镜去除模型中眼镜添加方向的方向向量和眼镜去除方向的方向向量可以用于确定区分戴眼镜和未戴眼镜的数据分布的超平面。由于沿着超平面的法线方向移动图像特征，当移动幅度跨越超平面的分界线时，图像的属性会发生反转。已训练的眼镜去除模型中包括编码器和解码器。当通过编码器提取出戴眼镜的特征向量后，可通过眼镜去除模型将预先存储的眼镜去除方向的方向向量与戴眼镜的特征向量相加，能够沿着眼镜去除方向向量的方向将戴眼镜的特征向量进行线性引导，从而将戴眼镜的特征向量进行属性反转，得到戴眼镜的特征向量对应的未戴眼镜的特征向量，即叠加后的向量。将叠加后的向量输入
至解码器中，通过解码器根据叠加后的向量进行图像重建，得到戴眼镜图像对应的眼镜去除图像。
74.可以理解的是，还可以采用上述训练循环生成对抗网络模型的方式训练得到眼镜添加模型，将眼镜添加方向的方向向量存储至眼镜添加模型中，用于在未戴眼镜图像的特征向量中叠加眼镜添加方向的方向向量，使得重建的图像为戴眼镜的图像，实现眼镜的添加。
75.在本实施例中，获取戴眼镜图像，将戴眼镜图像输入至已训练的眼镜去除模型中，得到戴眼镜图像的特征向量，获取通过眼镜去除模型预测得到的眼镜去除方向的方向向量，通过眼镜去除模型将眼镜去除方向的方向向量叠加至特征向量中，通过眼镜去除模型对叠加后的向量进行图像重建，得到戴眼镜图像对应的眼镜去除图像。由于眼镜去除模型预测的眼镜去除方向的方向向量能够确保眼镜去除后图像的其他属性不发生变化，将眼镜去除方向的方向向量叠加至戴眼镜图像的特征向量中，能够准确控制戴眼镜图像的特征向量进行属性反转，能够增强戴眼镜的人脸图像的有效特征，抑制无效特征，有效进行眼镜去除，同时不会对眼镜区域后的其他属性造成影响，确保眼镜去除的人脸图像恢复出戴眼镜的人脸图像的关键特征，提高眼镜去除的人脸图像的还原度和真实性，进一步保证了人脸识别结果的准确性。
76.在一个实施例中，如图4所示，在获取戴眼镜图像之前，上述方法还包括训练眼镜去除模型的步骤，具体可以包括：
77.步骤402，获取样本图像集。
78.样本图像集是指训练眼镜去除模型所需的样本数据。样本图像集具体可以是样本人脸图像集。样本人脸图像集包括戴眼镜样本图像集以及未戴眼镜样本图像集。戴眼镜样本图像集与未戴眼镜图像集可以是不配对的。无需采集配对的数据，减少了数据采集的工作量。
79.进一步的，样本图像集可以是通过对原始人脸图像集进行预处理后得到的。原始人脸图像集是指需要进行需要进行预处理的图像，原始人脸图像集可以是通过人脸图像采集设备，如摄像头、相机等采集设备采集到的。预处理的方式和上述获取戴眼镜图像过程中的预处理是相同的，包括人脸检测、人脸对齐、人脸裁剪以及归一化等多种数据处理。
80.步骤404，将样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含样本图像集对应的重建图像集的第一输出结果；样本图像集中各样本图像与重建图像集中相应重建图像的图像风格是相同的。
81.重建图像集是指由样本图像集中每个样本图像对应的重建图像组成的集合。
82.在进行模型训练时，调用循环生成对抗网络模型，循环生成对抗网络模型用于重建出输入图像。具体的，将样本图像集输入至循环生成对抗网络模型中，通过循环生成对抗网络模型中的生成网络，提取生成样本图像集中每个样本图像的特征，从而生成样本图像集中每个样本图像对应的重建图像，进而提取重建图像的特征。样本图像集中多个样本图像的特征组成样本图像集的样本特征。样本图像集中多个样本图像对应的重建图像组成重建图像集。多个重建图像的特征组成重建图像集的重建特征。因此，生成网络的输出，即第一输出结果包括样本图像集的样本特征、重建图像集以及重建图像集的重建特征。
83.其中，重建图像与相应的样本图像集中的样本图像的图像风格是相同的。例如，样
本图像为戴眼镜的图像，对应的重建图像也为戴眼镜的图像。通过对循环生成对抗网络模型进行训练，使得训练后的模型重建出输入图像，从而得到能够完全表示该输入图像的特征。
84.步骤406，将样本图像集以及第一输出结果中的重建图像集输入至循环生成对抗网络模型的判别网络中，得到第二输出结果。
85.步骤408，根据样本图像集、第一输出结果以及第二输出结果计算循环生成对抗网络模型的生成网络损失值。
86.待训练的循环生成对抗网络模型包括循环结构的生成网络和判别网络。生成网络模型用于根据输入图像重建出一张图像，判别网络模型用于判别出输入的重建图像属于真实图像还是假图像。循环生成对抗网络模型训练是指由生成网络生成的重建图像去欺骗判别网络，然后判别网络去判断该重建图像以及对应的输入图像的真假，在对两个网络进行对抗训练的过程中，使得两个网络的能力越来越强，最终达到稳态的过程。
87.将样本图像集以及第一输出结果中的重建图像集输入至循环生成对抗网络模型的判别网络中，循环生成对抗网络模型中的判别网络获取样本图像集与重建图像集中存在对应关系的样本图像和重建图像，分别判断样本图像以及重建图像是真实图像还是假图像，得到判别网络的输出，生成第二输出结果。第二输出结果包括样本图像为真实图像的概率，以及重建图像为真实图像的概率。
88.损失值是用于评价模型预测效果的一个参数，网络损失值越小，表明模型的预测效果越好。对应地，生成网络损失值用于评价生成网络的眼镜去除效果的一个参数，生成网络损失值越小，表明生成网络的眼镜去除效果越好。通过计算生成网络损失值来调整生成网络的网络参数，以达到更好的眼镜去除效果。基于不同的第一输出结果以及第二输出结果能够得到一个对应的生成网络损失值。
89.在判别网络输出第二输出结果后，可根据第二输出结果计算判别网络损失值，从而根据判别网络损失值对判别网络的网络参数进行更新，得到更新后的判别网络。将重建图像集输入至更新后的判别网络中，得到更新后的判别网络的输出，进而根据更新后的判别网络的输出、样本图像集以及第一输出结果计算循环生成对抗网络模型的生成网络损失值，已根据输出网络损失值更新输出网络的网络参数。其中，生成网络的网络参数是指生成网络中各神经元的连接权重。
90.步骤410，根据生成网络损失值更新生成网络的网络参数，直至满足预设条件，将更新后的生成网络确定为已训练的眼镜去除模型。
91.根据生成网络损失值以及预设的生成网络参数更新方式对生成网络的网络参数进行更新，得到更新后的生成网络。每经过一次更新，判断更新后的生成网络是否满足预设条件。若满足，则停止模型训练，将更新后的生成网络作为已训练的眼镜去除模型。若不满足，则返回步骤404，直至满足预设条件，将更新后的输出网络确定为已训练的眼镜去除模型。
92.其中，预设的生成网络参数更新方式可以是梯度下降法、反向传播算法等误差修正算法中的任意一种。例如，adam(adaptive moment estimation，自适应矩估计)算法。预设条件可以是生成网络损失值达到损失阈值，也可以是迭代次数达到迭代次数阈值，在此不作限定。
93.在本实施例中，通过将样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含样本图像集对应的重建图像集的第一输出结果，将样本图像集以及第一输出结果中的重建图像集输入至循环生成对抗网络模型的判别网络中，得到第二输出结果，从而根据样本图像集、第一输出结果以及第二输出结果计算待训练生成式对抗网络模型的生成网络损失值，进而根据生成网络损失值更新生成网络的网络参数，直至满足预设条件，将更新后的生成网络确定为已训练的眼镜去除模型。通过循环生成对抗网络模型中生成网络和判别网络之间的对抗训练，使得模型自主学习戴眼镜与未戴眼镜在数据分布上的区别，提高了模型的自主学习能力，使得训练后的模型准确重建出模型的输入图像，从而得到能够完全且唯一表示模型的输入图像的特征，以确保眼镜去除前后图像的内容不会发生变化，提高了眼镜去除的有效性。
94.在一个实施例中，循环生成对抗网络模型的生成网络包括编码器和解码器；步骤404中将样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含样本图像集对应的重建图像集的第一输出结果进一步包括：将样本图像集输入至循环生成对抗网络模型的生成网络中，通过生成网络的编码器提取样本图像集的样本特征；通过生成网络的解码器根据样本特征生成样本图像集对应的重建图像集；通过编码器提取重建图像集的重建特征，根据样本图像集、样本特征、重建图像集以及重建特征生成第一输出结果。
95.编码器用于提取输入图像的唯一特征。解码器用于根据提取的特征重建出输入图像。样本特征包括样本图像集中每个样本图像的特征。重建特征包括重建图像集中每个重建图像的特征。
96.将样本图像集输入循环生成对抗网络模型的生成网络后，生成网络中的编码器提取样本图像集中每个样本图像的特征，从而将每个样本图像的特征作为解码器的输入，解码器根据每个样本图像的特征进行图像重建，得到相应样本图像对应的重建图像，重建图像与对应的样本图像的图像风格是相同的。进而将重建图像输入至该编码器中，提取重建图像的特征。多个样本图像的特征组成样本图像集的样本特征，多个样本图像对应的重建图像组成重建图像集，多个重建图像的特征组成重建图像集的重建特征。根据样本图像集、样本特征、重建图像集以及重建特征生成第一输出结果。
97.在本实施例中，通过循环生成对抗网络模型的生成网络中的编码器提取样本图像集以及重建图像集的特征，通过解码器根据提取的样本图像集的特征重建出重建图像集，实现样本图像，即模型输入图像的准确重建，确保眼镜去除前后图像的内容不会发生变化，提高了眼镜去除的有效性。
98.在一个实施例中，编码器为基于注意力的特征金字塔网络；步骤404中将样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含样本图像集对应的重建图像集的第一输出结果更进一步包括：
99.步骤502，将样本图像集输入至循环生成对抗网络模型的生成网络中，通过生成网络中基于注意力的特征金字塔网络提取样本图像集中眼镜区域的多尺度特征，将提取的多尺度特征进行组合，得到样本图像集的样本特征。
100.步骤504，通过生成网络的解码器根据样本特征生成样本图像集对应的重建图像集。
101.步骤506，通过基于注意力的特征金字塔网络提取重建图像集中眼镜区域的多尺
度特征，组合重建图像集中目标区域的多尺度特征，得到重建图像集的重建特征。
102.多尺度特征是指不同分辨率的眼镜区域特征。每个尺度的特征是用特征向量来表示的。
103.基于注意力的特征金字塔网络是通过在特征金字塔网络(feature pyramid networks，简称fpn)中添加自注意力单元得到的。其中，特征金字塔网络能够充分提取图像特征信息。自注意力单元可以是通道注意力单元。眼镜去除所主要关注的图像区域为眼镜区域，通过添加自注意处理单元能够使该网络关注样本图像集中每个样本图像的眼镜区域，以确保网络学习的有效性。从而在提取样本图像集的样本特征时，提取样本图像集中每个样本图像中眼镜区域的多尺度特征，将提取的每个样本图像的多尺度特征进行组合，得到每个样本图像的特征，从而根据多个样本图像的特征得到样本图像集的样本特征。可以理解的是，基于注意力的特征金字塔网络在提取重建图像集的重建特征时，主要关注重建图像集中重建图像的眼镜区域，从而提取出重建图像集中每个重建图像中眼镜区域的多尺度特征，将提取的每个重建图像的多尺度特征进行组合，得到每个重建图像的特征，从而根据多个重建图像的特征得到重建图像集的重建特征。
104.进一步的，编码器的结构示意图可以如图6所示，包括输入单元、多尺度处理单元、自注意力单元、多尺度特征提取、特征组合单元和输出单元。其中，多尺度处理单元可以包括多个卷积层，用于提取输入图像的原始特征，得到原始特征对应的特征图。自注意力单元用于对原始特征对应的特征图赋予不同的权重，得到注意力图。多尺度特征提取单元用于自下而上依次提取输入图像由低分辨率到高分辨率的特征，得到多个分辨率的特征图。特征组合单元用于将每个分辨率的特征分别与注意力图进行融合，并自上而下将融合的特征图进行组合，得到样本图像集的样本特征。输出单元用于输出样本图像集的样本特征。更进一步的，自注意单元可以是通道注意力单元，通道注意力单元使得编码器更加关注眼镜区域的属性，能够确保网络学习的有效性。自注意力单元的结构示意图可以如图7所示。其中，输入特征层的输入为输入图像的原始特征对应的特征图。多尺度处理单元将该特征图征进行复制，得到特征一、特征二和特征三，将特征一和特征二分别通过两个1
×
1的卷积层，得到特征一对应的目标特征图和特征二对应的目标特征图。1x1卷积层的作用是减少特征图中的通道数量。对特征一对应的目标特征图进行转置，并与特征二对应的目标特征图进行融合，然后进行softmax处理，得到初始注意力图，再将初始注意力图与特征一进行融合，得到目标注意力图，通过输出特征层输出该目标注意力图。因此，将基于注意力的特征金字塔网络作为编码器，能够保证提取特征的有效性以及确保网络学习的有效性。
105.进一步的，解码器的结构示意图可以如图8所示，包括依次连接的特征输入层、三个反卷积层、以及输出层。其中，batch normalization是指进行批量标准化处理。relu(rectified linear unit，激活函数)可用于在网络训练时，更加有效率的进行梯度下降以及反向传播，避免了梯度爆炸和梯度消失问题。
106.在一个实施例中，根据样本图像集、第一输出结果以及第二输出结果计算循环生成对抗网络模型的生成网络损失值包括：根据第二输出结果计算循环生成对抗网络模型的判别网络损失值；根据判别网络损失值更新判别网络的网络参数，得到更新后的判别网络；将重建图像集输入至更新后的判别网络中，根据更新后的判别网络的输出、样本图像集以及第一输出结果计算循环生成对抗网络模型的生成网络损失值。
107.第二输出结果为循环生成对抗网络模型中判别网络的输出，可以包括样本图像为真实图像的概率，以及重建图像为真实图像的概率。概率的取值范围可以是[0，1]。判别网络用于尽可能正确区分样本图像和重建图像的真假，使得样本图像的概率以及重建图像的概率均趋近于1。判别网络损失值是用于评价判别网络的分类效果的一个参数，判别网络损失值越小，表明判别网络的分类效果越好。通过计算判别网络损失值来调整判别网络的网络参数，以达到更好的分类效果。在本实施例中，基于不同的重建图像，即第二输出结果均会产生一个对应的判别网络损失值。具体的，可以通过计算样本图像为真实图像的概率与1，以及重建图像为真实图像的概率与0的交叉熵，并将计算的交叉熵相加得到判别网络损失值。
[0108]
在训练判别网络之前，先固定生成网络的网络参数，再将根据第二输出结果计算循环生成对抗网络模型的判别网络损失值，根据判别网络损失值更新判别网络的网络参数。判别网络的网络参数是指判别网络中各神经元之间的连接权重。可以根据判别网络损失值以及预设的判别网络参数更新方式来更新判别网络的网络参数，从而得到更新后的判别网络。其中，预设的判别网络参数更新方式可以是梯度下降法、反向传播算法等误差修正算法中的任意一种。例如，adam(adaptive moment estimation，自适应矩估计)算法。
[0109]
将重建图像集输入至更新后的判别网络中，根据更新后的判别网络模型的输出、样本图像集以及第一输出结果计算生成网络损失值得到生成网络损失值。更新后的判别网络相比于更新之前的判别网络，具有更好的分类效果。因此，在对判别网络进行更新后，固定判别网络的网络参数，再对生成网络进行训练。
[0110]
将重建图像集中的每个重建图像输入至更新后的判别网络中，得到更新后的判别网络的输出，每个重建图像对应一个更新后的判别网络的输出。进而更新后的判别网络的输出、样本图像集以及第一输出结果计算生成网络损失值。生成网络损失值可以包括生成网络的对抗损失值、感知损失值以及循环一致性损失值。
[0111]
在本实施例中，通过固定生成网络模型的网络参数，对判别网络进行训练，使得训练后的判别网络保持分类能力。在训练完判别网络之后，再固定判别网络的网络参数，对生成网络进行训练，仅将生成网络产生的损失或误差传递给生成网络，即根据更新后的判别网络的输出、样本图像集以及第一输出结果计算生成网络损失值，根据生成网络损失值更新生成网络的网络参数。通过判别网络和生成网络之间的对抗训练，以使得两个网络最终达到稳态。
[0112]
在一个实施例中，第一输出结果还包括样本图像集的样本特征以及重建图像集的重建特征；根据更新后的判别网络的输出、样本图像集以及第一输出结果计算循环生成对抗网络模型的生成网络损失值包括：根据更新后的判别网络的输出计算生成网络的对抗损失值；根据样本图像集以及第一输出结果中样本图像集对应的重建图像集计算感知损失值；根据样本特征以及重建特征计算循环一致性损失值；根据生成网络的对抗损失值、感知损失值、循环一致性损失值和预设关系算循环生成对抗网络模型的生成网络损失值。
[0113]
生成网络损失值包括生成网络的对抗损失值、感知损失值以及循环一致性损失值。对抗损失值用于去除输入图像在眼镜去除前后的风格差距。感知损失值用于确保输入图像在眼镜去除前后的分辨率保持一致。循环一致性损失值用于确保输入图像在眼镜去除前后的内容不发生变化。
[0114]
具体的，更新后的判别网络的输出包括样本图像为真实图像的概率，以及重建图像为真实图像的概率。计算重建图像为真实图像的概率与1的交叉熵，将该交叉熵作为生成网络的对抗损失。计算样本图像与对应的重建图像的距离，作为感知损失值。计算样本图像的特征与对应的重建图像的特征之间的交叉熵，作为循环一致性损失值。分别获取生成网络的对抗损失值对应的对抗权重、感知损失值对应的感知权重、循环一致性损失值对应的循环权重，根据生成网络的对抗损失值与对应的对抗权重、感知损失值与对应的感知权重、循环一致性损失值与对应的循环权重和和预设关系算生成网络损失值。预设关系可以是加权求和。
[0115]
在本实施例中，由于生成网络损失值是根据生成网络的对抗损失值、所述感知损失值、循环一致性损失值计算得到的，对抗损失值用于去除输入图像在眼镜去除前后的风格差距，感知损失值用于确保输入图像在眼镜去除前后的分辨率保持一致，循环一致性损失值用于确保输入图像在眼镜去除前后的内容不发生变化，由此能够提高眼镜去除的准确性，同时保证输入图像在眼镜去除前后的信息完整性和一致性。
[0116]
进一步的，如图9所示，为训练循环生成对抗网络过程中的网络结构示意图。在获取样本图像集后，对样本图像集中的样本图像进行预处理，具体包括人脸检测、人脸对齐、人脸裁剪以及归一化等多种数据处理，通过循环生成对抗网络中的编码器提取样本图像的样本特征，通过生成网络的解码器根据样本特征生成样本图像对应的重建图像；通过编码器提取重建图像的重建特征。从而将样本图像和重建图像输入至判别网络中，根据判别网络的输出计算对抗损失值，对抗损失值包括生成网络的对抗损失值以及判别网络损失值，根据样本图像和重建图像计算感知损失值，根据样本特征以及重建特征计算循环一致性损失值。
[0117]
在一个实施例中，已训练的眼镜去除模型包括编码器和线性回归单元；在将更新后的生成网络确定为已训练的眼镜去除模型之后，上述方法还包括：
[0118]
步骤将样本图像集输入至已训练的眼镜去除模型的编码器中，通过编码器提取样本图像集的特征信息，将特征信息进行分类，得到戴眼镜特征集和未戴眼镜特征集；通过线性回归单元对戴眼镜特征集和未戴眼镜特征集进行线性回归处理，得到戴眼镜特征集对应的眼镜添加方向的方向向量以及未戴眼镜特征集对应的眼镜去除方向的方向向量。
[0119]
线性回归单元用于对特征进行线性回归，实现将特征进行属性方向回归。
[0120]
在完成模型训练后，得到已训练的眼镜去除模型。提高已训练的眼镜去除模型预测得到戴眼镜和未戴眼镜的数据分布差异。数据分布差异可以通过计算戴眼镜方向的方向向量以及未戴眼镜方向的方向向量得到。具体的，通过已训练的眼镜去除模型的编码器提取样本图像集的特征信息，由于样本图像集中包括戴眼镜图像和未戴眼镜图像，提取的样本图像的特征信息包括戴眼镜图像的特征和未戴眼镜图像的特征两类特征。将特征信息进行分类，将戴眼镜图像的特征分为一类，组合得到戴眼镜特征集，将未戴眼镜图像的特征分为另一类，组合得到未戴眼镜特征集。
[0121]
将戴眼镜特征集和未戴眼镜特征集作为线性回归单元的输入，对戴眼镜特征集和未戴眼镜特征集进行属性方向回归，得到能够区分戴眼镜和未戴眼镜的数据分布的超平面，从而根据超平面得到戴眼镜特征集对应的眼镜添加方向的方向向量以及未戴眼镜特征集对应的眼镜去除方向的方向向量。
[0122]
在本实施例中，通过对戴眼镜特征集和未戴眼镜特征集进行线性回归处理，得到眼镜添加方向的方向向量以及眼镜去除方向的方向向量，能够确保眼镜去除后图像的其他属性不发生变化，使得属性控制更为准确，有效提高了眼镜去除图像的准确性。
[0123]
在一个实施例中，戴眼镜图像为戴眼镜的人脸图像，眼镜去除图像为眼镜去除的人脸图像；上述方法还包括：将眼镜去除的人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
[0124]
上述图像处理方法可以应用于人脸识别，能够在人脸图像中存在戴眼镜信息时，准确进行眼镜去除，提高眼镜去除图像的还原度与真实性，进而有利于提高人脸识别的准确性。人脸识别过程中，戴眼镜图像为待识别的戴眼镜的人脸图像，眼镜去除图像为眼镜去除的人脸图像。
[0125]
预设人脸图像库中存储有已注册或者已验证的人脸图像。人脸识别结果可以包括识别成功、识别失败和所匹配的人脸图像的相关信息中的至少一种，在此不作限定。如，在公共交通的安全验证系统和人脸门禁系统中，仅需要识别验证待识别的人是否合法，则人脸识别结果为识别成功或者识别失败。在公安验证系统中进行信息查询时，则人脸识别结果还包括所匹配的人脸图像的相关信息。
[0126]
将眼镜去除的人脸图像与预设人脸图像库进行匹配，得到匹配结果，根据匹配结果生成人脸识别结果。比如，当匹配到预设人脸图像库中的人脸图像时，生成识别成功的人脸识别结果。或者，当匹配到预设人脸图像库中的人脸图像时，获取所匹配的人脸图像的相关信息，根据相关信息生成人脸识别结果。当未匹配到预设人脸图像库中的人脸图像时，生成识别失败的人脸识别结果。
[0127]
在本实施例中，通过已训练的眼镜去除模型去除戴眼镜的人脸图像中的眼镜，无需手动摘取眼镜之后再进行人脸图像采集以及人脸识别，提高了人脸识别效率，避免因眼镜干扰造成无法识别的问题。并且通过将眼镜去除方向的方向向量叠加至戴眼镜图像的特征向量中，能够准确控制戴眼镜图像的特征向量进行属性反转，能够增强戴眼镜的人脸图像的有效特征，抑制无效特征，有效进行眼镜去除，同时不会对眼镜区域后的其他属性造成影响，确保眼镜去除的人脸图像恢复出戴眼镜的人脸图像的关键特征，提高眼镜去除的人脸图像的还原度和真实性，进一步保证了人脸识别结果的准确性。
[0128]
应该理解的是，虽然图2、4及5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4及5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0129]
在一个实施例中，如图10所示，提供了一种图像处理装置，包括：图像获取模块1002、特征提取模块1004、方向向量模块1006、向量叠加模块1008和图像重建模块1010，其中：
[0130]
图像获取模块1002，用于获取戴眼镜图像。
[0131]
特征提取模块1004，用于将戴眼镜图像输入至已训练的眼镜去除模型中，通过眼
镜去除模型对戴眼镜图像进行特征提取，得到戴眼镜图像的特征向量。
[0132]
方向向量获取模块1006，用于获取通过眼镜去除模型预测得到的眼镜去除方向的方向向量。
[0133]
向量叠加模块1008，用于通过眼镜去除模型将眼镜去除方向的方向向量叠加至特征向量中。
[0134]
图像重建模块1010，用于通过眼镜去除模型对叠加后的向量进行图像重建，得到戴眼镜图像对应的眼镜去除图像。
[0135]
在一个实施例中，上述装置还包括：
[0136]
样本获取模块，用于获取样本图像集。
[0137]
样本重建模块，用于将样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含样本图像集对应的重建图像集的第一输出结果；样本图像集中各样本图像与重建图像集中相应重建图像的图像风格是相同的。
[0138]
损失计算模块，用于将样本图像集以及第一输出结果中的重建图像集输入至循环生成对抗网络模型的判别网络中，得到第二输出结果；根据样本图像集、第一输出结果以及第二输出结果计算循环生成式对抗网络模型的生成网络损失值。
[0139]
参数更新模块，用于根据生成网络损失值更新生成网络的网络参数，直至满足预设条件，将更新后的生成网络确定为已训练的眼镜去除模型。
[0140]
在一个实施例中，循环生成对抗网络模型的生成网络包括编码器和解码器；样本重建模块还用于将样本图像集输入至循环生成对抗网络模型的生成网络中，通过生成网络的编码器提取样本图像集的样本特征；通过生成网络的解码器根据样本特征生成样本图像集对应的重建图像集；通过编码器提取重建图像集的重建特征，根据样本图像集、样本特征、重建图像集以及重建特征生成第一输出结果。
[0141]
在一个实施例中，编码器为基于注意力的特征金字塔网络；样本重建模块还用于通过生成网络中基于注意力的特征金字塔网络提取样本图像集中眼镜区域的多尺度特征，将提取的多尺度特征进行组合，得到样本图像集的样本特征；通过基于注意力的特征金字塔网络提取重建图像集中眼镜区域的多尺度特征，组合重建图像集中目标区域的多尺度特征，得到重建图像集的重建特征。
[0142]
在一个实施例中，损失计算模块还用于根据第二输出结果计算循环生成对抗网络模型的判别网络损失值；根据判别网络损失值更新判别网络的网络参数，得到更新后的判别网络；将重建图像集输入至更新后的判别网络中，根据更新后的判别网络的输出、样本图像集以及第一输出结果计算循环生成对抗网络模型的生成网络损失值。
[0143]
在一个实施例中，第一输出结果还包括样本图像集的样本特征以及重建图像集的重建特征；损失计算模块还用于根据更新后的判别网络的输出计算生成网络的对抗损失值；根据样本图像集以及第一输出结果中样本图像集对应的重建图像集计算感知损失值；根据样本特征以及重建特征计算循环一致性损失值；根据生成网络的对抗损失值、感知损失值、循环一致性损失值和预设关系算循环生成对抗网络模型的生成网络损失值。
[0144]
在一个实施例中，已训练的眼镜去除模型包括编码器和线性回归单元；上述装置还包括：
[0145]
特征集获取模块，用于将样本图像集输入至已训练的眼镜去除模型的编码器中，
通过编码器提取样本图像集的特征信息，将特征信息进行分类，得到戴眼镜特征集和未戴眼镜特征集；
[0146]
线性回归模块，用于通过线性回归单元对戴眼镜特征集和未戴眼镜特征集进行线性回归处理，得到戴眼镜特征集对应的眼镜添加方向的方向向量以及未戴眼镜特征集对应的眼镜去除方向的方向向量。
[0147]
在一个实施例中，戴眼镜图像为戴眼镜的人脸图像，眼镜去除图像为眼镜去除的人脸图像；上述装置还包括：
[0148]
人脸匹配模块，用于将眼镜去除的人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。
[0149]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0150]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储一种图像处理方法的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
[0151]
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0152]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的步骤。
[0153]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例中的步骤。
[0154]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0155]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛
盾，都应当认为是本说明书记载的范围。
[0156]
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取戴眼镜图像；将所述戴眼镜图像输入至已训练的眼镜去除模型中，通过所述眼镜去除模型对所述戴眼镜图像进行特征提取，得到所述戴眼镜图像的特征向量；获取通过所述眼镜去除模型预测得到的眼镜去除方向的方向向量；通过所述眼镜去除模型将所述眼镜去除方向的方向向量叠加至所述特征向量中；通过所述眼镜去除模型对叠加后的向量进行图像重建，得到所述戴眼镜图像对应的眼镜去除图像。2.根据权利要求1所述的方法，其特征在于，在所述获取戴眼镜图像之前，所述方法还包括：获取样本图像集；将所述样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含所述样本图像集对应的重建图像集的第一输出结果；所述样本图像集中各样本图像与所述重建图像集中相应重建图像的图像风格是相同的；将所述样本图像集以及所述第一输出结果中的重建图像集输入至所述循环生成对抗网络模型的判别网络中，得到第二输出结果；根据所述样本图像集、所述第一输出结果以及所述第二输出结果计算所述循环生成式对抗网络模型的生成网络损失值；根据所述生成网络损失值更新所述生成网络的网络参数，直至满足预设条件，将更新后的生成网络确定为已训练的眼镜去除模型。3.根据权利要求2所述的方法，其特征在于，所述循环生成对抗网络模型的生成网络包括编码器和解码器；所述将所述样本图像集输入至循环生成对抗网络模型的生成网络中，得到包含所述样本图像集对应的重建图像集的第一输出结果包括：将所述样本图像集输入至所述循环生成对抗网络模型的生成网络中，通过所述生成网络的编码器提取所述样本图像集的样本特征；通过所述生成网络的解码器根据所述样本特征生成所述样本图像集对应的重建图像集；通过所述编码器提取所述重建图像集的重建特征，根据所述样本图像集、所述样本特征、所述重建图像集以及所述重建特征生成第一输出结果。4.根据权利要求3所述的方法，其特征在于，所述编码器为基于注意力的特征金字塔网络；所述通过所述生成网络的编码器提取所述样本图像集的样本特征包括：通过所述生成网络中基于注意力的特征金字塔网络提取所述样本图像集中眼镜区域的多尺度特征，将提取的多尺度特征进行组合，得到所述样本图像集的样本特征；所述通过所述编码器提取所述重建图像集的重建特征包括：通过所述基于注意力的特征金字塔网络提取所述重建图像集中眼镜区域的多尺度特征，组合所述重建图像集中目标区域的多尺度特征，得到所述重建图像集的重建特征。5.根据权利要求2所述的方法，其特征在于，所述根据所述样本图像集、所述第一输出结果以及所述第二输出结果计算所述循环生成对抗网络模型的生成网络损失值包括：根据所述第二输出结果计算所述循环生成对抗网络模型的判别网络损失值；
根据所述判别网络损失值更新所述判别网络的网络参数，得到更新后的判别网络；将所述重建图像集输入至所述更新后的判别网络中，根据所述更新后的判别网络的输出、所述样本图像集以及所述第一输出结果计算所述循环生成对抗网络模型的生成网络损失值。6.根据权利要求2所述的方法，其特征在于，所述第一输出结果还包括所述样本图像集的样本特征以及所述重建图像集的重建特征；所述根据所述更新后的判别网络的输出、所述样本图像集以及所述第一输出结果计算所述循环生成对抗网络模型的生成网络损失值包括：根据所述更新后的判别网络的输出计算所述生成网络的对抗损失值；根据所述样本图像集以及所述第一输出结果中所述样本图像集对应的重建图像集计算感知损失值；根据所述样本特征以及所述重建特征计算循环一致性损失值；根据所述生成网络的对抗损失值、所述感知损失值、循环一致性损失值和预设关系算所述循环生成对抗网络模型的生成网络损失值。7.根据权利要求2所述的方法，其特征在于，已训练的眼镜去除模型包括编码器和线性回归单元；在所述将更新后的生成网络确定为已训练的眼镜去除模型之后，所述方法还包括：将所述样本图像集输入至已训练的眼镜去除模型的编码器中，通过所述编码器提取所述样本图像集的特征信息，将所述特征信息进行分类，得到戴眼镜特征集和未戴眼镜特征集；通过所述线性回归单元对所述戴眼镜特征集和所述未戴眼镜特征集进行线性回归处理，得到所述戴眼镜特征集对应的眼镜添加方向的方向向量以及所述未戴眼镜特征集对应的眼镜去除方向的方向向量。8.根据权利要求1所述的方法，其特征在于，所述戴眼镜图像为戴眼镜的人脸图像，所述眼镜去除图像为眼镜去除的人脸图像；所述方法还包括：将所述眼镜去除的人脸图像与预设人脸图像库进行匹配，根据匹配结果生成人脸识别结果。9.一种图像处理装置，其特征在于，所述装置包括：图像获取模块，用于获取戴眼镜图像；特征提取模块，用于将所述戴眼镜图像输入至已训练的眼镜去除模型中，通过所述眼镜去除模型对所述戴眼镜图像进行特征提取，得到所述戴眼镜图像的特征向量；方向向量获取模块，用于获取通过所述眼镜去除模型预测得到的眼镜去除方向的方向向量；向量叠加模块，用于通过所述眼镜去除模型将所述眼镜去除方向的方向向量叠加至所述特征向量中；图像重建模块，用于通过所述眼镜去除模型对叠加后的向量进行图像重建，得到所述戴眼镜图像对应的眼镜去除图像。10.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所
述的方法的步骤。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
技术总结
本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取戴眼镜图像；将所述戴眼镜图像输入至已训练的眼镜去除模型中，通过所述眼镜去除模型对所述戴眼镜图像进行特征提取，得到所述戴眼镜图像的特征向量；获取通过所述眼镜去除模型预测得到的眼镜去除方向的方向向量；通过所述眼镜去除模型将所述眼镜去除方向的方向向量叠加至所述特征向量中；通过所述眼镜去除模型对叠加后的向量进行图像重建，得到所述戴眼镜图像对应的眼镜去除图像。采用本方法能够提高眼镜去除图像的准确性。的准确性。的准确性。


技术研发人员：张少林 宁欣 许少辉
受保护的技术使用者：深圳威富云数科技有限公司
技术研发日：2021.03.24
技术公布日：2021/6/29