本发明属于妆容迁移领域，具体涉及一种基于生成对抗网络的复合妆容迁移方法。
背景技术：
1、妆容迁移的目的是将参考图像的化妆风格转移到目标图像中，同时保留目标人物的身份。随着化妆品市场的蓬勃发展，妆容迁移在众多流行的美颜应用中广受欢迎，例如美图秀秀、beautycam等，为用户提供了便捷的虚拟化妆服务。同时，在计算机视觉和图形学领域，妆容迁移也引起了广泛关注。
2、目前妆容迁移方法主要分为基于传统方法、基于卷积神经网络和基于生成对抗网络三种。基于传统方法的妆容迁移模型使用传统计算机视觉和图像处理技术来实现妆容的迁移。基于卷积神经网络的妆容迁移模型利用卷积神经网络(cnn)的结构，实现参考图像妆容风格向源图像的迁移。基于生成对抗网络(gan)的妆容迁移是使用gan框架训练生成器和判别器网络，实现素颜图像到目标妆容风格图像的转化。以上方法只关注人脸妆容的迁移，生成的效果比较单一。并且还常常出现上妆区域错误和妆容迁移不完整的问题。
3、针对上述不足，本发明提出一种基于生成对抗网络的复合妆容迁移方法。本发明的独特之处在于首次聚焦于复合妆容迁移问题，并通过妆容迁移分支和头发迁移分支的协同作用，成功生成了同时涵盖发型和妆容的复合妆容迁移图像。同时，本发明训练了一个共享编码器，用于提取参考图像和源图像的特征。最后，通过设计一个特征对齐模块，该模块能够引导参考图像和源图像建立起密集的语义对应关系，从而提高了模型的精度。本发明不仅弥补了目前妆容迁移方法的局限性，而且在涉及复杂妆容和发型的情境下，为图像生成领域开辟了新的可能性。
技术实现思路
1、本发明解决的技术问题在于针对现有技术的不足，提出一种基于生成对抗网络的复合妆容迁移方法，用于生成了同时涵盖发型和妆容的复合妆容迁移图像。
2、为了达到上述目的，本发明提供的一种基于生成对抗网络的复合妆容迁移方法是按以下步骤进行的：
3、步骤1：运用共享编码器对输入的参考图像和源图像进行内容特征和语义特征提取，模块的计算结构如下：
4、
5、
6、
7、
8、
9、
10、其中，irec和isrc分别代表参考图像和源图像，e()代表共享编码器。
11、步骤2：采用妆容迁移分支进行人脸妆容的迁移。
12、步骤2.1：将提取的参考图像和源图像的内容特征和语义特征输入到特征融合模块，融合内容特征和语义特征，获得更丰富的语义对应特征。
13、
14、
15、
16、其中，ffusion()代表的是模型的妆容迁移分支中的特征融合模块，δ表示空间下采样函数。类似的，ψ表示空间上采样函数。“；”表示通道级联运算符。
17、步骤2.2：将获得的密集语义对应特征引入特征对齐模块，以利用这一信息在空间上扭曲妆容特征，从而建立源图像和参考图像之间更为准确和精细的语义对应关系。
18、步骤2.3：采用空间自适应反规范化(spade)块将对齐的妆容风格和源图像的内容特征相结合，以进行妆容的迁移。
19、步骤2.4：使用语义对应损失和颜色一致性损失的加权损失作为妆容迁移分支的损失函数。
20、lmakeup＝βsemanticlsemantic+βcolorlcolor
21、其中，lsemantic和lcolor分别代表语义对应损失和颜色一致性损失。同时βsemantic和βcolor分别表示它们的权重。
22、语义对应损失的计算公式为：
23、
24、
25、
26、其中，st∈rh*w*l和sr∈rh*w*l指的是二值人脸解析，只有值0和1。||*||1指的是l1损失。
27、颜色一致性损失的计算公式为：
28、
29、其中，指的是步骤2.2的输出结果。是人脸特征点生成的伪数据对。spl约束和isrc之间的梯度一致性以保证同一性，并限制和之间的颜色一致性来指导妆容迁移。
30、步骤3：采用发型迁移分支进行发型的迁移
31、步骤3.1：通过从参考图像和源图像提取的头发内容特征和语义特征，将这些关键信息传递至姿势一致性模块。该模块的主要目标在于通过对这些特征进行深度学习分析，以实现对参考图像姿势的优化调整，使其与源图像的姿势保持一致。这个过程涉及到对头发内容的准确捕捉和对语义特征的精细解读，从而确保在调整姿势的同时不丢失头发的真实感和整体语义的一致性。
32、步骤3.2：在进行姿势对齐过后，使用对齐头发的语义特征来对人脸中被原始源头发遮挡的区域进行修复。如果从源图像中删除源头发区域，则遮挡区域应填充适当的语义(例如前额、脸部、颈部、衣服和背景)以适合对齐的目标头发。
33、步骤3.3：在从共享编码器中提取的参考图像和源图像的头发内容特征和语义特征经历了上述的步骤3.1和步骤3.2处理后，将它们与源图像的内容特征一并输入解码器中。这一过程旨在通过解码器的操作，获得发型迁移的最终结果。通过整合参考图像和源图像的头发特征以及语义信息，解码器能够生成具有高度准确性和自然感的头发迁移结果，进一步提高了模型的合成效果。
34、步骤3.4：使用姿势一致性损失和局部风格匹配损失的加权损失作为发型迁移分支的损失函数。
35、lhair＝αposelpose+αstylelstyle
36、其中，lpose和lstyle分别代表姿势一致性损失和局部风格匹配损失。同时，αpose和αstyle分别表示它们的权重。
37、姿势一致性损失的公式为：
38、
39、hsrc＝e(isrc)
40、其中，qe表示3d关键点热图中的数量元素。e是预训练的关键点提取器。g是预训练的生成器。表示正在优化的参考图像的内容特征。
41、局部风格匹配损失的公式为：
42、
43、其中，v表示使用的vgg层数。另外，表示gi中的元素数量。这里，gi和vggi分别表示vgg的第i个gram矩阵和第i层。gi的计算为vitvi，其中对应于vggi的激活。
44、步骤4：将妆容迁移分支生成的妆容迁移结果和发型迁移分支生成的发型迁移结果共同输入到特征融合模块，以使妆容特征和发型特征能与源图像进行充分的融合。
45、步骤5：将特征融合模块输出的结果输入到解码器中，从而生成最后的具有复合妆容迁移结果的图片。
1.一种基于生成对抗网络的复合妆容迁移方法，其特征在于包括如下步骤：
2.根据权利要求1所述一种基于生成对抗网络的复合妆容迁移方法，其特征在于步骤1包括：
3.根据权利要求1所述一种基于生成对抗网络的复合妆容迁移方法，其特征在于步骤2包括：
4.根据权利要求1所述一种基于生成对抗网络的复合妆容迁移方法，其特征在于步骤3包括：
