本发明属于自然场景图像语义分割技术领域，具体涉及一种基于注意力的联合图像与特征自适应的语义分割方法。
背景技术：
随着深度学习技术的提出和快速发展，基于深度学习的图像语义分割方法已越发成熟。然而由于对图像进行像素级标注需要一定的专业知识和极高的劳动成本，导致难以获得具有充足标注样本的图像语义分割数据集，从而极大程度上限制了语义分割模型的性能。目前，业界处理这一问题的主要方法是跨模态训练策略。具体来说，考虑到图像有多种成像方式，不同成像方式得到的不同模态影像之间的样本数量和标注难度不同，例如医学领域中mri(磁共振成像)影像的标注难度低于ct(计算机断层扫描)影像，能得到的mri标注样本数量明显多于ct标注样本。因此，跨模态语义分割首先在标注样本丰富的源模态数据集(源域)上进行预训练，然后使用该预训练模型对标注样本稀缺的目标模态数据集(目标域)进行语义分割，得到像素级的分割结果。然而，由于源域和目标域之间存在着严重的领域差异，导致在源域上预训练得到的影像分割模型难以在目标域上取得理想效果。
为解决上述跨模态语义分割中存在的领域差异问题，业界主要通过两方面进行处理：图像自适应和特征自适应。图像自适应方法通过消除源域图像和目标域图像的图像外观差异，来缩小源域和目标域之间的领域差异。具体来说，图像自适应方法首先在源域数据集上训练得到图像分割模型，然后通过图像转换方法将未标记的目标域数据集转换为类源域数据集，最后使用先前训练的图像分割模型对转换后的类源域数据集进行图像分割。与图像自适应方法不同，特征自适应方法通过对齐源域和目标域之间的特征空间，得到领域不变特征，从而在特征层面缩小领域差异。目前大多数方法要么基于图像自适应，要么基于特征自适应，而忽略了二者之间的协同作用。此外，虽然有少数方法尝试将这两种自适应结合在一起，但是他们只是将二者简单的串联在一起，并没有充分发挥它们的作用。
技术实现要素：
有鉴于此，本发明的目的在于提供一种基于注意力的联合图像与特征自适应的语义分割方法。该方法采用图像自适应器和特征自适应器分别从图像外观和特征空间两方面逐步缩小源域图像和目标域图像的领域差异，并在特征自适应器中引入注意力模块，使其能够捕获重要区域的关键特征，最后使用端到端的方式将图像自适应器与特征自适应连接在一起，以充分发挥二者的协同作用。该方法能够有效地缓解跨模态语义分割中存在的领域差异问题，从而有效提升图像语义分割模型性能。
为了实现上述发明目的，本发明所采用的技术方案是：一种基于注意力的联合图像与特征自适应的语义分割方法，包括以下步骤：
步骤(1)，利用图像自适应器对源域图像进行图像风格转换，在不改变图像内容的前提下，将源域图像转换为与目标域图像外观相似的类目标图像；
步骤(2)，使用特征自适应器分别在语义预测空间和图像生成空间中对齐类目标图像和目标图像之间的特征，以提取到领域不变特征；
步骤(3)，在特征自适应器中引入注意力模块，所述注意力模块由池化层、上采样层、卷积层和sigmoid激活层组成；
步骤(4)，使用端到端的方式将图像自适应器和特征自适应器连接在一起，得到领域自适应联合框架，最终通过训练得到鲁棒性强的高性能图像分割模型。
进一步的，所述步骤(1)中使用图像自适应器对源域图像进行图像风格转换的具体实施方式如下，
11)首先，将源域图像xs输入到对抗神经网络gan的生成器gt中，以生成类目标域图像xs-t，并使用对抗神经网络中与gt相对应的判别器dt对xs-t进行判别，判断该图像是真实的目标域图像，还是转换得到的类目标域图像，该gan的损失函数记为
其中，sd和td分别表示源域数据集和目标域数据集，xt表示真实的目标域图像；
12)然后，将目标域图像xt送入另一个生成器gs中，从而将目标图像xt转换为类原域图像xt-s，并使用对应的判别器ds进行判别，不同于过程1)中生成器gt，生成器gs由两个单独的网络模块组成，即gs表示为
13)使用循环一致性约束对图像转换过程进行指导，具体而言，循环一致性约束分为前向一致性约束和反向一致性约束，前向一致性约束保证xs在图像转换为xs-t之后能够通过图像转换重新回到xs，即表示为：xs→gt(xs)＝xs-t→t(f(gt(xs)))＝xs-t-s；同样的，反向一致性约束能够保证xt在图像转换为xt-s之后能够通过图像转换重新回到xt，即表示为：xt→t(f(xt))＝xt-s→gt(t(f(xt)))＝xt-s-t；循环一致性约束记为
其中，
14)最后，在得到类目标域图像xs-t之后，即可将其输入到分割网络中进行训练，具体而言，分割网络由上述过程中使用的特征提取器f和新引入的分类器c组成，可表示为
其中，ce(·)表示交叉熵损失；dice(·)表示dice损失；ps-t为分割模型对xs-t的预测结果。
进一步的，所述生成器gt由3个卷积层，9个残差块，2个反卷积层和一个卷积层构成。
进一步的，所述判别器dt由三层步长为2的卷积层和两层步长为1的卷积层构成，且卷积核大小均为4*4；判别器ds的网络结构与dt相同。
进一步的，所述特征提取器f的网络构成表示为{c,r,p,r,p,2×r,p,2×r,4×r,2×r,2×d,2×c}，其中{c,r,p,d}分别表示卷积层、残差块、最大池化层和空洞卷积层。
进一步的，所述特征解码器t包括1个卷积层、4个残差块，3个反卷积层和1个卷积层；分类器c仅由一层1×1的卷积层组成。
进一步的，所述步骤(2)中使用特征自适应器提取领域不变特征的具体实施方式如下，
21)为了进一步缩小转换得到的类目标域图像xs-t和目标域图像xt之间的领域差异，从两个方面对齐xs-t和xt所处的特征空间，以学习到领域不变特征；具体而言，这两个方面对应的特征空间分别为语义预测空间和图像生成空间；
22)在语义预测空间中，分别使用特征提取器f对xs-t和xt进行特征提取，并将提取出的特征输入到分类器c中进行像素级标签预测，从而得到预测的xs-t和xt的分割结果；然后使用一个额外的判别器dp对这两个预测结果进行判别，以区分二者的差异，此过程的损失函数记为
23)在图像生成空间中，对于生成器
进一步的，所述判别器dp由三层步长为2的卷积层和两层步长为1的卷积层构成，且卷积核大小均为4*4。
进一步的，所述步骤(3)中在特征自适应器引入注意力模块的具体实施方式如下，
31)在特征自适应中引入一个注意力模块以帮助其提取到注意力感知特征，具体而言，首先将特征提取器f提取得到的特征，输入到大小为2×2的最大池化层进行降采样，然后采用双线性插值进行上采样操作；
32)将上采样后的结果输入到卷积核大小为1×1的卷积中，并使用sigmoid激活函数对齐进行处理，以得到注意力感知图a(·)；
33)最后，根据注意力感知图得到该注意力模块的输出结果，计算公式如(7)所示：
h(x)＝(1 a(x))*f(x)#(7)
其中，x表示输入的图像；f(x)表示特征提取器提取到的特征；a(x)表示得到的注意力感知图；h(x)表示最终输出的特征；a(x)的取值范围为[0,1]，其中病变图像区域中，注意力权重趋近于1，背景区域的注意力权重趋近于0。
进一步的，所述步骤(4)中使用端到端的方式构建领域自适应联合框架的具体实施方式如下，
41)所述领域自适应联合框架由图像自适应器和特征自适应器以端到端的方式连接在一起得到，端到端的连接方式指的是：首先将源域图像和目标域图像输入到图像自适应器中得到风格类似的类目标域图像和真实目标域图像，然后将二者输入到特征自适应器中，最终输出目标域图像语义分割预测结果，具体而言，通过多任务学习策略，使得f能够捕获到更加鲁棒的特征，从而使图像自适应和特征自适应相互受益，该联合框架的目标函数记为
其中，λs,λcyc,λseg,λp,
42)随着联合框架的梯度反向传播，各个模块的更新顺序表示为：
与现有技术相比，本发明的优点和有益效果如下：
1)与现有基于图像自适应或者基于特征自适应的技术相比，本发明提出了一种同时结合图像和领域自适应的领域自适应框架，通过端到端的方式将二者有效地结合在一起，在提高训练效率的同时，使二者互相收益，从而达到更好的领域自适应效果。
2)为了进一步提升方法效果，本发明引入了一种新颖的注意力模块，该模块可以帮助模型重点关注值得关注的病变或器官区域，通过对病变或器官区域的特征进行增强，以提升特征自适应效果和最终的分割模型的性能。
3)与现有技术相比，本发明提出的方法可以有效解决跨模态图像语义分割中存在的领域差异问题，并有效地提升图像语义分割模型的性能，在多个公开数据集中实现了最优的效果。
附图说明
图1为本发明实施例中联合学习框架图示。
图2为本发明实施例中注意力模块网络图示。
图3和图4为本发明实施例的医学影像分割结果图示。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
如图1，本发明所采用的技术方案是一种基于注意力的联合图像与特征自适应的语义分割方法，包括以下步骤：
(1)利用图像自适应器对源域图像进行图像风格转换，在不改变图像内容的前提下，将源域图像转换为与目标域图像外观相似的图像(记为类目标图像)，从而在图像外观层面缩小源域图像与目标图像之间的差异。
(2)使用特征自适应器分别在语义预测空间和图像生成空间中对齐类目标图像和目标图像之间的特征，以提取到领域不变特征，从而进一步消除类目标图像和真实目标图像之间的领域差异。
(3)在特征自适应器中引入注意力模块，使其能够重点关注类目标图像和目标图像之间领域差异大的关键图像区域，并帮助其提取到注意力感知的特征，从而高效准确的缩小领域之间的差异。
(4)使用端到端的方式将图像自适应器和特征自适应器连接在一起，得到领域自适应联合学习框架，在加快训练效率的同时，使二者相互受益，最终得到鲁棒性强的高性能图像分割模型。
而且，所述步骤(1)中使用图像自适应器对源域图像进行图像风格转换的具体实施方式如下，
1)首先，将源域图像xs输入到对抗神经网络(gan)的生成器gt(由3个卷积层，9个残差块，2个反卷积层和一个卷积层构成)中，以生成类目标域图像xs-t。并使用对抗神经网络中与gt相对应的判别器dt(由三层步长为2的卷积层和两层步长为1的卷积层构成，且卷积核大小均为4*4)对xs-t进行判别，判断该图像是真实的目标域图像的，还是转换得到的类目标域图像。该gan的损失函数记为
其中，sd和td分别表示源域数据集和目标域数据集，xt表示真实的目标域图像。随着网络的优化，损失函数趋近于零，即判别器dt无法判断xs-t是否是真实目标域图像，还是转换得到的类目标域图像。换而言之，xs-t的图像外观与目标域图像外观相似，即从图像外观层面缩小源域和目标域之间的差异。
2)然后，与上述过程类似，将目标域图像xt送入另一个生成器gs中，从而将目标图像xt转换为类原域图像xt-s，并使用对应的判别器ds(与dt结构相同，由三层步长为2的卷积层和两层步长为1的卷积层构成，且卷积核大小均为4*4)进行判别。不同于过程1)中生成器gt，生成器gs由两个单独的网络模块组成，即gs可以表示为
3)为了保住转换得到的图像能够保留源域的特征，通常使用循环一致性约束对图像转换过程进行指导。具体而言，循环一致性约束分为前向一致性约束和反向一致性约束，前向一致性约束保证xs在图像转换为xs-t之后能够通过图像转换重新回到xs，即能够表示为：xs→gt(xs)＝xs-t→t(f(gt(xs)))＝xs-t-s；同样的，反向一致性约束能够保证xt在图像转换为xt-s之后能够通过图像转换重新回到xt，即能够表示为：xt→t(f(xt))＝xt-s→gt(t(f(xt)))＝xt-s-t。循环一致性约束记为
其中，
4)最后，在得到类目标域图像xs-t之后，即可将其输入到分割网络中进行训练。具体而言，本发明使用的分割网络由上述过程中使用的特征提取器f和新引入的分类器c(分类器c仅由一层1×1的卷积层组成)组成，可表示为
其中，ce(·)表示交叉熵损失；dice(·)表示dice损失，该dice损失函数可以有效解决样本类别不平衡的问题；ps-t为分割模型对xs-t的预测结果。
而且，所述步骤(2)中使用特征自适应器提取领域不变特征的具体实施方式如下，
1)为了进一步缩小转换得到的类目标域图像xs-t和目标域图像xt之间的领域差异，从两个方面对齐xs-t和xt所处的特征空间，以学习到领域不变特征。具体而言，这两个方面对应的特征空间分别为语义预测空间和图像生成空间。
2)在语义预测空间中，分别使用特征提取器f对xs-t和xt进行特征提取，并将提取出的特征输入到分类器c中进行像素级标签预测，从而得到预测的xs-t和xt的分割结果。然后使用一个额外的判别器dp(与dt结构相同，由三层步长为2的卷积层和两层步长为1的卷积层构成，且卷积核大小均为4*4)对这两个预测结果进行判别，以区分二者的差异。此过程的损失函数记为
3)在图像生成空间中，对于生成器
而且，所述步骤(3)中在特征自适应器引入注意力模块具体实施方式如下，
1)考虑到不同图像区域通常具有不同程度的领域差异，而且关键图像区域往往更值得关注。所以，为了使分割网络更多的关注到值得关注的区域，本发明在特征自适应中引入一个注意力模块以帮助其提取到注意力感知特征。具体而言，首先将特征提取器f提取得到的特征，输入到大小为2×2的最大池化层进行降采样，然后采用双线性插值进行上采样操作。
2)将上采样后的结果输入到卷积核大小为1×1的卷积中，并使用sigmoid激活函数对齐进行处理，以得到注意力感知图a(·)。
3)最后，根据注意力感知图可以得到该注意力模块的输出结果。计算公式如(7)所示：
h(x)＝(1 a(x))*f(x)#(7)
其中，x表示输入的图像；f(x)表示特征提取器提取到的特征；a(x)表示得到的注意力感知图。h(x)表示最终输出的特征。a(x)的取值范围为[0,1]，其中关键图像区域中，注意力权重趋近于1，背景区域的注意力权重趋近于0。换而言之，使用这一注意力模块可以对关键图像区域的特征进行增强，从而提升特征自适应器和最终的分割模型的性能。
而且，所述步骤(4)中使用端到端的方式构建领域自适应联合框架的具体实施方式如下，
1)本发明提出的领域自适应联合框架由图像自适应器和特征自适应器以端到端的方式连接在一起得到。端到端的连接方式指的是：首先将源域图像和目标域图像输入到图像自适应器中得到风格类似的类目标域图像和真实目标域图像，然后将二者输入到特征自适应器中，最终输出目标域图像语义分割预测结果。具体而言，将图像自适应器和特征自适应器串联，并在二者中共享特征提取器f，通过多任务学习策略，使得f能够捕获到更加鲁棒的特征，从而使图像自适应和特征自适应相互受益。该联合框架的目标函数记为
其中，λs,λcyc,λseg,λp,
2)随着联合框架的梯度反向传播，各个模块的更新顺序可以表示为：
下面以一个实施例来对本发明的实现过程进行说明：
(1)首先，输入源域图像xs，通过生成器gt，生成类目标图像xs-t；然后，使用判别器dt对xs-t进行判别；再将xs-t输入gs以重建原域图像xs-t-s；最终，使用前向一致性约束对图像转换进行指导。具体而言，生成器gt由3个卷积层，9个残差块，2个反卷积层和一个卷积层构成；生成器gs由特征提取器f和特征解码器t组成，f的网络构成可以表示为{c,r,p,r,p,2×r,p,2×r,4×r,2×r,2×d,2×c}，其中{c,r,p,d}分别表示卷积层、残差块、最大池化层和空洞卷积层，t包括1个卷积层、4个残差块，3个反卷积层和1个卷积层；判别器dt、ds、dp均由三层步长为2的卷积层和两层步长为1的卷积层(共5层卷积核大小为4*4的卷积层)组成。
(2)与上述过程类似，将目标域图像xt输入生成器gs中，以生成类原域图像xt-s；接着将xt-s输入判别器ds中进行判别；随后将xt-s送入到生成器gt中以生成重建后的目标域图像xt-s-t；最后使用后向一致性约束对图像转换进行指导。
(3)将生成的xs-t和xt送入后续的特征提取器进行特征提取操作，以提取输入图像的局部特征，再输入到注意力模块中，得到注意力感知特征，最后通过分类器进行分类，生成预测结果ps-t和pt。具体而言，分类器仅由一层1×1的卷积层组成。
(4)最后，将预测结果ps-t和pt送入到判别器dp中进行判别，并将xs-t重构之后得到的图像xs-t-s和xt-s输入到ds中进行判别，以分别从语义预测空间和图像生成空间对齐源域和目标域的特征，学习到领域不变特征。
(5)通过上述联合框架的协同优化，最终训练得到由特征提取器、注意力模块和分类器组成的医学影像分割模型。
图2提供了注意力模块的网络结构图，注意力模块由池化层、上采样层、卷积层和sigmoid激活层组成。具体细节包括以下：
(1)输入图像首先经过大小为2×2的最大池化层进行下采样操作。
(2)然后再使用双线性插值方式进行上采样操作，用来恢复图像的分辨率。
(3)使用卷积核大小为1×1的卷积层，对上采样后的图片进行卷积操作，再通过sigmoid函数进行激活，得到最终的注意力感知图。
图3和图4所示为提出的跨模态语义分割领域自适应联合框架在医学影像上的分割效果。图3展示了本发明提出的方法在从肺部肿瘤mri影像中t2模态迁移到flair模态上的图像分割结果；图4展示了本发明提出的方法在从心脏结构mri影像模态迁移到ct影像模态上的图像分割结果。本发明能够有效的缓解跨模态语义分割任务中领域差异所带来的分割性能下降的问题，并能够显著减少错误分割，得到更精确的分割结果，有效提升了语义分割模型性能。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
1.一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：构建了一种跨模态图像语义分割领域自适应联合框架，包括图像自适应器和特征自适应器，采用图像自适应器和特征自适应器分别从图像外观和特征空间两方面逐步缩小源域图像和目标域图像的领域差异，并在特征自适应器中引入注意力模块，使其能够捕获重要区域的关键特征，最后使用端到端的方式将图像自适应器与特征自适应连接在一起，具体包括如下步骤：
步骤(1)，利用图像自适应器对源域图像进行图像风格转换，在不改变图像内容的前提下，将源域图像转换为与目标域图像外观相似的类目标图像；
步骤(2)，使用特征自适应器分别在语义预测空间和图像生成空间中对齐类目标图像和目标图像之间的特征，以提取到领域不变特征；
步骤(3)，在特征自适应器中引入注意力模块，所述注意力模块由池化层、上采样层、卷积层和sigmoid激活层组成；
步骤(4)，使用端到端的方式将图像自适应器和特征自适应器连接在一起，得到领域自适应联合框架，最终通过训练得到鲁棒性强的高性能图像分割模型。
2.如权利要求1所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述步骤(1)中使用图像自适应器对源域图像进行图像风格转换的具体实施方式如下，
11)首先，将源域图像xs输入到对抗神经网络gan的生成器gt中，以生成类目标域图像xs-t，并使用对抗神经网络中与gt相对应的判别器dt对xs-t进行判别，判断该图像是真实的目标域图像，还是转换得到的类目标域图像，该gan的损失函数记为
其中，sd和td分别表示源域数据集和目标域数据集，xt表示真实的目标域图像；
12)然后，将目标域图像xt送入另一个生成器gs中，从而将目标图像xt转换为类原域图像xt-s，并使用对应的判别器ds进行判别，不同于过程1)中生成器gt，生成器gs由两个单独的网络模块组成，即gs表示为
13)使用循环一致性约束对图像转换过程进行指导，具体而言，循环一致性约束分为前向一致性约束和反向一致性约束，前向一致性约束保证xs在图像转换为xs-t之后能够通过图像转换重新回到xs，即表示为：xs→gt(xs)＝xs-t→t(f(gt(xs)))＝xs-t-s；同样的，反向一致性约束能够保证xt在图像转换为xt-s之后能够通过图像转换重新回到xt，即表示为：xt→t(f(xt))＝xt-s→gt(t(f(xt)))＝xt-s-t；循环一致性约束记为
其中，
14)最后，在得到类目标域图像xs-t之后，即可将其输入到分割网络中进行训练，具体而言，分割网络由上述过程中使用的特征提取器f和新引入的分类器c组成，可表示为
其中，ce(·)表示交叉熵损失；dice(·)表示dice损失；ps-t为分割模型对xs-t的预测结果。
3.如权利要求2所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述生成器gt由3个卷积层，9个残差块，2个反卷积层和一个卷积层构成。
4.如权利要求2所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述判别器dt由三层步长为2的卷积层和两层步长为1的卷积层构成，且卷积核大小均为4*4；判别器ds的网络结构与dt相同。
5.如权利要求2所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述特征提取器f的网络构成表示为{c,r,p,r,p,2×r,p,2×r,4×r,2×r,2×d,2×c}，其中{c,r,p,d}分别表示卷积层、残差块、最大池化层和空洞卷积层。
6.如权利要求2所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述特征解码器t包括1个卷积层、4个残差块，3个反卷积层和1个卷积层；分类器c仅由一层1×1的卷积层组成。
7.如权利要求2所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述步骤(2)中使用特征自适应器提取领域不变特征的具体实施方式如下，
21)为了进一步缩小转换得到的类目标域图像xs-t和目标域图像xt之间的领域差异，从两个方面对齐xs-t和xt所处的特征空间，以学习到领域不变特征；具体而言，这两个方面对应的特征空间分别为语义预测空间和图像生成空间；
22)在语义预测空间中，分别使用特征提取器f对xs-t和xt进行特征提取，并将提取出的特征输入到分类器c中进行像素级标签预测，从而得到预测的xs-t和xt的分割结果；然后使用一个额外的判别器dp对这两个预测结果进行判别，以区分二者的差异，此过程的损失函数记为
23)在图像生成空间中，对于生成器
8.如权利要求7所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述判别器dp由三层步长为2的卷积层和两层步长为1的卷积层构成，且卷积核大小均为4*4。
9.如权利要求7所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述步骤(3)中在特征自适应器引入注意力模块的具体实施方式如下，
31)在特征自适应中引入一个注意力模块以帮助其提取到注意力感知特征，具体而言，首先将特征提取器f提取得到的特征，输入到大小为2×2的最大池化层进行降采样，然后采用双线性插值进行上采样操作；
32)将上采样后的结果输入到卷积核大小为1×1的卷积中，并使用sigmoid激活函数对齐进行处理，以得到注意力感知图a(·)；
33)最后，根据注意力感知图得到该注意力模块的输出结果，计算公式如(7)所示：
h(x)＝(1 a(x))*f(x)#(7)
其中，x表示输入的图像；f(x)表示特征提取器提取到的特征；a(x)表示得到的注意力感知图；h(x)表示最终输出的特征；a(x)的取值范围为[0,1]，其中病变图像区域中，注意力权重趋近于1，背景区域的注意力权重趋近于0。
10.如权利要求9所述的一种基于注意力的联合图像与特征自适应的语义分割方法，其特征在于：所述步骤(4)中使用端到端的方式构建领域自适应联合框架的具体实施方式如下，
41)所述领域自适应联合框架由图像自适应器和特征自适应器以端到端的方式连接在一起得到，端到端的连接方式指的是：首先将源域图像和目标域图像输入到图像自适应器中得到风格类似的类目标域图像和真实目标域图像，然后将二者输入到特征自适应器中，最终输出目标域图像语义分割预测结果，具体而言，通过多任务学习策略，使得f能够捕获到更加鲁棒的特征，从而使图像自适应和特征自适应相互受益，该联合框架的目标函数记为
其中，λs,λcyc,λseg,λp,
42)随着联合框架的梯度反向传播，各个模块的更新顺序表示为：
