本发明属于计算机视觉领域，针对基于多尺度特征的多任务学习模型进行改进，具体而言，提出了一种适用于密集预测任务的分层多任务学习方法。
背景技术：
1、在计算机视觉领域，密集预测任务是指产生像素级预测的任务，如语义分割需要对图像中每个像素进行标注。常见的密集预测任务包括：语义分割、单目深度估计和显著性目标检测等。这些任务都致力于解决视觉场景中不完全相同但又相互关联的问题，所以需要一个具备辨别和交互不同视觉信息的模型，使得模型对图像中每个像素点的理解更为准确。
2、多任务学习(mtl)方法的出现提供了一种解决方案，可以利用这些任务之间的内部依赖关系提高模型性能。换句话说，mtl框架旨在同时学习多个任务，利用任务之间共享的知识构建更全面的场景理解。然而，传统的mtl方法中，不同任务通常被看作并行的学习目标，这可能会忽略自然场景中视觉元素的相互作用和层次性质。这种限制会导致次优的特征共享，在某些情况下，还会导致任务之间负迁移现象的发生。mtl的最新进展旨在解决这些局限性，但现有的方法不能很好的解耦多个任务之间的关系。
3、如图1所示，本文提出的网络是编码器-解码器结构，编码器是多尺度主干网络hrnet18或swin-t，而解码器主要包括fpc、taf和aicm，其从三个层级特征的交互解耦多任务之间的关系，以提高网络的效率和鲁棒性。具体方法如下：1)单尺度特征级多任务之间信息交互：为了促进单尺度特征级任务之间信息充分共享和不同尺度间信息充分融合，引用mti方法中fpm思想，设计特征传播和连接模块(fpc)；2)不同尺度级特征的加权融合：根据不同任务对不同尺度特征的亲和力不同，给予非必要特征尺度比较小的权重，重要特征尺度比较大的权重，来缓解网络中引入大量噪声信息和冗余特征的问题，设计任务自适应多尺度融合模块(taf)；3)不同任务信息交互：为了缓解不同任务之间信息交互导致的负迁移现象，设计了非对称信息互补模块(aicm)。其将不同任务之间的信息分为共享信息和差异信息，然后将差异特征分别使用se进行处理，进一步细化对当前任务有用的特征，有效过滤网络中的噪声信息，再将输入此模块的原始特征和被se过滤的差异信息相加，得到此模块的输出特征。最后，使用“ph”预测头进行最终的任务预测。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本发明提供了一种用于密集预测任务的分层多任务学习方法。解决了当前基于多尺度特征的多任务学习网络在一些复杂场景上多任务学习指标较差的问题。
3、(二)技术方案
4、为实现以上目的，本发明提出一种用于密集预测任务的分层多任务学习方法，该网络主要由四个组件组成，它们对应于分层多任务学习过程的不同层级：1)提取初始多尺度特征的主干网络，2)特征传播和连接(fpc)模块，3)任务自适应多尺度融合(taf)模块，4)非对称信息对比模块(aicm)。首先，为了进行主干网络输出特征不同任务之间信息共享和不同尺度之间特征增强，受mti中fpm影响，设计fpc模块。接着，为了减少网络中非必要尺度特征的冗余，本发明提出了taf，此模块由多感受野特征模块(mff)、多层感知机(mlp)和上采样融合结构组成。其中，mff运用空洞卷积获取更加丰富的感受野，这对像素级分类任务是非常重要的。其次，为了缓解多任务信息共享过程中出现的负迁移问题，本发明提出了aicm，此模块首先获得不同任务之间的共享特征和差异特征，然后对差异特征使用se单独进行过滤的方式进行处理，来减少网络中的噪声信息，加速网络的进程。最后，对aicm输出的各个任务特征分别使用输出预测头得到不同任务最终的预测结果。
5、本发明所述的一种用于密集预测任务的分层多任务学习方法，包括以下步骤：
6、s1.采用多尺度主干网络编码器对网络输入图像提取多尺度基本特征和
7、s2.设计特征传播和连接(fpc)模块，利用fpc将s1提取的多尺度基本特征进行单尺度级别信息交换，使任务之间共享基础特征和初始语义上下文信息。
8、s3.设计任务自适应多尺度特征融合(taf)模块，利用taf将s2增强的多尺度特征以不同的权重组合进行不同尺度间特征融合。针对不同尺度i的任务特征和网络通过自适应学习到两组不同权重以进行不同尺度间信息的融合，丰富每个任务的特征表示。除此之外，随着网络的加深，细节信息被逐渐稀释，将s1提取的浅层信息经过3×3卷积特征对齐后与taf输出特征fsem和fsal在通道维度拼接进行细节特征的增强。
9、s4.设计非对称信息对比模块(aicm)，利用aicm将s3过滤和增强后的特征将不同任务之间的信息分为共享信息和差异信息，然后将差异特征分别使用se进行处理，进一步细化对当前任务有用的特征，有效过滤网络中的噪声信息，再将输入此模块的原始特征和被se过滤的差异信息相加，得到此模块的输出特征。最后，经过终端预测头(ph)，不同任务的特征得到细化和预测结果的输出。
10、除此之外，s2中fpc还可以进行多尺度特征之间的有效融合，增强不同尺度特征的丰富度。s4中aicm使得不同任务之间信息共享，增强每个任务特征的多样性，提高彼此的性能。
11、(三)有益效果
12、本发明提供了一种用于密集预测任务的分层多任务学习方法。具备以下有益效果：
13、本发明通过使用任务自适应多尺度融合模块解决了传统多尺度特征融合过程中引入大量冗余信息的问题。通过非对称信息对比模块缓解了多任务特征融合过程中负迁移现象发生。
14、本发明提出的模型性能较好，在大数据集pascal-context和小数据集nyud-v2上的实验结果表明本发明算法要优于现有的先进算法。
1.一种用于密集预测任务的分层多任务学习方法，具体步骤如下：
2.如权利要求1所述一种用于密集预测任务的分层多任务学习方法，其特征在于，步骤s2所述设计特征传播和连接模块具体步骤为：首先，语义特征和显著性特征在通道维度拼接后使用“conv block”细化特征，这一步为接下来特定任务的注意力机制奠定了基础；在卷积之后，将合并的特征图在通道维度进行了划分；然后，通过softmax函数产生的注意力图通过与原始的高级特征和逐元素相乘，产成了一组既包含了每个任务所需共享属性，也体现了独特属性的增强特征；接着，应用1×1卷积恢复通道尺度；为了强调特定于不同任务的信息，特征传播和连接模块包含了两个不同的挤压-激励se模块，每个模块都根据任务相关性进行微调，以细化特征；最后，残差连接将特征与原始对应特征和重新整合，在不偏离既定语义上下文的情况下增强特征集。
3.如权利要求1所述一种用于密集预测任务的分层多任务学习方法，其特征在于，步骤s3所述设计任务自适应多尺度特征融合模块具体步骤为：首先是进行不同尺度特征感受野的扩充，然后使用多层感知机将神经元的数量缩小到4，用来学习各个尺度特征的权重，最后进行不同尺度特征的融合输出。
4.如权利要求1所述一种用于密集预测任务的分层多任务学习方法，其特征在于，步骤s4所述非对称信息对比模块由三个并行的分支组成：总体信息分支、共享信息分支和独特信息分支。
5.如权利要求1所述一种用于密集预测任务的分层多任务学习方法，其特征在于，步骤s2所述设计特征传播和连接模块具体步骤为：首先进行语义分割和显著性目标检测任务输入特征的聚合，如下式所示：
6.如权利要求1所述一种用于密集预测任务的分层多任务学习方法，其特征在于，步骤s3所述设计任务自适应多尺度特征融合模块具体步骤为：首先，输入多尺度特征分别经过多感受野特征模块得到等于通道数量的神经元；然后再将来自不同尺度特征的神经元拼接起来，经过mlp将神经元的数量缩小到4，将softmax激活函数作用于神经元，得到适用于当前任务的最优尺度组合比例wi；其中，得到wi的过程如下式所述：
7.如权利要求1所述一种用于密集预测任务的分层多任务学习方法，其特征在于，步骤s4所述设计非对称信息对比模块具体步骤为：首先，语义分割任务信息f′sem和显著性检测任务信息f′sal在通道维度拼接得到两个任务的总体信息，然后是一个1×1的卷积来恢复维度，从而得到了这两个任务的全面表示：
