本发明属于医学图像处理，尤其涉及基于图像识别的局部感知和全局共现先验学习方法。
背景技术：
1、现有的胸部x光图像多标签识别技术大多只关注从输入样本到二进制标签输出之间的回归，以顺序的方式对标签关系进行建模，通过设计注意力机制对图像中的病变区域进行着重学习，并将不稳定的词向量作为学习标签关系的对象。上述方法缺乏联合分析和整合学习来自这些多个标签间全局与局部关系的能力，以及利用标签间共现关系这一宝贵先验知识的能力。如果能引导胸部x光图像多标签识别技术学习多种病理之间潜在的有价值信息，在样本图像中区分共同出现的病理具有重要意义。
2、通过上述分析，现有技术存在的问题及缺陷为：现有技术中，在每张样本图像上不能进行自适应构图，一级不能从局部角度出发构建并学习病理标签间相关性；现有技术中在所有病理标签间不能基于共现关系构图，从全局角度出发构建并学习病理标签间共现先验知识；由于上述问题，导致在x光图像多标签识别上的精度低。
技术实现思路
1、为克服相关技术中存在的问题，本发明公开实施例提供了基于图像识别的局部感知和全局共现先验学习方法及系统。本发明目的在于在每张样本图像上能进行自适应构图，从局部角度出发构建并学习病理标签间相关性；以及在所有病理标签间基于共现关系构图，从全局角度出发构建并学习病理标签间共现先验知识。
2、所述技术方案如下：基于图像识别的局部感知和全局共现先验学习方法，包括：
3、s1，利用每幅图像上自适应构建图方法获取局部病理间相关性；
4、s2，基于局部病理间相关性，利用全局共现图构建方法引导病理间的信息传播，获取全局病理间依赖关系；
5、s3，利用全连接分类器，将获取的图像中的疾病种类特征表示、局部病理间相关性特征表示、全局病理间依赖关系的特征表示，通过逐元素相加的方式进行融合，学习并输出预测结果。
6、在步骤s1中，局部病理间相关性的表达式为：
7、；
8、；
9、其中，表示mlp学习到的每幅图像的高维类别特征，表示全连接层，表示图像的全局特征，表示mlp的可学习参数，表示共有c维，表示局部病理间的相关性，表示每幅图像的第个高维类别特征，表示每幅图像的第个高维类别特征，代表哈达玛积，表示维度数；
10、基于每幅待测图像都有一个独立的局部相关图，采用双层图卷积网络挖掘该图上类别间的局部相关性，表达式为：
11、；
12、其中，表示图卷积层的输出，表示第层图卷积，表示第层输入的每幅图像的高维类别特征，表示第层网络参数，表示图卷积网络的网络层数，gc代表图卷积操作，最终的输出具有局部病理间相关性。
13、在步骤s2中，获取全局病理间依赖关系，包括：以数据驱动的方式对训练集中所有类的共现关系建模成图结构形式表示，通过计算训练集所有图像中每个标签对的共现次数，形成频率矩阵，，表示第类和第类的共现次数，表示维度是c×c；利用频率矩阵计算全局类共生矩阵如下：
14、；
15、其中，表示第类在训练集中出现的次数，表示第类出现时第类出现的条件概率；
16、对矩阵进行二值化处理，通过设置一个阈值参数过滤掉类间关系中的噪声边缘，如果的值大于阈值参数，则，否则为0；
17、采用图注意力层汇聚学习邻近特征，图注意层的输入是节点特征集，其中，是全局类共生矩阵每个节点的特征维数，表示节点特征集合，通过线性变换矩阵w计算出节点和节点之间的注意力权重系数，并应用于所有节点；注意力权重系数表示节点对节点的影响，计算公式为：，是拼接操作，表示权重因子，表示变换矩阵，表示第个节点，表示第个节点；图关注层允许每个节点关注所有的节点；在计算注意力权重系数时，节点属于节点的邻居节点中的一个；使用leakyrelu作为非线性激活函数，并通过sigmoid函数进行归一化，使的激活过程表示为：
18、；
19、其中，是归一化注意力权重系数矩阵的值，表示注意力权重系数经过sigmoide激活函数后的输出，表示自然指数函数，表示注意力权重系数经过激活函数后的输出，表示第个节点的邻居节点中的第个，表示第个节点的邻居节点；
20、为了稳定图注意层的学习过程，对多头自我注意机制进行了如下扩展：
21、；
22、其中，表示包含全局类依赖模式的类相关表示的输出特性，表示注意力头数，表示归一化的注意力权重系数矩阵，表示输入的类相关表示，表示层中对应的第个注意力头下的可变换权重矩阵；
23、在多头自注意机制下，输出特征将被串联并传递给下一个节点，经过多层堆叠图注意力层的信息传递和聚合后，最终经过平均后作为末层的输出，最终的输出能够表示全局病理间依赖关系。
24、还包括：局部感知模块解耦每张样本图像上特定类的相关表示，通过局部类相关特征感知器从语义丰富的图像全局特征中感知特定类的相关表示，以局部线性运算的方式，该局部线性运算的方式具体过程为设计的局部类相关感知器，由一层全连接神经网络构成，解耦每幅图像上特定类的相关表示，获得每个类别的激活向量。
25、在步骤s3中，通过逐元素相加的方式进行融合，学习并输出预测结果，表达式为：
26、；
27、其中，代表模型整体最终的输出，代表图像中的疾病种类特征表示，从图像丰富的全局特征中感知图像中的疾病种类特征表示的具体方法为：
28、；
29、其中，代表所设计的局部类相关感知器，由一层全连接神经网络构成，表示图卷积层输出，也就是局部感知模块的输出，表示全局共现先验学习模块的输出。
30、进一步，解耦每幅图像上特定类的相关表示，获得每个类别的激活向量，包括：
31、对图像进行中心裁剪，并随机水平翻转和随机旋转；选择swin transformer-tiny(swin-t)作为特征提取器，输出全局特征，该特征的维度d1为768维，具体过程为：将输入图像定义为i，经过swin-t提取后，得到一个全局图像特征表示代表全局平均池化操作，其维度为d1=768；将全连接层设置为局部类相关特征感知器，以获得多个类相关表示的初步置信度得分yp，其中从图像丰富的全局特征中感知图像中的疾病种类特征表示的具体方法为：，其中代表我们所设计的局部类相关感知器，由一层全连接神经网络构成。
32、进一步，将d1重复操作c次，得到，通过点积得到相应类别的激活向量z，具体过程为：
33、；
34、其中，表示重复c次以获得的图像全局特征，代表全连接层网络的参数，z表示在感知到特定类的相关表征后得到的类激活向量，表示类激活向量z的维度是一个的二维矩阵；在堆叠图卷积层对自适应构图进行学习ygc时，两层图卷积层输出特征尺寸。
35、进一步，全局共现先验学习模块通过顺序的方式堆叠2个图注意力层，每个层中有2个自注意力头数。
36、进一步，学习并输出预测结果包括：
37、利用全连接层用于学习最终预测输出yout，使用多标签分类损失函数更新和训练。
38、本发明的另一目的在于提供一种基于图像识别的局部感知和全局共现先验学习系统，该系统通过所述的基于图像识别的局部感知和全局共现先验学习实现，该系统包括：
39、局部病理间相关性获取模块，用于利用每幅图像上自适应构建图方法获取局部病理间相关性；
40、全局病理间依赖关系获取模块，用于基于局部病理间相关性，利用全局共现图构建方法引导病理间的信息传播，获取全局病理间依赖关系；
41、融合模块，用于利用全连接分类器，将获取的图像中的疾病种类特征表示、局部病理间相关性特征表示、全局病理间依赖关系的特征表示，通过逐元素相加的方式进行融合，学习并输出预测结果。
42、结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明设计了一种在每幅图像上自适应构建图的方法，从局部的角度出发构建病理间相关性。从全局的角度出发，构建了一种能反映所有病理间依赖关系的全局共现图。最后联合分析并整合学习了病理间的全局和局部关系。
43、为测试全局共现先验学习模块及局部感知模块的有效性，将技术进行组合拆解，并在进行消融实验。实验从基线骨干模型swin transformer-tiny开始，该模型的得分为0.734。基线和局部感知模块将心肌肥大和水肿分别提高了7.9%和12.1%，所有病理标签的平均auc得分达到0.808。已有研究表明，临床心肌肥大的发病往往与水肿有关，这表明局部感知模块学习了局部类别之间的相关性，证明了其有效性。在基线和全局共现先验学习模块中，本发明只使用原始图像的高级特征，而不使用类别相关表示的增强，全局共现先验学习模块的学习完全挖掘了隐含的类别间依赖模式。在将“浸润”提高了1.7%的同时，与疾病有很强相关性的“心脏肿大”和“渗出”也分别提高了6.1%和5.7%。全局共现先验学习模块将基线技术的整体性能提高了7.1%，证明了在学习全局类间依赖模式方面的有效性。最终，完整技术的平均auc分数比基线提高了9.4%，这表明本发明设计的这两个模块可以相互促进并增强。
44、通过使用这种算法，医疗领域可以实现更准确和快速的胸部x光图像分析，从而提高疾病的早期诊断和治疗效果。这将对患者的健康结果产生积极的影响，并有助于降低医疗系统的负担。
45、首先，胸部x光图像识别算法可以帮助医生更准确地检测和诊断肺部疾病，如肺结核、肺炎和肺癌等。通过快速而准确地分析大量的x光图像，医生可以更早地发现潜在的问题，提供及时的治疗和干预，从而提高患者的生存率和生活质量。其次，这种算法还可以在筛查和预防方面发挥重要作用。通过对大规模人群进行胸部x光图像的分析，可以快速筛查出有潜在疾病风险的个体，并进行进一步的检查和治疗。这有助于提前发现和预防疾病的发展，减少医疗资源的浪费。
46、医疗设备制造商可以开发和销售与该算法配套的高性能x光设备，满足市场对更准确和高效胸部图像识别的需求。同时，医疗机构可以将该算法应用于临床实践中，提供更优质的医疗服务，增加患者的满意度和忠诚度。随着技术的不断进步和应用的推广，这种算法将在医疗行业中发挥越来越重要的作用。
47、目前现有的胸部x光图像多标签识别技术大多只关注从输入样本到二进制标签输出之间的回归，以顺序的方式对标签关系进行建模，通过设计注意力机制对图像中的病变区域进行着重学习，并将不稳定的词向量作为学习标签关系的对象。上述方法缺乏联合分析和整合学习来自这些多个标签间全局与局部关系的能力，以及利用标签间共现关系这一宝贵先验知识的能力。我们认为，如果能引导胸部x光图像多标签识别技术学习多种病理之间潜在的有价值信息，那么它就能在样本图像中轻松区分共同出现的病理。我们设计的方法正是填补了这一方面技术的空白。
1.基于图像识别的局部感知和全局共现先验学习方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于图像识别的局部感知和全局共现先验学习方法，其特征在于，在步骤s1中，局部病理间相关性的表达式为：
3.根据权利要求1所述的基于图像识别的局部感知和全局共现先验学习方法，其特征在于，在步骤s2中，获取全局病理间依赖关系，包括：以数据驱动的方式对训练集中所有类的共现关系建模成图结构形式表示，通过计算训练集所有图像中每个标签对的共现次数，形成频率矩阵，，表示第类和第类的共现次数，表示维度是c×c；利用频率矩阵计算全局类共生矩阵如下：
4.根据权利要求3所述的基于图像识别的局部感知和全局共现先验学习方法，其特征在于，还包括：局部感知模块解耦每张样本图像上特定类的相关表示，通过局部类相关特征感知器从语义丰富的图像全局特征中感知特定类的相关表示，以局部线性运算的方式，该局部线性运算的方式具体过程为设计的局部类相关感知器，由一层全连接神经网络构成，解耦每幅图像上特定类的相关表示，获得每个类别的激活向量。
5.根据权利要求1所述的基于图像识别的局部感知和全局共现先验学习方法，其特征在于，在步骤s3中，通过逐元素相加的方式进行融合，学习并输出预测结果，表达式为：
6.根据权利要求4所述的基于图像识别的局部感知和全局共现先验学习方法，其特征在于，解耦每幅图像上特定类的相关表示，获得每个类别的激活向量，包括：
7.根据权利要求6所述的基于图像识别的局部感知和全局共现先验学习方法，其特征在于，将d1重复操作c次，得到，通过点积得到相应类别的激活向量z，具体过程为：
8.根据权利要求5所述的基于图像识别的局部感知和全局共现先验学习方法，其特征在于，全局共现先验学习模块通过顺序的方式堆叠2个图注意力层，每个层中有2个自注意力头数。
9.根据权利要求5所述的基于图像识别的局部感知和全局共现先验学习方法，其特征在于，学习并输出预测结果包括：
