本发明涉及图像处理，尤其涉及一种基于rgb图像和高光谱图像融合的舌像检测方法。
背景技术：
1、健康一直是人们所关注的问题，科学技术的发展和工业化水平的提高使得人们生活节奏加快，生活习惯及饮食结构发生变化，导致了亚健康人群激增。当人体处于亚健康状态时，若不能得到及时的预防和治疗可能引发很多慢性疾病。然而某些疾病的前期症状几乎无法察觉，往往在加重至人体出现明显反应就医后才会被发现。因此，人们希望获取一种更加快速、便捷、精准的诊断方式来了解个人的身体情况，进而实现个人疾病预警和健康管理。
2、舌诊是中医“望”诊的重要组成部分，为中医诊断提供重要的依据，几千年来一直在中医中发挥着不可或缺的作用。中医的临床研究表明，舌通过经络与脏腑紧密相连，因此通过舌诊就可以了解人体脏腑、气血、津液的虚实和病邪的性质、轻重与变化。传统的舌诊主要是医师通过肉眼观察，对患者的舌体信息如舌色、苔色、舌苔厚薄、舌苔面积等进行评价，其诊断结果具有很强的主观性，受到医师的诊疗水平及外界环境等因素的影响。
3、舌诊的客观化研究已经成为目前的主流趋势，目前已有相关技术通过对相机拍摄的舌像进行处理，从而取代人工来自动获取舌苔和舌质的颜色、纹理等外部信息，但rgb数字图像无法感知舌体内部信息，所以无法保证识别的精准度。
技术实现思路
1、鉴于以上现有技术的缺陷，本发明提供一种基于rgb图像和高光谱图像融合的舌像检测方法，以解决舌像检测不够准确的技术问题。
2、为实现上述目的及其它相关目的，本发明提供了一种基于rgb图像和高光谱图像融合的舌像检测方法，包括如下步骤：获取待测舌部的rgb图像和高光谱图像；输入所述rgb图像至空间-图子网络中，用于加强感知图像的全局特征和局部特征，以获得空间特征；输入所述高光谱图像至光谱子网络中，用于捕捉光谱特征的长程相关性，以获得光谱特征；利用加权模块对所述空间特征和所述光谱特征进行加权求和，以得到最终的融合概率。
3、于本发明一实施例中，所述空间-图子网络包括：空间-图注意力稠密块，所述空间-图注意力稠密块包括空间自注意模块和图自注意模块，所述空间自注意模块用于加强感知图像的局部特征，所述图自注意模块用于加强感知图像的全局特征；2-d过渡层，用于减小所述空间-图注意力稠密块输出的特征图的大小；以及全局2-d平均池化层，用于将所述空间-图注意力稠密块输出的特征降采样到指定的尺寸。
4、于本发明一实施例中，所述空间-图子网络中包括三个空间-图注意力稠密块，第一个所述空间-图注意力稠密块通过一个所述2-d过渡层连接第二个所述空间-图注意力稠密块，第二个所述空间-图注意力稠密块通过一个所述2-d过渡层连接第三个所述空间-图注意力稠密块，第三个所述空间-图注意力稠密块通过一个所述全局2-d平均池化层输出。
5、于本发明一实施例中，所述空间-图注意力稠密块通过如下步骤对输入特征x1进行处理：根据如下公式对所述输入特征x1进行处理：y1={x1,f1(x1),f1[x1,f1(x1)]}，以得到特征y1；根据如下公式对所述输入特征x1进行处理：y2={x1,f2(x1),f2[x1,f2(x1)]}，以得到特征y2；拼接所述特征y1和所述特征y2，以得到所述空间-图注意力稠密块的输出特征；上述公式中，f1和f2均为复合函数运算，所述f1包括、以及所述空间自注意模块，所述f2包括、以及所述图自注意模块。
6、于本发明一实施例中，所述空间自注意模块通过如下步骤对输入的特征图x进行处理：输入所述特征图x至两个平行的的conv层，分别得到特征图a和特征图b；计算所述特征图a的中心向量与其邻居之间的相似度，以得到空间注意力图s；使用softmax函数对所述空间注意力图s进行归一化，以得到特征图s’；计算所述特征图b和所述特征图s’的逐元素乘积，以得到特征图wspa；将所述特征图wspa和所述特征图x进行残差连接后输出。
7、于本发明一实施例中，所述光谱子网络包括：光谱注意力稠密块，用于捕捉光谱特征的长程相关性；1-d过渡层，用于减小所述光谱注意力稠密块输出的特征图的大小；以及全局1-d平均池化层，用于将所述光谱注意力稠密块输出的特征降采样到指定的尺寸。
8、于本发明一实施例中，所述光谱注意力稠密块通过如下步骤对输入特征x2进行处理：根据如下公式对所述输入特征x2进行处理：y3={x2,f3(x2),f3[x2,f3(x2)]}，并将所述特征y3作为所述光谱注意力稠密块的输出特征，其中，f3为复合函数运算，其包括、以及光谱自注意力模块。
9、于本发明一实施例中，所述光谱自注意力模块通过如下步骤对输入的特征图y进行处理：计算所述特征图y中任意两个波段之间的相似性，以得到光谱注意力概率图q；使用softmax函数对所述光谱注意力概率图q的每一列进行归一化，以得到特征图q’；计算所述特征图y和所述特征图q’的逐元素乘积，以得到特征图wspe；将所述特征图wspe和所述特征图y进行残差连接后输出。
10、于本发明一实施例中，所述利用加权模块对所述空间特征和所述光谱特征进行加权求和，以得到最终的融合概率的步骤包括：输入所述空间特征至第一全连接层，以得到第一概率fspa；输入所述光谱特征至第二全连接层，以得到第二概率fspe；将所述第一概率fspa、第二概率fspe代入公式f=σ[λ×fspa＋(1-λ)×fspe]中得到最终的融合概率f，其中，σ[ ]表示softmax函数，λ为权重参数。
11、于本发明一实施例中，所述获取待测舌部的rgb图像和高光谱图像的步骤包括：获取待测舌部的原始rgb图像和原始高光谱图像；通过颜色匹配函数对所述原始高光谱图像进行转换得到伪彩色图像；利用改进unet网络分别对所述原始rgb图像和所述伪彩色图像进行舌像分割，得到第一掩膜图像和第二掩膜图像，根据所述第一掩膜图像以及所述原始rgb图像得到舌部的所述rgb图像，根据所述第二掩膜图像以及所述原始高光谱图像得到舌部的第一高光谱图像；对所述第一高光谱图像进行降维，得到降维后的舌部的所述高光谱图像。
12、本发明的有益效果：本发明提出的一种基于rgb图像和高光谱图像融合的舌像检测方法，该方法通过融合rgb图像和高光谱图像，结合深度学习算法实现融合概率的获取，从而将舌部图像处理成类别信息，相比于单模态rgb图像而言，多模态图像的融合增加了舌部的信息量，蕴含更多的生物学信息，有利于实现健康状态的精确分类，并且步骤未增加额外成本，有助于推广应用。
1.一种基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，包括如下步骤：
2.根据权利要求1的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述空间-图子网络包括：
3.根据权利要求2的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述空间-图子网络中包括三个所述空间-图注意力稠密块，第一个所述空间-图注意力稠密块通过一个所述2-d过渡层连接第二个所述空间-图注意力稠密块，第二个所述空间-图注意力稠密块通过一个所述2-d过渡层连接第三个所述空间-图注意力稠密块，第三个所述空间-图注意力稠密块通过一个所述全局2-d平均池化层输出。
4.根据权利要求2的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述空间-图注意力稠密块通过如下步骤对输入特征x1进行处理：
5.根据权利要求4的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述空间自注意模块通过如下步骤对输入的特征图x进行处理：
6.根据权利要求1的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述光谱子网络包括：
7.根据权利要求6的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述光谱注意力稠密块通过如下步骤对输入特征x2进行处理：
8.根据权利要求7的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述光谱自注意力模块通过如下步骤对输入的特征图y进行处理：
9.根据权利要求1的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述利用加权模块对空间特征和光谱特征进行加权求和，以得到最终的融合概率的步骤包括：
10.根据权利要求1的基于rgb图像和高光谱图像融合的舌像检测方法，其特征在于，所述获取待测舌部的rgb图像和高光谱图像的步骤包括：
