本发明涉及计算机视觉中的图像分类技术领域，并特别涉及一种基于多尺度注意力机制的真菌显微图像分类方法及系统。
背景技术：
数据显示，自然界真菌约200万种，人类致病真菌约560种。真菌每年诊疗费约26亿美金。全世界每年有数千万医学真菌感染者，由病原导致的真菌深部感染每年导致150万人死亡，严重威胁人类健康。
如何快速准确鉴别医学真菌感染，尤其是致命的真菌感染是世界医学亟待攻克的难题。目前在临床中，主要通过生化鉴定的方式来判断致病真菌的类别，整个过程可以持续4-10天。现有的基于深度学习的真菌分类识别技术，大都只能对有限几种真菌进行分类，同时存在所需要的训练数据集非常庞大，分类准确率不高的问题。
对于真菌显微图像的识别分类，目前面临的主要技术难点是：
酵母菌和有丝真菌的形态大小间存在一定的差异，酵母菌通常大小较小，在图像中仅占一小部分区域。而有丝真菌则相对更大；
同属异种真菌之间的形态差异较小，例如：光滑念珠菌和季也蒙念珠菌，人眼观察时仅从图像上很难分辨出种类。
技术实现要素：
对于上述，本发明在se模块中设计了spatialatrous模块。具体而言，该模块将三个空洞率分别为3、6、9的空洞卷积的输出特征图连接在一起，再输入下个卷积层。这样做的好处是，对于空洞率为3的空洞卷积，它输出的特征图尺寸较大，感受野较小，这样的特征图蕴含丰富的局部细节信息；对于空洞率为9的空洞卷积，它输出的特征图尺寸较小，感受野较大，这样的特征图蕴含丰富的全局细节信息。本发明将这样三种空洞率不同的空洞卷积输出的三种尺寸不一的特征图融合在一起，可以获得丰富的全局信息和局部信息，即融合了丰富的多尺度信息。这样的网络对于不同尺寸的待检物(真菌)的鲁棒性较强。并且，本发明在网络中加入se模块，以使网络聚焦于真菌所在的区域，尽可能忽略背景区域的影响。从而能更准确地识别形态差异较小的同属异种真菌。
具体来说，本发明提出一种基于多尺度注意力机制的真菌显微图像分类方法，其中包括：
步骤1、获取训练样本，该训练样本包括多张真菌显微图像，且每张真菌显微图像具有对应的真菌类别标签；
步骤2、构建包括注意力模块的深度学习图像分类模型，使用该训练样本训练该深度学习图像分类模型，并将训练完成的该深度学习图像分类模型作为真菌图像分类模型；
步骤3、将待分类的真菌显微图像输入该真菌图像分类模型，得到其真菌类别。
所述的基于多尺度注意力机制的真菌显微图像分类方法，其中该深度学习图像分类模型中包括串联连接的卷积层，且串联卷积层的输出与该注意力模块的输入端相连。
所述的基于多尺度注意力机制的真菌显微图像分类方法，其中该深度学习图像分类模型包括平均池化层、全连接层和激活层。
所述的基于多尺度注意力机制的真菌显微图像分类方法，其中输入该深度学习图像分类模型的真菌显微图像，会经过多个卷积层提取出图像特征，并将图像特征输入带有空洞卷积的注意力模块，使深度学习网络的注意力聚焦于真菌所在区域，再经过一层卷积层后，得到真菌类别。
所述的基于多尺度注意力机制的真菌显微图像分类方法，其中该注意力模块通过将多个空洞率不同的空洞卷积的输出特征图连接在一起，得到多尺度融合特征，再将其输入至该深度学习图像分类模型中最末端的卷积层。
本发明还提出有了一种基于多尺度注意力机制的真菌显微图像分类系统，其中包括：
模块1，用于获取训练样本，该训练样本包括多张真菌显微图像，且每张真菌显微图像具有对应的真菌类别标签；
模块2，用于构建包括注意力模块的深度学习图像分类模型，使用该训练样本训练该深度学习图像分类模型，并将训练完成的该深度学习图像分类模型作为真菌图像分类模型；
模块3，用于将待分类的真菌显微图像输入该真菌图像分类模型，得到其真菌类别。
所述的基于多尺度注意力机制的真菌显微图像分类系统，其中该深度学习图像分类模型中包括串联连接的卷积层，且串联卷积层的输出与该注意力模块的输入端相连。
所述的基于多尺度注意力机制的真菌显微图像分类系统，其中该深度学习图像分类模型包括平均池化层、全连接层和激活层。
所述的基于多尺度注意力机制的真菌显微图像分类系统，其中输入该深度学习图像分类模型的真菌显微图像，会经过多个卷积层提取出图像特征，并将图像特征输入带有空洞卷积的注意力模块，使深度学习网络的注意力聚焦于真菌所在区域，再经过一层卷积层后，得到真菌类别。
所述的基于多尺度注意力机制的真菌显微图像分类系统，其中该注意力模块通过将多个空洞率不同的空洞卷积的输出特征图连接在一起，得到多尺度融合特征，再将其输入至该深度学习图像分类模型中最末端的卷积层。
由以上方案可知，本发明的优点在于：
1.本方法不局限于单纯区分酵母菌和有丝真菌，而是可以分辨酵母菌和有丝真菌的同属异种共11种类别，包括光滑念珠菌、解脂假丝酵母菌、近平滑念珠菌、季也蒙念珠菌、克柔念珠菌、葡萄芽菌、热带念珠菌，新型隐球菌和黑曲霉、烟曲霉、杂色曲霉。因此在临床上更有可能识别出致病菌种类，从而加快引入抗真菌药物，缩短病人的康复时间，减轻病人的痛苦。
2.设计的图像分类算法作为一种普适方法，能适用于多种不同的任务，具有普遍的应用价值。
附图说明
图1为数据集中各子类别示例图；
图2为深度学习模型架构图；
图3为真菌分类fcl模块结构图；
图4为图3中dilatedse模块的展开图。
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
本技术方案包含以下三个主要技术流程：数据集制作、模型训练与优化和分类结果输出。
1.数据集制作
在本实施例中对原始培养48h，100x显微镜下的真菌显微图像，本发明对其进行裁剪以扩充数据集。数据集中共包含酵母菌和有丝真菌的同属异种共11种类别，示例图像如图1所示。
2.模型训练与优化
制作好数据集后，将数据集输入深度学习分类网络，进行模型的训练与优化。
所使用的深度学习模型的架构如图2所示。在的轻量级网络mobilenetv2网络的基础上，引入了squeeze-and-excitation(se)模块，其基于图像通道的注意力机制，可以显式地建模特征通道之间的相互依赖关系，实现特征的重新标定。因真菌在真菌采样的显微图像中通常只占一小部分，图像大部分都是背景部分。故为了使网络聚焦于目标物，也就是真菌所在的区域，se模块包括squeeze和excitation，前者包含一个全局池化层，将全局空间信息压缩成一个通道描述符，以获得全局感受野；后者包含两个全连接层，以完全捕获通道相关性。
并且为了进一步扩大网络中图像的感受野和提取多尺度的上下文信息，同时不显著增加计算量，本发明在se模块中引入空洞卷积。在卷积神经网络中，感受野是一个重要的影响因素，它是卷积神经网络的每一层输出的特征图上的像素点在原图像上映射的区域大小，可以反映网络所提取的特征信息的多少。为增大感受野，通常的方法是利用池化操作缩小图像尺寸，然后通过上采样还原图像尺寸，但是这样会引起图像细节信息的丢失，从而引起网络精度的下降。因此，空洞卷积成为一种更好的替代方法。空洞卷积向卷积层引入了一个称为“空洞率(atrousrate)”的新参数，从而在特征图相同情况下，空洞卷积可以得到更大的感受野，获得更加密集的数据。感受野的增大，提高了网络对于小物体的识别精度。
本发明采用的轻量级网络mobilenetv2网络包括：
1>平均池化层，用于缩小网络的参数量，加速网络计算。将卷积核参数从(输入通道数×输出通道数×滤波范围×滤波范围)缩小为(输出通道数)。
2>全连接层(fc)，用于分析网络特征，区分每层输出的重要性。
3>激活层(relu)，用于向网络引入非线性因素，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题。
本发明所设计的真菌分类(fungiclassification,fcl)模块的结构如图3所示。图中为了简洁起见，省略了批归一化(bn)、平均池化层、全连接层和激活层。输入的真菌图像，经过三个卷积层提取出图像特征后，输入带有空洞卷积的se模块，使网络的注意力聚焦于真菌所在区域，再经过一层卷积层后，进行结果的输出。
图3中的dilatedse模块具体如图4所示。它以图3中conv3卷积层的输出作为输入，先经过全局池化层和squeeze操作，将全局空间信息压缩成一个通道描述符。然后经过所设计的spatialatrous模块。该模块的详解如图4右边框所示。该模块将三个空洞率分别为3、6、9的空洞卷积的输出特征图连接在一起，再进行excitation。由此对于空洞率为3的空洞卷积，其输出的特征图尺寸较大，感受野较小，以蕴含丰富的局部细节信息；对于空洞率为9的空洞卷积，其输出的特征图尺寸较小，感受野较大，以蕴含丰富的全局细节信息。将这样三种空洞率不同的空洞卷积输出的三种尺寸的特征图融合在一起，可以获得丰富的全局信息和局部信息，即融合了丰富的多尺度信息。由此对于不同尺寸的待检物(真菌)的鲁棒性更强。spatialatrous模块输出的特征图被进一步进行excitation操作，其包含两个全连接层，以完全捕获通道相关性。最后，整个dilatedse模块的输出被输入图三中conv4卷积层，经过类别预测后输出结果。
当模型在训练集上训练完成，并在验证集上输出结果后，进行网络参数的微调，不断迭代优化模型，直到分类结果满足标准。最后，用优化训练完成的模型对测试集进行类别预测，最终获得分类结果。
3.分类结果输出
模型对测试集数据分类完成后，进行分类结果的输出。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出有了一种基于多尺度注意力机制的真菌显微图像分类系统，其中包括：
模块1，用于获取训练样本，该训练样本包括多张真菌显微图像，且每张真菌显微图像具有对应的真菌类别标签；
模块2，用于构建包括注意力模块的深度学习图像分类模型，使用该训练样本训练该深度学习图像分类模型，并将训练完成的该深度学习图像分类模型作为真菌图像分类模型；
模块3，用于将待分类的真菌显微图像输入该真菌图像分类模型，得到其真菌类别。
所述的基于多尺度注意力机制的真菌显微图像分类系统，其中该深度学习图像分类模型中包括串联连接的卷积层，且串联卷积层的输出与该注意力模块的输入端相连。
所述的基于多尺度注意力机制的真菌显微图像分类系统，其中该深度学习图像分类模型包括平均池化层、全连接层和激活层。
所述的基于多尺度注意力机制的真菌显微图像分类系统，其中输入该深度学习图像分类模型的真菌显微图像，会经过多个卷积层提取出图像特征，并将图像特征输入带有空洞卷积的注意力模块，使深度学习网络的注意力聚焦于真菌所在区域，再经过一层卷积层后，得到真菌类别。
所述的基于多尺度注意力机制的真菌显微图像分类系统，其中该注意力模块通过将多个空洞率不同的空洞卷积的输出特征图连接在一起，得到多尺度融合特征，再将其输入至该深度学习图像分类模型中最末端的卷积层。
1.一种基于多尺度注意力机制的真菌显微图像分类方法，其特征在于，包括：
步骤1、获取训练样本，该训练样本包括多张真菌显微图像，且每张真菌显微图像具有对应的真菌类别标签；
步骤2、构建包括注意力模块的深度学习图像分类模型，使用该训练样本训练该深度学习图像分类模型，并将训练完成的该深度学习图像分类模型作为真菌图像分类模型；
步骤3、将待分类的真菌显微图像输入该真菌图像分类模型，得到其真菌类别。
2.如权利要求1所述的基于多尺度注意力机制的真菌显微图像分类方法，其特征在于，该深度学习图像分类模型中包括串联连接的卷积层，且串联卷积层的输出与该注意力模块的输入端相连。
3.如权利要求1所述的基于多尺度注意力机制的真菌显微图像分类方法，其特征在于，该深度学习图像分类模型包括平均池化层、全连接层和激活层。
4.如权利要求3所述的基于多尺度注意力机制的真菌显微图像分类方法，其特征在于，输入该深度学习图像分类模型的真菌显微图像，会经过多个卷积层提取出图像特征，并将图像特征输入带有空洞卷积的注意力模块，使深度学习网络的注意力聚焦于真菌所在区域，再经过一层卷积层后，得到真菌类别。
5.如权利要求1到4所述的任一种基于多尺度注意力机制的真菌显微图像分类方法，其特征在于，该注意力模块通过将多个空洞率不同的空洞卷积的输出特征图连接在一起，得到多尺度融合特征，再将其输入至该深度学习图像分类模型中最末端的卷积层。
6.一种基于多尺度注意力机制的真菌显微图像分类系统，其特征在于，包括：
模块1，用于获取训练样本，该训练样本包括多张真菌显微图像，且每张真菌显微图像具有对应的真菌类别标签；
模块2，用于构建包括注意力模块的深度学习图像分类模型，使用该训练样本训练该深度学习图像分类模型，并将训练完成的该深度学习图像分类模型作为真菌图像分类模型；
模块3，用于将待分类的真菌显微图像输入该真菌图像分类模型，得到其真菌类别。
7.如权利要求1所述的基于多尺度注意力机制的真菌显微图像分类系统，其特征在于，该深度学习图像分类模型中包括串联连接的卷积层，且串联卷积层的输出与该注意力模块的输入端相连。
8.如权利要求1所述的基于多尺度注意力机制的真菌显微图像分类系统，其特征在于，该深度学习图像分类模型包括平均池化层、全连接层和激活层。
9.如权利要求3所述的基于多尺度注意力机制的真菌显微图像分类系统，其特征在于，输入该深度学习图像分类模型的真菌显微图像，会经过多个卷积层提取出图像特征，并将图像特征输入带有空洞卷积的注意力模块，使深度学习网络的注意力聚焦于真菌所在区域，再经过一层卷积层后，得到真菌类别。
10.如权利要求6到9所述的任一种基于多尺度注意力机制的真菌显微图像分类系统，其特征在于，该注意力模块通过将多个空洞率不同的空洞卷积的输出特征图连接在一起，得到多尺度融合特征，再将其输入至该深度学习图像分类模型中最末端的卷积层。
技术总结