一种妇科微生态中孢子的检测识别方法、设备及存储介质与流程

1.本发明涉及妇科生殖道微生态下显微图像中孢子的智能检测识别领域，特别涉及一种妇科微生态中孢子的智能检测识别方法、设备及存储介质。


背景技术：

2.假丝酵母菌在一定条件下侵犯女性下生殖道而引起外阴皮肤黏膜炎症，常称为外阴阴道假菌丝酵母菌病，也称为真菌性阴道炎或者霉菌性阴道炎，而孢子就是其中一种常见的女性生殖道的致病霉菌。目前针对女性生殖道分泌物生物标本的革兰氏染色方法是最常用的检验方法，显微镜下的形态学检查是妇科阴道微生态诊断的金标准，因此对于孢子的形态学检测及提高孢子的检出率，并同时降低孢子的误检率对于诊断女性真菌性阴道炎起着至关重要的作用，但是经革兰氏染色后的孢子的形态与生殖道分泌物中的一些上皮细胞核和白细胞核的形态非常相似，而且生殖道的生物标本中有时会存在男性的精子，精子经革兰氏染色后的形态与孢子也非常相似，因此利用计算机视觉技术识别孢子时，这三类容易造成孢子的误检。
3.目前，针对女性生殖道微生态下孢子的检测识别，研究者们提出了一些解决方案，但是这些解决方案并未很好的解决以上问题。
4.公开号为cn107480662a的发明专利名称为“一种霉菌图像识别方法及其装置”中通过自适应阈值分割方法进行图像分割，然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选，自适应阈值分割方法受参数变化的影响比较大，不同参数针对同一图像分割出来的结果不同，而且无法通过统一确定的自适应阈值参数对大部分场景进行很好的分割，而分割的结果又会对后面的筛选方法产生很大的影响，如果单个孢子与其他微生物产生交叉堆叠就影响了孢子的形态，通过这些几何形态的方法筛选交叉堆叠的孢子也就失效了，因此采用该方法容易造成孢子的漏检；同时，基于该方法分割出的一些上皮细胞核、白细胞核和精子在形态上与孢子非常相似，容易造成孢子的误检。
5.另外，公开号为cn110458808a，发明专利名称为“基于形态学与yolo算法的女性生殖道病原体识别方法”，主要通过基于卷积神经网络的目标检测算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的孢子，该方法可比较有效地克服孢子之间堆叠且孢子与女性生殖道微生态中其他的微生物堆叠的情况，提高孢子的检出率，但是该方法将与孢子非常相似的一些上皮细胞核、白细胞核和精子作为背景训练，无法很好的区分孢子与上皮细胞核、白细胞核和精子，也容易造成孢子的误检，导致孢子假阳性率的提升。
6.人工智能技术的进展对计算机视觉领域产生了极大的提升，其中标注数据又是人工智能中最重要的三要素之一。针对与孢子非常相似的上皮细胞核，目前常用的标注规则是按照上皮细胞核的最小外接直立矩形标注，但是不同上皮细胞核的面积大小不等且差距较大，其中面积较小且革兰氏染色深染的上皮细胞核与孢子的形态非常像，因此现有技术中按照常规的最小外接直立矩形标注上皮细胞核和孢子，容易造成上皮细胞核类内差距大
且上皮细胞核与孢子之间的类间差距小，无法很好的训练一个有效的目标检测模型，即使再结合传统的计算机视觉技术，也容易造成孢子的误检。另外，针对脱落的白细胞核和精子，因为这类数据量是很少的，很难采集到大量数据，因此在数据量不充分的情况下，无法利用深度学习技术对其与孢子进行很好的区分。


技术实现要素：

7.本发明要解决的技术问题是克服现有技术的上述缺陷，提供一种妇科微生态中孢子的智能检测识别方法、设备及存储介质。通过引入超参数制定有效的标注规则，训练出有效目标ai检测模型，已经有效的区分上皮细胞核和孢子，再通过机器视觉技术二次确定该目标物是否是孢子，有效降低上皮细胞核、白细胞核和精子对孢子识别的影响，极大地降低了孢子的误检率。
8.本发明是通过以下技术方案实现的：
9.一种妇科微生态中孢子的检测识别方法，包括如下步骤：
10.将待检测的图像输入到有效目标ai检测模型，检测出对应目标物，再通过机器视觉技术二次确定该目标物是否是孢子；
11.所述有效目标ai检测模型的生成方法为：
12.s1：采集妇科阴道微生态下的多场景的显微图像，得到原始图片，这些原始图片中至少包含孢子、上皮细胞核其中一种；
13.s2：将s1的原始图片按照最小外接直立矩形的规则人工标注出上皮细胞核和孢子，其中“spore”作为孢子的类别标签，“necleus”作为上皮细胞核的类别标签，将标注出的目标物信息保存到标注文件中，目标物信息包括目标物的类别标签和对应的坐标位置；
14.s3：通过引入超参数扩大类别标签是“necleus”的目标物的标注区域，将扩充后新的坐标位置替换该类目标物的原坐标位置，并保存标注文件，从而制作出类间差距大且类内差距小的有效训练集；
15.s4：基于主干网络架构并结合深度学习目标检测框架将s3中的有效训练集输入到卷积神经网络进行训练，得到有效目标ai检测模型。
16.如此设计，首先，针对上皮细胞核的标注，通过引入超参数扩大上皮细胞核的标注区域，标注出的训练集有利于训练出有效目标ai检测模型，如果采用传统的最小外接的直立矩形标注孢子和上皮细胞核，这样构建出的训练集类间差距小且类内差距大，无法很好的训练出有效的目标检测模型。另外，如果按照扩大后上皮细胞核的区域直接标注，很难精准的标注准确，而且目前的标注工具没有完成自动扩充的功能，因此s2先按照最小外接直立矩形的规则人工标注出上皮细胞核，然后s3通过引入超参数扩大上皮细胞核的标注区域，这样可有效减少上皮细胞核的类内差距，同时增加与孢子类别之间的类间差距，标注出的训练集满足类间差距大且类内差距小，更有利于训练出有效目标ai检测模型。最后，再通过机器视觉技术二次确定该目标物是否是孢子，有效降低上皮细胞核、白细胞核和精子对孢子识别的影响，极大地降低了孢子的误检率。
17.作为优化，s1中采集基于革兰氏染色的妇科阴道微生态下的多场景的显微图像，以便训练出有效的目标检测模型，为了保证数据的完备性，更条理的整理出图像训练集按照孢子的分布和上皮细胞核的形态进行划分分类：
18.将孢子在显微图像中的分布分为以下三类场景：孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布；
19.将上皮细胞核根据面积和颜色分为四类场景，上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景，包括染色正常的上皮细胞核和深染的上皮细胞核，其中染色正常的上皮细胞核呈现粉色，深染的上皮细胞核呈现紫黑色，上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景；
20.以上这些场景可叠加出现。
21.作为优化，s3中通过引入一个超参数s扩大上皮细胞核的标注区域，具体步骤为：设定上皮细胞核的最小外包直立矩形的宽为w高为h，在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s
×
h，在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s
×
w，设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(x
min
,y
min
)，右下角点的坐标为(x
max
,y
max
)，则最小外包的直立矩形的宽w＝x
max
‑
x
min
，高h＝y
max
‑
y
min
，扩大后的上皮细胞核的标注框的新左上角点的坐标为(x
min
‑
s
×
w，y
min
‑
s
×
h)，即标签为“necleus”的目标物的新左上角点的坐标为((1 s)
×
x
min
‑
s
×
x
max
,(1 s)
×
y
min
‑
s
×
y
max
)，扩大后的上皮细胞核的标注框的新右下角点的坐标为(x
max
s
×
w,y
max
s
×
h)，即标签为“necleus”目标物的新右下角点的坐标为((1 s)
×
x
max
‑
s
×
x
min
,(1 s)
×
y
max
‑
s
×
y
min
)，将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存到标注文件中。如此设计，先按照最小外接直立矩形的规则人工标注出上皮细胞核，然后通过以上程序完成批处理扩充上皮细胞核的标注区域，这样可有效减少上皮细胞核的类内差距，同时增加与孢子类别之间的类间差距，标注出的训练集满足类间差距大且类内差距小，更有利于训练出有效目标ai检测模型。
22.作为优化，超参数s的取值为1。如此设计，效果较好。
23.作为优化，s4中所述主干网络架构包括但不限于vgg
‑
16、vgg
‑
19、resnet
‑
50、resnet
‑
101、inceptionv3或mobilenetv2中的一种；所述深度学习目标检测框架包括但不限于ssd、faster
‑
rcnn或yolo中的一种。如此设计，使用方便，且效果较好。
24.作为优化，采用基于vgg
‑
16网络的主干网络架构，结合faster
‑
rcnn的深度学习目标检测框架，输入到卷积神经网络的训练图像的尺寸标准化为512
×
512
×
3。如此设计，使用方便，且效果最佳；另外，采用512
×
512
×
3的输入尺寸可以有效去除比孢子小，但是形态上与孢子很像的目标物的影响。
25.作为优化，通过机器视觉技术二次确定该目标物是否是孢子的方法为：利用s4得到的有效目标ai检测模型检测标签为“spore”的目标物，并通过颜色分割再次排除细胞核对孢子识别的干扰，将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内，从而确定该目标物是否孢子。如此设计，可进一步降低上皮细胞核和白细胞核对孢子识别的影响，有效降低孢子的误检率。
[0026]
作为优化，设定孢子的颜色范围在和之间，染色正常的细胞核的颜色范围在和之间。将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内，即如果
则该像素在孢子的颜色范围内，假设满足该条件的总的像素个数为n
spore
，如果，如果则该像素在染色正常的细胞核的颜色范围内，假设满足该条件的总的像素个数为n
necleus
，如果n
spore
≥n
necleus
，则确定该感兴趣区域为孢子，如果n
spore
<n
necleus
，则确定该感兴趣区域不是孢子。如此设计，通过上述步骤有效降低上皮细胞核和白细胞核对孢子识别的影响，进一步降低孢子的误检率。
[0027]
作为优化，通过机器视觉技术二次确定该目标物是否是孢子的方法为：利用s4得到的有效目标ai检测模型检测标签为“spore”的目标物，并通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰，从而确定该目标物是否孢子。如此设计，可进一步降低精子对孢子识别的影响，有效降低孢子的误检率。
[0028]
作为优化，将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，利用孢子的颜色范围和精子浅色区域的颜色范围分别对该感兴趣区域进行颜色分割，精子经革兰氏染色后，有一端的染色与孢子的颜色非常相近，但是另一端的颜色相对较浅，设定孢子的颜色范围在和之间，精子的浅色区域颜色范围在和之间，而且浅色区域的面积是深色区域的面积的至
[0029]
对s4得到的有效目标ai检测模型检测标签为“spore”的目标物感兴趣区域进行颜色分割，利用孢子颜色范围对该感兴趣区域进行颜色分割，对分割后的结果进行轮廓检测，然后拟合轮廓的最小外接旋转矩形，设定该最小外接旋转矩形的面积为area，接着利用精子的浅色区域的颜色范围对该感兴趣区域进行颜色分割，对分割后的结果进行轮廓检测，然后拟合轮廓的最小外接旋转矩形，选择面积最大的最小外接旋转矩形，设定面积为area，计算比例值如果比例那么该标签为“spore”的感兴趣区域为精子，反之，该标签为“spore”的感兴趣区域为孢子。如此设计，通过上述步骤有效降低精子对孢子识别的影响，进一步降低孢子的误检率。
[0030]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0031]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0032]
本发明的有益效果是：
[0033]
本发明针对上皮细胞核的标注，通过引入超参数扩大上皮细胞核的标注区域，标注出的训练集有利于训练出有效目标ai检测模型。另外，如果按照扩大后的区域直接标注，很难精准的标注准确，而且目前的标注工具没有完成自动扩充的功能，因此本发明先用最小外包直立矩形标注上皮细胞核，然后通过引入超参数扩大上皮细胞核的标注区域，这样可有效减少上皮细胞核的类内差距，同时增加与孢子类别之间的类间差距，构建出类内差距小且类间差距大的检测孢子和上皮细胞核的有效训练集，有利于加速训练模型的收敛速度且训练出有效目标ai检测模型。其次，通过机器视觉技术二次确定该目标物是否是孢子，
进一步有效降低上皮细胞核、白细胞核和精子对孢子识别的影响，极大地降低了孢子的误检率。此外，本发明可有效检出与孢子本类别或者其他类别微生物堆叠分布的孢子，有效降低孢子的漏检率，具有较好的实际应用价值和推广价值。
附图说明
[0034]
下面结合附图对一种妇科生殖道微生态下有效区分孢子与上皮细胞核的方法、设备及存储介质作进一步说明：
[0035]
图1是本发明一种妇科微生态中孢子的检测识别方法的流程图；
[0036]
图2是本发明实施例1的流程图；
[0037]
图3是本发明实施例2的流程图；
[0038]
图4为扩大上皮细胞核标注区域的流程示意图；
[0039]
图5为有效目标ai检测模型的架构示意图；
[0040]
图6为通过颜色分割区分孢子和细胞核的流程示意图；
[0041]
图7为通过颜色分割、轮廓和外接矩形面积区分孢子和精子的流程示意图；
[0042]
图8为孢子呈现堆叠分布的待检测示意图；
[0043]
图9为针对图8的采用对比实施例4方法检测目标物所得的示意图；
[0044]
图10为针对图9的两个感兴趣区域的示意图；
[0045]
图11为针对图8的采用对比实施例5方法检测目标物所得的示意图；
[0046]
图12为针对图8的采用实施例1方法检测目标物所得的示意图；
[0047]
图13为针对图12的两个感兴趣区域的示意图；
[0048]
图14为孢子零散分布且存在较小的深染的上皮细胞核场景下的待检测示意图；
[0049]
图15为针对图14的采用对比实施例1方法检测目标物所得的示意图；
[0050]
图16为针对图14的采用对比实施例4方法检测目标物所得的示意图；
[0051]
图17为针对图14的采用对比实施例5方法检测目标物所得的示意图；
[0052]
图18为针对图14的采用实施例1方法检测目标物所得的示意图；
[0053]
图19为深染的上皮细胞核场景下的待检测示意图；
[0054]
图20为针对图19的采用对比实施例1方法检测目标物所得的示意图；
[0055]
图21为针对图19的采用对比实施例4方法检测目标物所得的示意图；
[0056]
图22为针对图19的采用对比实施例5方法检测目标物所得的示意图；
[0057]
图23为针对图19的采用实施例1方法检测目标物所得的示意图；
[0058]
图24为染色正常但是形态与孢子及其相似的上皮细胞核场景下的待检测示意图；
[0059]
图25为针对图24的采用对比实施例2方法检测目标物所得的示意图；
[0060]
图26为针对图25的一个感兴趣区域的示例图；
[0061]
图27为针对图26截取出来的感兴趣区域1的示例图；
[0062]
图28为利用染色正常的细胞核的hsv的颜色范围对图27的分割结果的示例图；
[0063]
图29为利用孢子的hsv的颜色范围对图27的分割结果的示例图；
[0064]
图30为针对图24的采用对比实施例4方法检测目标物所得的示意图；
[0065]
图31为针对图24的采用对比实施例5方法检测目标物所得的示意图；
[0066]
图32为针对图24的采用实施例1方法检测目标物所得的示意图；
[0067]
图33为孢子零散分布存在深染的上皮细胞核、且存在脱落的白细胞核的场景下的待检测示意图；
[0068]
图34为针对图33的采用对比实施例2方法检测目标物所得的示意图；
[0069]
图35为针对图34的一个感兴趣区域1的示意图；
[0070]
图36为针对图35截取出来的感兴趣区域1的示意图；
[0071]
图37为利用染色正常的细胞核的hsv的颜色范围对图36的分割结果的示意图；
[0072]
图38为针对图33的采用对比实施例4方法检测目标物所得的示意图；
[0073]
图39为针对图33的采用对比实施例5方法检测目标物所得的示意图；
[0074]
图40为针对图33的采用实施例1方法检测目标物所得的示意图；
[0075]
图41为染色正常的上皮细胞核、且存在精子的场景下的示意图；
[0076]
图42为针对图41的采用对比实施例3方法检测目标物所得的示意图；
[0077]
图43为针对图42的感兴趣1的示意图；
[0078]
图44为针对图43截取出来的精子的示意图；
[0079]
图45为利用孢子的颜色分割图44的二值图的示意图；
[0080]
图46为针对图45的最小外接旋转矩形的示意图；
[0081]
图47为旋转矩形画在图44上的示意图；
[0082]
图48为利用精子的浅色区域分割图44的示意图；
[0083]
图49为利用精子的浅色区域分割图44的二值图的示意图；
[0084]
图50为图49的轮廓的最小外接旋转四边形中的面积最大的示意图；
[0085]
图51为将图47中的旋转矩形画在图44的的示意图；
[0086]
图52为针对图41的采用对比实施例4方法检测目标物所得的示意图；
[0087]
图53为针对图41的采用对比实施例5方法检测目标物所得的示意图；
[0088]
图54为针对图41的采用实施例2方法检测目标物所得的示意图。
具体实施方式
[0089]
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
[0090]
实施例1：
[0091]
如图2所示，一种妇科微生态中孢子的智能检测识别方法，包括如下步骤：
[0092]
将待检测的图像输入到有效目标ai检测模型，检测出对应目标物，再通过颜色分割再次排除细胞核对孢子识别的干扰，二次确定该目标物是否是孢子。
[0093]
所述有效目标ai检测模型的生成方法为：
[0094]
s1：采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像，得到原始图片，这些原始图片中至少包含孢子和上皮细胞核其中一种，图像的分辨率为1600
×
1200，为了训练出有效的目标检测模型，保证数据的完备性，更条理的整理出图像训练集，按照孢子的分布和上皮细胞核的形态进行划分分类：
[0095]
将孢子在显微图像中的分布分为以下三类场景：孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布；
[0096]
将上皮细胞核根据面积和颜色分为四类场景，上皮细胞核根据革兰氏染色后呈现
的颜色分为两类场景，包括染色正常的上皮细胞核和深染的上皮细胞核，其中染色正常的上皮细胞核呈现粉色，深染的上皮细胞核呈现紫黑色，上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景；
[0097]
以上这些场景可叠加出现。
[0098]
s2：将s1的原始图片交由微生态领域相关专家，利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子，其中“necleus”作为上皮细胞核的类别标签，“spore”作为孢子的类别标签，将标注出的目标物信息保存到标注文件中，目标物信息包括目标物的类别标签和对应的坐标位置。
[0099]
s3：扩大上皮细胞核的标注区域并保存到标注文件中，具体流程如图4所示，抽取按照最小外接直立矩形标注的标注文件中类别标签为“necleus”的目标物的坐标位置，通过引入超参数s扩大上皮细胞核的标注区域，设定上皮细胞核的最小外包直立矩形的宽为w高为h，在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s
×
h，在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s
×
w，设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(x
min
,y
min
)，右下角点的坐标为(x
max
,y
max
)，则最小外包的直立矩形的宽w＝x
max
‑
x
min
，高h＝y
max
‑
y
min
，扩大后的上皮细胞核的标注框的新左上角点的坐标为(x
min
‑
s
×
w,y
min
‑
s
×
h)，即标签为“necleus”的目标物的新左上角点的坐标为((1 s)
×
x
min
‑
s
×
x
max
,(1 s)
×
y
min
‑
s
×
y
max
)，扩大后的上皮细胞核的标注框的新右下角点的坐标为(x
max
s
×
w,y
max
s
×
h)，即标签为“necleus”目标物的新右下角点的坐标为((1 s)
×
x
max
‑
s
×
x
min
,(1 s)
×
y
max
‑
s
×
y
min
)，对于超参数s的取值，优选s＝1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件，从而制作出类间差距大且类内差距小的有效训练集。
[0100]
s4：如图5所示，采用基于vgg
‑
16网络的主干网络架构，结合faster
‑
rcnn的深度学习目标检测框架，输入到卷积神经网络的训练图像的尺寸标准化为512
×
512
×
3。采用512
×
512
×
3的输入尺寸可以有效去除比孢子小，但是形态上与孢子很像的目标物的影响。
[0101]
通过颜色分割再次排除细胞核对孢子识别的干扰，二次确定该目标物是否是孢子的方法为：
[0102]
s5：利用s4训练出的有效目标ai检测模型检测出标签为“spore”的目标物，并通过颜色再次排除细胞核对孢子识别的干扰，将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内，从而确定该目标物是否孢子。具体流程如图6所示，设定孢子的hsv颜色范围在至之间，染色正常的细胞核的hsv颜色范围在至之间。将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内，即如果h∈[0,260]，则该像素在孢子的颜色范围内，假设满足该条件的总的像素个数为n
spore
，如果h∈[260,360]，则该像素在染色正常的细胞核的颜色范围内，假设满足该条件的总的像素个数为n
necleus
，如果n
spore
≥n
necleus
，则确定该感兴趣区域是孢子，如果n
spore
<n
necleus
，则确定该感兴趣区域
不是孢子。
[0103]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0104]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0105]
实施例2：
[0106]
如图2所示，一种妇科微生态中孢子的智能检测识别方法，包括如下步骤：
[0107]
将待检测的图像输入到有效目标ai检测模型，检测出对应目标物，通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰，从而确定该目标物是否孢子。
[0108]
所述有效目标ai检测模型的生成方法为：
[0109]
s1：采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像，得到原始图片，这些原始图片中至少包含孢子和上皮细胞核其中一种，图像的分辨率为1600
×
1200，为了训练出有效的目标检测模型，保证数据的完备性，更条理的整理出图像训练集，按照孢子的分布和上皮细胞核的形态进行划分分类：
[0110]
将孢子在显微图像中的分布分为以下三类场景：孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布；
[0111]
将上皮细胞核根据面积和颜色分为四类场景，上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景，包括染色正常的上皮细胞核和深染的上皮细胞核，其中染色正常的上皮细胞核呈现粉色，深染的上皮细胞核呈现紫黑色，上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景；
[0112]
以上这些场景可叠加出现。
[0113]
s2：将s1的原始图片交由微生态领域相关专家，利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子，其中“necleus”作为上皮细胞核的类别标签，“spore”作为孢子的类别标签，将标注出的目标物信息保存到标注文件中，目标物信息包括目标物的类别标签和对应的坐标位置。
[0114]
s3：扩大上皮细胞核的标注区域并保存到标注文件中，具体流程如图4所示，抽取按照最小外接直立矩形标注的标注文件中类别标签为“necleus”的目标物的坐标位置，通过引入超参数s扩大上皮细胞核的标注区域，设定上皮细胞核的最小外包直立矩形的宽为w高为h，在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s
×
h，在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s
×
w，设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(x
min
,y
min
)，右下角点的坐标为(x
max
,y
max
)，则最小外包的直立矩形的宽w＝x
max
‑
x
min
，高h＝y
max
‑
y
min
，扩大后的上皮细胞核的标注框的新左上角点的坐标为(x
min
‑
s
×
w,y
min
‑
s
×
h)，即标签为“necleus”的目标物的新左上角点的坐标为((1 s)
×
x
min
‑
s
×
x
max
,(1 s)
×
y
min
‑
s
×
y
max
)，扩大后的上皮细胞核的标注框的新右下角点的坐标为(x
max
s
×
w,y
max
s
×
h)，即标签为“necleus”目标物的新右下角点的坐标为((1 s)
×
x
max
‑
s
×
x
min
,(1 s)
×
y
max
‑
s
×
y
min
)，对于超参数s的取值，优选s＝1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件，从而制作出类间差距大且类内差距小的有效训练集。
[0115]
s4：如图5所示，采用基于vgg
‑
16网络的主干网络架构，结合faster
‑
rcnn的深度学习目标检测框架，输入到卷积神经网络的训练图像的尺寸标准化为512
×
512
×
3。采用512
×
512
×
3的输入尺寸可以有效去除比孢子小，但是形态上与孢子很像的目标物的影响。
[0116]
通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰，从而确定该目标物是否孢子的方法为：
[0117]
s5：将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，利用孢子的颜色范围和精子浅色区域的颜色范围分别对该感兴趣区域进行颜色分割，精子经革兰氏染色后，有一端的染色与孢子的颜色非常相近，但是另一端的颜色相对较浅，具体流程如图7所示，设定精子的深色区域的颜色范围(同孢子的颜色范围)在至之间，精子的浅色区域颜色范围在至之间，而且浅色区域的面积是深色区域的面积的至
[0118]
对s4得到的有效目标ai检测模型检测标签为“spore”的目标物感兴趣区域进行颜色分割，利用孢子颜色范围对该感兴趣区域进行颜色分割，对分割后的结果进行轮廓检测，然后拟合轮廓的最小外接旋转矩形，设定该最小外接旋转矩形的面积为area，接着利用精子的浅色区域的颜色范围对该感兴趣区域进行颜色分割，对分割后的结果进行轮廓检测，然后拟合轮廓的最小外接旋转矩形，选择面积最大的最小外接旋转矩形，设定面积为area，计算比例值如果比例那么该标签为“spore”的感兴趣区域为精子，反之，该标签为“spore”的感兴趣区域为孢子。
[0119]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0120]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0121]
对比实施例1：
[0122]
同实施例1相比，其区别在于：没有实施例1中如流程图4所示的通过引入超参数s扩大上皮细胞核的标注区域的步骤，其他同实施例1。
[0123]
对比实施例1包括如下步骤：
[0124]
将待检测的图像输入到有效目标ai检测模型，检测出对应目标物，再通过颜色分割再次排除细胞核对孢子识别的干扰，二次确定该目标物是否是孢子。
[0125]
所述有效目标ai检测模型的生成方法为：
[0126]
s1：采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像，得到原始图片，这些原始图片中至少包含孢子和上皮细胞核其中一种，图像的分辨率为1600
×
1200，为了训练出有效的目标检测模型，保证数据的完备性，更条理的整理出图像训练集，按照孢子的分布和上皮细胞核的形态进行划分分类：
[0127]
将孢子在显微图像中的分布分为以下三类场景：孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布；
[0128]
将上皮细胞核根据面积和颜色分为四类场景，上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景，包括染色正常的上皮细胞核和深染的上皮细胞核，其中染色正常的
上皮细胞核呈现粉色，深染的上皮细胞核呈现紫黑色，上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景；
[0129]
以上这些场景可叠加出现。
[0130]
s2：将s1的原始图片交由微生态领域相关专家，利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子，其中“necleus”作为上皮细胞核的类别标签，“spore”作为孢子的类别标签，将标注出的目标物信息保存到标注文件中，目标物信息包括目标物的类别标签和对应的坐标位置。
[0131]
s3：如图5所示，采用基于vgg
‑
16网络的主干网络架构，结合faster
‑
rcnn的深度学习目标检测框架，输入到卷积神经网络的训练图像的尺寸标准化为512
×
512
×
3。采用512
×
512
×
3的输入尺寸可以有效去除比孢子小，但是形态上与孢子很像的目标物的影响。
[0132]
通过颜色分割再次排除细胞核对孢子识别的干扰，二次确定该目标物是否是孢子的方法为：
[0133]
s4：利用s3训练出的有效目标ai检测模型检测出标签为“spore”的目标物，并通过颜色再次排除细胞核对孢子识别的干扰，将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内，从而确定该目标物是否孢子。具体流程如图4所示，孢子的hsv颜色范围在至之间，染色正常的细胞核的hsv颜色范围在至之间。将标签为”spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，循环判断每一个像素的[h,s,v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内，即如果h∈[0,260]，则该像素在孢子的颜色范围内，假设满足该条件的总的像素个数为n
spore
，如果h∈[260,360]，则该像素在染色正常的细胞核的颜色范围内，假设满足该条件的总的像素个数为n
necleus
，如果n
spore
≥n
necleus
，则确定该感兴趣区域为孢子，如果n
spore
<n
necleus
，则确定该感兴趣区域不是孢子。
[0134]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0135]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0136]
对比实施例2：
[0137]
同实施例1相比，其区别在于没有流程图6所示的通过颜色分割二次确定该目标物是否是孢子的步骤，其他同实施例1。
[0138]
对比实施例2包括如下步骤：
[0139]
s1：采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像，得到原始图片，这些原始图片中至少包含孢子和上皮细胞核其中一种，图像的分辨率为1600
×
1200，为了训练出有效的目标检测模型，保证数据的完备性，更条理的整理出图像训练集，按照孢子的分布和上皮细胞核的形态进行划分分类：
[0140]
将孢子在显微图像中的分布分为以下三类场景：孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布；
[0141]
将上皮细胞核根据面积和颜色分为四类场景，上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景，包括染色正常的上皮细胞核和深染的上皮细胞核，其中染色正常的上皮细胞核呈现粉色，深染的上皮细胞核呈现紫黑色，上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景；
[0142]
以上这些场景可叠加出现。
[0143]
s2：将s1的原始图片交由微生态领域相关专家，利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子，其中“necleus”作为上皮细胞核的类别标签，“spore”作为孢子的类别标签，将标注出的目标物信息保存到标注文件中，目标物信息包括目标物的类别标签和对应的坐标位置。
[0144]
s3：扩大上皮细胞核的标注区域并保存到标注文件中，具体流程如图4所示，抽取按照最小外接直立矩形标注的标注文件中类别标签为“necleus”的目标物的坐标位置，通过引入超参数s扩大上皮细胞核的标注区域，设定上皮细胞核的最小外包直立矩形的宽为w高为h，在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s
×
h，在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s
×
w，设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(x
min
,y
min
)，右下角点的坐标为(x
max
,y
max
)，则最小外包的直立矩形的宽w＝x
max
‑
x
min
，高h＝y
max
‑
y
min
，扩大后的上皮细胞核的标注框的新左上角点的坐标为(x
min
‑
s
×
w,y
min
‑
s
×
h)，即标签为“necleus”的目标物的新左上角点的坐标为((1 s)
×
x
min
‑
s
×
x
max
,(1 s)
×
y
min
‑
s
×
y
max
)，扩大后的上皮细胞核的标注框的新右下角点的坐标为(x
max
s
×
w,y
max
s
×
h)，即标签为“necleus”目标物的新右下角点的坐标为((1 s)
×
x
max
‑
s
×
x
min
,(1 s)
×
y
max
‑
s
×
y
min
)，对于超参数s的取值，优选s＝1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件，从而制作出类间差距大且类内差距小的有效训练集。
[0145]
s4：如图5所示，采用基于vgg
‑
16网络的主干网络架构，结合faster
‑
rcnn的深度学习目标检测框架，输入到卷积神经网络的训练图像的尺寸标准化为512
×
512
×
3。采用512
×
512
×
3的输入尺寸可以有效去除比孢子小，但是形态上与孢子很像的目标物的影响。
[0146]
利用s4训练出的有效目标ai检测模型检测出标签为“spore”的目标物。
[0147]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0148]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0149]
对比实施例3：
[0150]
同实施例2相比，其区别在于没有如图7具体流程所示通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰，从而确定该目标物是否孢子的步骤，其他同实施例2。
[0151]
对比实施例3包括如下步骤：
[0152]
s1：采集基于革兰氏染色的妇科阴道微生态生物标本的多场景的显微图像，得到原始图片，这些原始图片中至少包含孢子和上皮细胞核其中一种，图像的分辨率为1600
×
1200，为了训练出有效的目标检测模型，保证数据的完备性，更条理的整理出图像训练集，按照孢子的分布和上皮细胞核的形态进行划分分类：
[0153]
将孢子在显微图像中的分布分为以下三类场景：孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布；
[0154]
将上皮细胞核根据面积和颜色分为四类场景，上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景，包括染色正常的上皮细胞核和深染的上皮细胞核，其中染色正常的上皮细胞核呈现粉色，深染的上皮细胞核呈现紫黑色，上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景；
[0155]
以上这些场景可叠加出现。
[0156]
s2：将s1的原始图片交由微生态领域相关专家，利用标注工具按照最小外接直立矩形的规则标注出原始图片中的上皮细胞核和孢子，其中“necleus”作为上皮细胞核的类别标签，“spore”作为孢子的类别标签，将标注出的目标物信息保存到标注文件中，目标物信息包括目标物的类别标签和对应的坐标位置。
[0157]
s3：扩大上皮细胞核的标注区域并保存到标注文件中，具体流程如图4所示，抽取按照最小外接直立矩形标注的标注文件中类别标签为“necleus”的目标物的坐标位置，通过引入超参数s扩大上皮细胞核的标注区域，设定上皮细胞核的最小外包直立矩形的宽为w高为h，在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s
×
h，在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s
×
w，设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(x
min
,y
min
)，右下角点的坐标为(x
max
,y
max
)，则最小外包的直立矩形的宽w＝x
max
‑
x
min
，高h＝y
max
‑
y
min
，扩大后的上皮细胞核的标注框的新左上角点的坐标为(x
min
‑
s
×
w,y
min
‑
s
×
h)，即标签为“necleus”的目标物的新左上角点的坐标为((1 s)
×
x
min
‑
s
×
x
max
,(1 s)
×
y
min
‑
s
×
y
max
)，扩大后的上皮细胞核的标注框的新右下角点的坐标为(x
max
s
×
w,y
max
s
×
h)，即标签为“necleus”目标物的新右下角点的坐标为((1 s)
×
x
max
‑
s
×
x
min
,(1 s)
×
y
max
‑
s
×
y
min
)，对于超参数s的取值，优选s＝1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件，从而制作出类间差距大且类内差距小的有效训练集。
[0158]
s4：如图5所示，采用基于vgg
‑
16网络的主干网络架构，结合faster
‑
rcnn的深度学习目标检测框架，输入到卷积神经网络的训练图像的尺寸标准化为512
×
512
×
3。采用512
×
512
×
3的输入尺寸可以有效去除比孢子小，但是形态上与孢子很像的目标物的影响。
[0159]
利用s4训练出的有效目标ai检测模型检测出标签为“spore”的目标物。
[0160]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0161]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种妇科微生态中孢子的检测识别方法的步骤。
[0162]
对比实施例4：
[0163]
采用公开号为cn107480662a的发明专利名称为“一种霉菌图像识别方法及其装置”中通过自适应阈值分割方法进行图像分割，然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选目标物孢子。
[0164]
对比实施例5：
[0165]
采用公开号为cn110458808a，发明专利名称为“基于形态学与yolo算法的女性生殖道病原体识别方法”，中只对孢子进行标注，未标注上皮细胞核，基于形态学与yolo算法
与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子。
[0166]
下面将容易造成孢子误检或漏检的多种场景下的待检测图像，分别采用实施例1、实施例2、对比实施例1、对比实施例2、对比实施例3、对比实施例4、对比实施例5的方法检测目标物，具体如下：
[0167]
一、将孢子与孢子堆叠分布的场景和孢子与其他微生物堆叠分布的场景的待检测图像如图8，分别采用实施例1、对比实施例4和对比实施例5的方法检测目标物孢子，如果使用对比实施例4的自适应阈值分割方法检测目标物孢子，分割结果如图9所示，孢子与孢子堆叠，图10为针对图9的两个感兴趣区域的示意图，如图10的感兴趣区域1所示，孢子与其他微生物堆叠，如图9的感兴趣区域2所示，均已经影响了单个孢子的形态；使用对比实施例5的方法检测目标物，结果如图11所示；使用本发明实施例1的方法检测目标物孢子，结果如图12所示，图13为针对图12的两个感兴趣区域的示意图。再对比人工审核的孢子数量，分析结果如表1：
[0168] 孢子数量漏检孢子数量实施例1(本发明)90对比实施例436对比实施例572人工审核90
[0169]
从表1可以看出，采用本发明实施例1的方法，未漏检孢子；而采用对比实施例4的方法，有6个孢子被漏检，采用对比实施例5的方法，有2个孢子被漏检。可见本发明的方法可以有效处理孢子堆叠分布的场景，不易造成孢子漏检，提升检出率。而采用对比实施例4通过自适应阈值分割方法进行图像分割，然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选，容易造成孢子漏检；采用对比实施例5基于形态学与yolo算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子，也容易造成孢子漏检。
[0170]
二、将孢子零散分布且存在较小的深染的上皮细胞核场景下的待检测图像如图14，分别采用实施例1、对比实施例1、对比实施例4和对比实施例5的方法检测目标物；使用对比实施例1的方法检测目标物，结果如图15所示；使用对比实施例4的方法检测目标物，结果如图16所示；使用对比实施例5的方法检测目标物，结果如图17所示；使用实施例1的方法检测目标物，结果如图18所示。再对比人工审核的数量，统计如表2：
[0171] 孢子数量上皮细胞核数量误检孢子数量实施例1(本发明)120对比实施例1302对比实施例4302对比实施例5302人工审核120
[0172]
从表2可以看出，采用本发明实施例1的方法，上皮细胞核未被误检为孢子，而采用对比实施例1、对比实施例4和对比实施例5的方法，均有2个上皮细胞核被误检为孢子，可见本发明通过先用最小外包直立矩形标注上皮细胞核，然后通过引入超参数扩大上皮细胞核的标注区域，可有效减少上皮细胞核的类内差距，同时增加与孢子类别之间的类间差距，标
注出的训练集满足类间差距大且类内差距小，更有利于训练出有效的人工智能目标检测模型，上皮细胞核不易被误检为孢子。而采用对比实施例1的方法采用常规的最小外包直立矩形标注上皮细胞核，分割出的上皮细胞核的形态与孢子非常相似，容易造成上皮细胞核被误检为孢子；采用对比实施例4通过自适应阈值分割方法进行图像分割，然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选，容易造成上皮细胞核被误检为孢子；采用对比实施例5基于形态学与yolo算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子，也容易造成上皮细胞核被误检为孢子。
[0173]
三、将深染的上皮细胞核场景下的待检测图像如图19，分别采用实施例1、对比实施例1、对比实施例4和对比实施例5的方法检测目标物；使用对比实施例1的方法检测目标物，结果如图20所示；使用对比实施例4的方法检测目标物，结果如图21所示；使用对比实施例5的方法检测目标物，结果如图22所示；使用实施例1的方法检测目标物，结果如图23所示。再对比人工审核的数量，统计如表3：
[0174] 孢子数量上皮细胞核数量误检孢子数量实施例1(本发明)040对比实施例1313对比实施例4404对比实施例5404人工审核040
[0175]
从表3可以看出，采用本发明实施例1的方法，上皮细胞核未被误检为孢子，而采用对比实施例1的方法，有3个上皮细胞核被误检为孢子，采用对比实施例4的方法，有4个上皮细胞核被误检为孢子，采用对比实施例5的方法，有4个上皮细胞核被误检为孢子。可见本发明通过先用最小外包直立矩形标注上皮细胞核，然后通过引入超参数扩大上皮细胞核的标注区域，可有效减少上皮细胞核的类内差距，同时增加与孢子类别之间的类间差距，标注出的训练集满足类间差距大且类内差距小，更有利于训练出有效的人工智能目标检测模型，上皮细胞核不易被误检为孢子。而采用对比实施例1的方法采用常规的最小外包直立矩形标注上皮细胞核，分割出的上皮细胞核的形态与孢子非常相似，容易造成上皮细胞核被误检为孢子；采用对比实施例4通过自适应阈值分割方法进行图像分割，然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选，容易造成上皮细胞核被误检为孢子；采用对比实施例5基于形态学与yolo算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子，也容易造成上皮细胞核被误检为孢子。
[0176]
四、将染色正常但是形态与孢子及其相似的上皮细胞核的场景下的待检测图像如图24，分别采用实施例1、对比实施例2、对比实施例4和对比实施例5的方法检测目标物，使用对比实施例2的方法检测目标物，结果如图25所示，图26为针对图25的一个感兴趣区域的示例图，图27为针对图26截取出来的感兴趣区域1的示例图，图28为利用染色正常的细胞核的hsv的颜色范围对图27的分割结果的示例图，图29为利用孢子的hsv的颜色范围对图27的分割结果的示例图；使用对比实施例4的方法检测目标物，结果如图30所示；使用对比实施例5的方法检测目标物，结果如图31所示；使用实施例1的方法检测目标物，结果如图32所示。再对比人工审核的数量，统计如表4：
[0177] 孢子数量上皮细胞核数量误检孢子数量
实施例1(本发明)430对比实施例2531对比实施例4703对比实施例5501人工审核440
[0178]
从表4可以看出，采用本发明实施例1的方法，上皮细胞核未被误检为孢子，而采用对比实施例2的方法，有1个上皮细胞核被误检为孢子，采用对比实施例4的方法，有3个上皮细胞核被误检为孢子，采用对比实施例5的方法，有1个上皮细胞核被误检为孢子。可见本发明通过颜色分割再次排除上皮细胞核对孢子识别的干扰，不易被误检为孢子。而采用对比实施例2的方法还是会造成上皮细胞核被误检为孢子；采用对比实施例4通过自适应阈值分割方法进行图像分割，然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选，容易造成上皮细胞核被误检为孢子；采用对比实施例5基于形态学与yolo算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子，也容易造成上皮细胞核被误检为孢子。
[0179]
五、将孢子零散分布存在深染的上皮细胞核、且存在脱落的白细胞核的场景下的待检测图像如图33，分别采用实施例1、对比实施例2、对比实施例4和对比实施例5的方法检测目标物；使用对比实施例2的方法检测目标物，结果如图34所示，图35为针对图34的一个感兴趣区域1的示意图，图36为针对图35截取出来的感兴趣区域1的示意图，图37为利用染色正常的细胞核的hsv的颜色范围对图36的分割结果的示意图；使用对比实施例4的方法检测目标物，结果如图38所示；使用对比实施例5的方法检测目标物，结果如图39所示；使用实施例1的方法检测目标物，结果如图40所示。再对比人工审核的数量，统计如表5：
[0180] 孢子数量上皮细胞核数量白细胞核数量误检孢子数量实施例1(本发明)6400对比实施例27401对比实施例411005对比实施例59003人工审核6410
[0181]
从表5可以看出，采用本发明实施例1的方法，上皮细胞核和白细胞核均未被误检为孢子，而采用对比实施例2的方法，有1个白细胞核被误检为孢子，采用对比实施例4的方法，有4个上皮细胞核被误检为孢子，有1个白细胞核被误检为孢子，采用对比实施例5的方法，有2个上皮细胞核被误检为孢子，有1个白细胞核被误检为孢子。可见本发明通过颜色分割再次排除白细胞核对孢子识别的干扰，不易被误检为孢子。而采用对比实施例2的方法容易造成白细胞核被误检为孢子。采用对比实施例4通过自适应阈值分割方法进行图像分割，然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选，容易造成细胞核被误检为孢子。采用对比实施例5基于形态学与yolo算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子，也容易造成细胞核被误检为孢子。
[0182]
六、将染色正常的上皮细胞核、且存在精子的场景下的待检测图像如图41，分别采用实施例2、对比实施例3、对比实施例4和对比实施例5的方法检测目标物；使用对比实施例3的方法检测目标物，结果如图42所示，图43为针对图42的感兴趣1的示意图，图44为针对图
43截取出来的精子的示意图，图45为利用孢子的颜色分割图44的二值图的示意图，图46为针对图45的最小外接旋转矩形的示意图，图47为旋转矩形画在图44上的示意图，图48为利用精子的浅色区域分割图44的示意图，图49为利用精子的浅色区域分割图44的二值图的示意图，图50为图49的轮廓的最小外接旋转四边形中的面积最大的示意图，图51为将图47中的旋转矩形画在图44的的示意图；使用对比实施例4的方法检测目标物，结果如图52所示；使用对比实施例5的方法检测目标物，结果如图53所示；使用实施例2的方法检测目标物，结果如图54所示。再对比人工审核的数量，统计如表6：
[0183] 孢子数量上皮细胞核数量精子数量误检孢子数量实施例2(本发明)0110对比实施例31101对比实施例41001对比实施例51001人工审核0110
[0184]
从表6可以看出，采用本发明实施例2的方法，上皮细胞核和精子均未被误检为孢子，而采用对比实施例3的方法，有1个精子被误检为孢子，采用对比实施例4的方法，有1个精子被误检为孢子，且未检出上皮细胞核，采用对比实施例5的方法，有1个精子被误检为孢子，且未检出上皮细胞核。可见本发明通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰，不易误检孢子。而采用对比实施例3的方法精子容易被误检为孢子。采用对比实施例4通过自适应阈值分割方法进行图像分割，然后对分割后的结果通过轮廓拟合、面积等几何形态学方法进行筛选，精子容易被误检为孢子。采用对比实施例5基于形态学与yolo算法与传统的机器视觉算法相结合的方法检测100x物镜下的显微图像中的目标物孢子，精子也容易被误检为孢子。
[0185]
上述具体实施方式仅是本发明的具体个案，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更为等同变化的等效实施方式。但凡是未脱离本发明技术原理的前提下，依据本发明技术实质对以上实施方式所作的任何修改，皆应落入本发明的专利保护范围。

技术特征：
1.一种妇科微生态中孢子的检测识别方法，其特征在于，包括如下步骤：将待检测的图像输入到有效目标ai检测模型，检测出对应目标物，再通过机器视觉技术二次确定该目标物是否是孢子；所述有效目标ai检测模型的生成方法为：s1：采集妇科阴道微生态下的多场景的显微图像，得到原始图片，这些原始图片中至少包含孢子、上皮细胞核其中一种；s2：将s1的原始图片按照最小外接直立矩形的规则人工标注出上皮细胞核和孢子，其中“spore”作为孢子的类别标签，“necleus”作为上皮细胞核的类别标签，将标注出的目标物信息保存到标注文件中，目标物信息包括目标物的类别标签和对应的坐标位置；s3：通过引入超参数扩大类别标签是“necleus”的目标物的标注区域，将扩充后新的坐标位置替换该类目标物的原坐标位置，并保存标注文件，从而制作出类间差距大且类内差距小的有效训练集；s4：基于主干网络架构并结合深度学习目标检测框架将s3中的有效训练集输入到卷积神经网络进行训练，得到有效目标ai检测模型。2.如权利要求1所述的一种妇科微生态中孢子的检测识别方法，其特征在于：s1中采集基于革兰氏染色的妇科阴道微生态下的多场景的显微图像，按照孢子的分布和上皮细胞核的形态进行划分分类，将孢子在显微图像中的分布分为以下三类场景：孢子单个零散分布、孢子与孢子之间堆叠分布、孢子与其他微生物堆叠分布；将上皮细胞核根据面积和颜色分为四类场景，上皮细胞核根据革兰氏染色后呈现的颜色分为两类场景，包括染色正常的上皮细胞核和深染的上皮细胞核，其中染色正常的上皮细胞核呈现粉色，深染的上皮细胞核呈现紫黑色，上皮细胞核根据面积的大小分类为较大的上皮细胞核和较小的上皮细胞核这两种场景；以上这些场景可叠加出现。3.如权利要求1所述的一种妇科微生态中孢子的检测识别方法，其特征在于：s3中通过引入超参数s扩大上皮细胞核的标注区域，设定上皮细胞核的最小外包直立矩形的宽为w高为h，在上皮细胞核最小外包直立矩形的上侧和下侧各扩充s
×
h，在上皮细胞核的最小外包直立矩形的左侧和右侧各扩充s
×
w，设定标注文件中标签为“necleus”的上皮细胞核的最小外包直立矩形左上角点的坐标为(x
min
，y
min
)，右下角点的坐标为(x
max
，y
max
)，则最小外包的直立矩形的宽w＝x
max
‑
x
min
，高h＝y
max
‑
y
min
，扩大后的上皮细胞核的标注框的新左上角点的坐标为(x
min
‑
s
×
w，y
min
‑
s
×
h)，即标签为“necleus”的目标物的新左上角点的坐标为((1 s)
×
x
min
‑
s
×
x
max
，(1 s)
×
y
min
‑
s
×
y
max
)，扩大后的上皮细胞核的标注框的新右下角点的坐标为(x
max
s
×
w，y
max
s
×
h)，即标签为“necleus”目标物的新右下角点的坐标为((1 s)
×
x
max
‑
s
×
x
min
，(1 s)
×
y
max
‑
s
×
y
min
)，对于超参数s的取值，优选s＝1。按照以上规则将标注文件中类别标签为“necleus”的目标物的新的坐标位置信息替换原坐标位置信息并保存标注文件。4.如权利要求1所述的一种妇科微生态中孢子的检测识别方法，其特征在于：s4中所述主干网络架构包括但不限于vgg
‑
16、vgg
‑
19、resnet
‑
50、resnet
‑
101、inception v3或mobilenetv2中的一种；所述深度学习目标检测框架包括但不限于ssd、faster
‑
rcnn或yolo
中的一种。5.如权利要求1
‑
4任一所述的一种妇科微生态中孢子的检测识别方法，其特征在于：通过机器视觉技术二次确定该目标物是否是孢子的方法为：利用s4得到的有效目标ai检测模型检测标签为“spore”的目标物，并通过颜色分割再次排除细胞核对孢子识别的干扰，将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，循环判断每一个像素的[h，s，v]值是在孢子的颜色范围内还是在染色正常的上皮细胞核的颜色范围内，从而确定该目标物是否孢子。6.如权利要求5所述的一种妇科微生态中孢子的检测识别方法，其特征在于：设定孢子的颜色范围在和之间，染色正常的细胞核的颜色范围在和之间。将标签为”spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，循环判断每一个像素的[h，s，v]值是在孢子的颜色范围内还是在染色正常的细胞核的颜色范围内，即如果围内还是在染色正常的细胞核的颜色范围内，即如果则该像素在孢子的颜色范围内，假设满足该条件的总的像素个数为n
spore
，如果则该像素在染色正常的细胞核的颜色范围内，假设满足该条件的总的像素个数为n
necleus
，如果n
spore
≥n
necleus
，则确定该感兴趣区域大概率可能是孢子，如果n
spore
＜n
necleus
，则确定该感兴趣区域不是孢子。7.如权利要求1
‑
4任一所述的一种妇科微生态中孢子的检测识别方法，其特征在于：通过机器视觉技术二次确定该目标物是否是孢子的方法为：利用s4得到的有效目标ai检测模型检测标签为“spore”的目标物，并通过颜色分割、查找轮廓并计算轮廓的最小外接四边形和计算最小外接四边形的面积再次排除精子对孢子识别的干扰，从而确定该目标物是否孢子。8.如权利要求7所述的一种妇科微生态中孢子的检测识别方法，其特征在于：将标签为“spore”的感兴趣区域从rgb颜色空间转换到hsv颜色空间，利用孢子的颜色范围和精子浅色区域的颜色范围分别对该感兴趣区域进行颜色分割，精子经革兰氏染色后，有一端的染色与孢子的颜色非常相近，但是另一端的颜色相对较浅，设定孢子的颜色范围在和之间，精子的浅色区域颜色范围在和之间，而且浅色区域的面积是深色区域的面积的至对s4得到的有效目标ai检测模型检测标签为“spore”的目标物感兴趣区域进行颜色分割，利用孢子颜色范围对该感兴趣区域进行颜色分割，对分割后的结果进行轮廓检测，然后拟合轮廓的最小外接旋转矩形，设定该最小外接旋转矩形的面积为area，接着利用精子的浅色区域的颜色范围对该感兴趣区域进行颜色分割，对分割后的结果进行轮廓检测，然后拟合轮廓的最小外接旋转矩形，选择面积最大的最小外接旋转矩形，设定面积为area，计算比例值如果比例那么该标签为“spore”的感兴趣区域为精子，反之，该标签为“spore”的感兴趣区域为孢子。
9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1
‑
8任一所述一种妇科微生态中孢子的的检测识别方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1
‑
8任一所述一种妇科微生态中孢子的检测识别方法的步骤。
技术总结
本发明涉及一种妇科微生态中孢子的检测识别方法、设备及存储介质，包括如下步骤：将待检测的图像输入到有效目标AI检测模型，检测出对应目标物，再通过机器视觉技术二次确定该目标物是否是孢子；有效目标检测AI模型的生成方法包括：采集多场景显微图像；按常规进行人工类别标注；通过引入超参数扩大上皮细胞核的标注区域；制作出类间差距大且类内差距小的有效训练集，基于主干网络架构并结合深度学习目标检测框架将有效训练集输入到卷积神经网络进行训练，得到有效目标AI检测模型。本发明通过引入超参数扩大上皮细胞核的标注区域，可训练出有效的目标检测AI模型；再通过机器视觉技术二次确定该目标物是否是孢子，有效降低孢子的误检率和漏检率。误检率和漏检率。误检率和漏检率。


技术研发人员：谢晓鸿 谢时灵 张平
受保护的技术使用者：山东仕达思医疗科技有限公司
技术研发日：2021.03.29
技术公布日：2021/6/25