本发明涉及图像处理,具体的是一种基于图像处理的病理切片质量判别方法及系统。
背景技术:
1、病理标本通过固定、取材、脱水、包埋后制成组织蜡块,再把组织蜡块经过切片与染色制成病理切片。
2、病理切片质量控制是临床病理质量控制的关键环节和基础,病理切片制作的质量必须满足规定的质量控制标准和要求,目前,针对病理切片的质量评价工作,主要是以病理技术人员及医生的评价为主,由于切片数据量巨大,可视化的切片优良率评估必须由人工审核向机器智能化筛查转变。迄今为止,病理切片质量的机器智能化判别方法都只通过染色后的病理切片进行判别,然而有些切片质量问题无法通过病理切片单独判定,需要与蜡块中的组织进行对比,比如组织与切片是否一致,组织切面是否完整,切片是否有污染等问题。
技术实现思路
1、为解决上述背景技术中提到的不足,本发明的目的在于提供一种基于图像处理的病理切片质量判别方法及系统,能够使用机器智能化筛查的方式辅助技术人员高效高质量的评价病理切片的质量。
2、第一方面,本发明的目的可以通过以下技术方案实现:
3、结合第一方面,在第一方面的某些实现方式中,该方法还包括:一种基于图像处理的病理切片质量判别方法,方法包括以下步骤:
4、获取蜡块图像与病理切片图像,将蜡块图像与病理切片图像进行预处理,得到预处理后的蜡块图像和病理切片图像;
5、将预处理后的蜡块图像与病理切片图像进行边缘提取,得到蜡块图像和病理切片图像的边缘轮廓,将蜡块图像和病理切片图像的边缘轮廓进行匹配,得到图像的相似度,根据相似度大小判定蜡块图像与病理切片图像是否一致,若不一致则病理切片图像质量不合格,若一致则标记为一次处理图像;
6、将一次处理图像内的蜡块图像与病理切片图像进行像素计算,得到蜡块图像的像素面积和病理切片图像的像素面积,计算蜡块图像的像素面积和病理切片图像的像素面积的比值,根据比值大小判定病理切片是否切全,若未切全则病理切片图像质量不合格,若切全则标记为二次处理图像;
7、将二次处理图像内的蜡块图像与病理切片图像进行图像对齐,利用病理切片图像减去蜡块图像得到相差部分,若相差部分面积为负值,则判定病理切片图像不存在污染,若相差部分面积为正值,则判定病理切片图像存在污染,病理切片图像质量不合格。
8、在本发明的另一方面,为了达到上述目的,公开了所述将蜡块图像与病理切片图像进行预处理的过程:
9、将蜡块图像与病理切片图像分离颜色通道,选取蓝色通道将原图转为黑白图;对黑白图像进行孔洞填充操作,去除图像内组织间隙的空白区域,得到预处理后的蜡块图像与病理切片图像。
10、在本发明的另一方面,为了达到上述目的,公开了所述将预处理后的蜡块图像与病理切片图像进行边缘提取的过程:
11、使用opencv中的边缘提取算法,findcontours()函数,分别获取蜡块图像以及病理切片图像的轮廓,公式如下:
12、contours,_=cv2.findcontours(image,cv2.retr_list,cv2.chain_approx_simple)
13、cv2.findcontours为opencv中的边缘提取算法函数,image为函数的输入参数,指待提取轮廓的图像;cv2.retr_list,cv2.chain_approx_simple为算法中的超参数;contours为函数输出的结果,即函数得到的输入图像的轮廓。
14、在本发明的另一方面,为了达到上述目的,公开了所述将蜡块图像和病理切片图像的边缘轮廓进行匹配得到图像的相似度,采用opencv中的图像轮廓之形状匹配方法,计算过程如下:
15、match=cv2.matchshapes(contour1,contour2,cv2.contours_match_i1)
16、其中cv2.matchshapes为opencv中的图像轮廓之形状匹配方法函数,contour1,contour2为函数输入的参数,分别指待计算相似度的两幅图像的轮廓,match为函数输出的结果,为函数得到的轮廓相似度结果。
17、在本发明的另一方面,为了达到上述目的,公开了所述计算蜡块图像的像素面积和病理切片图像的像素面积的比值,根据比值大小判定病理切片是否切全的过程:
18、将蜡块图像的面积设为x,病理切片图像的面积设为y,由y/x=z,z为病理切片图像面积与蜡块图像面积比值,设定比值阈值z0,若z≥z0,则病理切片图像切全,z<z0,则病理切片图像未切全。
19、在本发明的另一方面,为了达到上述目的,公开了所述将预处理后的蜡块图像与病理切片图像进行图像对齐的过程包括:
20、使用opencv算法分别获取两幅图像中的最大连通域,使用最大连通的组织作为特征区域用于两幅图像的对齐操作;接着分别计算两幅图像中“最上、最下、最右”三个像素点位置,作为对齐前后的映射点;然后使用opencv算法库中的透视变换算法,使蜡块图像向病理切片图像进行对齐。
21、在本发明的另一方面,为了达到上述目的,公开了所述使用opencv算法获取图像的最大连通域的计算过程如下:
22、首先通过cv2.findcontours函数找到二值图像中的所有边界;然后通过cv2.contourarea函数计算每个边界内的面积,并找到内部面积最大的那个边界;最后通过cv2.fillpoly函数将面积不是最大的边界内部依次涂成背景,最后图片保留的前景区域即为最大连通域。
23、在本发明的另一方面,为了达到上述目的,公开了所述使用opencv算法库中的透视变换算法,使蜡块图像向病理切片图像进行对齐的过程如下:
24、首先分别获取蜡块图像与病理切片图像上相同组织位置的三个特征点,分别取两幅黑白图像上的“最上、最下、最右”三个像素点位置,作为对齐前后的映射点;接着使用这两组点,通过cv2.getperspectivetransform函数生成透视变换矩阵,函数如下:
25、m=cv2.getperspectivetransform(src,dst)
26、其中m为计算得到的透视变换矩阵,src为病理图像上3个特征像素点坐标的集合,dst为蜡块图像上3个特征像素点坐标的集合;
27、然后使用cv2.warpperspective函数,根据透视变换矩阵进行透视变换,函数如下:
28、img1=cv2.warpperspective(img2,m,(width,height))
29、img1为向病理切片图像进行对齐后的蜡块图像,img2为对齐前的蜡块图像,m为透视变换矩阵,(width,height)为蜡块图像变换后期望的图像宽度和高度,此处采用病理切片图像的宽度和高度。
30、第二方面,为了达到上述目的,本发明公开了一种基于图像处理的病理切片质量判别系统,包括:
31、图像处理模块,用于获取蜡块图像与病理切片图像,将蜡块图像与病理切片图像进行预处理,得到预处理后的蜡块图像和病理切片图像;
32、轮廓匹配模块,用于将预处理后的蜡块图像与病理切片图像进行边缘提取,得到蜡块图像和病理切片图像的边缘轮廓,将蜡块图像和病理切片图像的边缘轮廓进行匹配,得到图像的相似度,根据相似度大小判定蜡块图像与病理切片图像是否一致,若不一致则病理切片图像质量不合格,若一致则标记为一次处理图像;
33、像素比较模块,用于将一次处理图像内的蜡块图像与病理切片图像进行像素计算,得到蜡块图像的像素面积和病理切片图像的像素面积,计算蜡块图像的像素面积和病理切片图像的像素面积的比值,根据比值大小判定病理切片是否切全,若未切全则病理切片图像质量不合格,若切全则标记为二次处理图像;
34、对齐差值模块,用于将二次处理图像内的蜡块图像与病理切片图像进行图像对齐,利用病理切片图像减去蜡块图像得到相差部分,若相差部分面积为负值,则判定病理切片图像不存在污染,若相差部分面积为正值,则判定病理切片图像存在污染,病理切片图像质量不合格。
35、结合第二方面,在第二方面的某些实现方式中,该系统还包括:所述图像处理模块将蜡块图像与病理切片图像进行预处理的过程:
36、将蜡块图像与病理切片图像分离颜色通道,选取蓝色通道将原图转为黑白图;对黑白图像进行孔洞填充操作,去除图像内组织间隙的空白区域,得到预处理后的蜡块图像与病理切片图像;
37、优选地,轮廓匹配模块内将预处理后的蜡块图像与病理切片图像进行边缘提取的过程:
38、使用opencv中的边缘提取算法,findcontours()函数,分别获取蜡块图像以及病理切片图像的轮廓,公式如下:
39、contours,_=cv2.findcontours(image,cv2.retr_list,cv2.chain_approx_simple)
40、cv2.findcontours为opencv中的边缘提取算法函数,image为函数的输入参数,指待提取轮廓的图像;cv2.retr_list,cv2.chain_approx_simple为算法中的超参数;contours为函数输出的结果,即函数得到的输入图像的轮廓。
41、轮廓匹配模块内,将蜡块图像和病理切片图像的边缘轮廓进行匹配得到图像的相似度,采用opencv中的图像轮廓之形状匹配方法,计算过程如下:
42、match=cv2.matchshapes(contour1,contour2,cv2.contours_match_i1)
43、其中cv2.matchshapes为opencv中的图像轮廓之形状匹配方法函数,contour1,contour2为函数输入的参数,分别指待计算相似度的两幅图像的轮廓,match为函数输出的结果,为函数得到的轮廓相似度结果;
44、优选地,像素比较模块内计算蜡块图像的像素面积和病理切片图像的像素面积的比值,根据比值大小判定病理切片是否切全的过程:
45、将蜡块图像的面积设为x,病理切片图像的面积设为y,由y/x=z,z为病理切片图像面积与蜡块图像面积比值,设定比值阈值z0,若z≥z0,则病理切片图像切全,z<z0,则病理切片图像未切全;
46、优选地,对齐差值模块内将预处理后的蜡块图像与病理切片图像进行图像对齐的过程包括:
47、使用opencv算法分别获取两幅图像中的最大连通域,使用最大连通的组织作为特征区域用于两幅图像的对齐操作;接着分别计算两幅图像中“最上、最下、最右”三个像素点位置,作为对齐前后的映射点;然后使用opencv算法库中的透视变换算法,使蜡块图像向病理切片图像进行对齐;
48、优选地,对齐差值模块内使用opencv算法获取图像的最大连通域的计算过程如下:
49、首先通过cv2.findcontours函数找到二值图像中的所有边界;然后通过cv2.contourarea函数计算每个边界内的面积,并找到内部面积最大的那个边界;最后通过cv2.fillpoly函数将面积不是最大的边界内部依次涂成背景,最后图片保留的前景区域即为最大连通域;
50、优选地,对齐差值模块内使用opencv算法库中的透视变换算法,使蜡块图像向病理切片图像进行对齐的过程如下:
51、首先分别获取蜡块图像与病理切片图像上相同组织位置的三个特征点,分别取两幅黑白图像上的最上、最下、最右三个像素点位置,作为对齐前后的映射点;接着使用这两组点,通过cv2.getperspectivetransform函数生成透视变换矩阵,函数如下:
52、m=cv2.getperspectivetransform(src,dst)
53、其中m为计算得到的透视变换矩阵,src为病理图像上3个特征像素点坐标的集合,dst为蜡块图像上3个特征像素点坐标的集合;
54、然后使用cv2.warpperspective函数,根据透视变换矩阵进行透视变换,函数如下:
55、img1=cv2.warpperspective(img2,m,(width,height))
56、img1为向病理切片图像进行对齐后的蜡块图像,img2为对齐前的蜡块图像,m为透视变换矩阵,(width,height)为蜡块图像变换后期望的图像宽度和高度,此处采用病理切片图像的宽度和高度。
57、本发明的有益效果:
58、本发明通过对蜡块和切片进行比较,可以对组织与切片是否一致,组织切面是否完整,切片是否有污染等进行检测。
59、本发明使用图像处理辅助判定的方法,大大降低了工作量、节约时间、减少工作失误。
60、本发明使用摄像机即可获取蜡块和切片的图像,无需使用扫描仪,造价低,速度快,维护保养简单易行。
1.一种基于图像处理的病理切片质量判别方法,其特征在于,方法包括以下步骤:
2.根据权利要求1所述的一种基于图像处理的病理切片质量判别方法,其特征在于,所述将蜡块图像与病理切片图像进行预处理的过程:
3.根据权利要求1所述的一种基于图像处理的病理切片质量判别方法,其特征在于,所述将预处理后的蜡块图像与病理切片图像进行边缘提取的过程:
4.根据权利要求1所述的一种基于图像处理的病理切片质量判别方法,其特征在于,所述将蜡块图像和病理切片图像的边缘轮廓进行匹配得到图像的相似度,采用opencv中的图像轮廓之形状匹配方法,计算过程如下:
5.根据权利要求1所述的一种基于图像处理的病理切片质量判别方法,其特征在于,所述计算蜡块图像的像素面积和病理切片图像的像素面积的比值,根据比值大小判定病理切片是否切全的过程:
6.根据权利要求1所述的一种基于图像处理的病理切片质量判别方法,其特征在于,所述将预处理后的蜡块图像与病理切片图像进行图像对齐的过程包括:
7.根据权利要求6所述的一种基于图像处理的病理切片质量判别方法,其特征在于,所述使用opencv算法获取图像的最大连通域的计算过程如下:
8.根据权利要求6所述的一种基于图像处理的病理切片质量判别方法,其特征在于,所述使用opencv算法库中的透视变换算法,使蜡块图像向病理切片图像进行对齐的过程如下:
9.一种基于图像处理的病理切片质量判别系统,其特征在于,包括:
10.根据权利要求9所述的一种基于图像处理的病理切片质量判别系统,其特征在于,所述图像处理模块将蜡块图像与病理切片图像进行预处理的过程: