本技术涉及数据处理技术,尤其涉及一种小样本下的宫颈癌病理图像识别方法。
背景技术:
1、宫颈癌病理分析是宫颈癌诊断和治疗过程中至关重要的环节,近年来在技术、方法及应用上取得了显著的进步和发展。
2、在现有技术中,通常是对患者进行活检或细胞学检查,包括刮片、锥切术等,从患者宫颈部位取得组织样本。然后,将收集到的组织样本经过固定、脱水、包埋、切片成玻片,并通过染色方法来显示不同结构和特征,最后通过数字病理扫描仪进行扫描,并将扫描得到的数字病理图像可以通过网络上传至医院信息系统,以便于医生对数字病理图像进行查看,但是,对于超高像素分辨率的数字病理图像,其尺寸十分巨大,医生查看的效率较低。
技术实现思路
1、本技术提供一种小样本下的宫颈癌病理图像识别方法,用以解决医生查看数字病理图像效率较低的技术问题。
2、第一方面,本技术提供一种宫颈癌病理图像识别方法,包括:
3、获取目标对象的宫颈癌病理信息,所述宫颈癌病理信息包括身份标识信息以及通过数字病理扫描仪所获取到的宫颈癌病理图像;
4、利用预设宫颈癌病理图像识别模型对所述宫颈癌病理图像进行识别,以识别出特征区域,其中,所述特征区域为所述宫颈癌病理图像中的部分图像区域,所述预设宫颈癌病理图像识别模型为基于预设宫颈癌病理图像数据集所训练的神经网络模型,所述预设宫颈癌病理图像数据集中的宫颈癌病理图像样本包括原始宫颈癌病理图像及标注于所述原始宫颈癌病理图像上的特征标识,所述特征标识用于表征所述原始宫颈癌病理图像上对应区域为异常状态;
5、在目标终端上显示宫颈癌病理图像识别结果,所述宫颈癌病理图像识别结果包括所述宫颈癌病理图像以及特征标识框,所述特征标识框用于在所述宫颈癌病理图像上标识出所述特征区域,所述目标终端为根据所述身份标识信息所确定的终端设备。
6、可选的,所述在目标终端上显示宫颈癌病理图像识别结果,包括:
7、在所述目标终端上显示所述宫颈癌病理图像,并在所述宫颈癌病理图像的所述特征区域显示所述特征标识框,所述特征标识框的几何中心点在所述目标终端上的显示位置与所述目标终端的显示器上的几何中心点相重合;
8、在所述特征标识框上显示有特征提示标识,以在触发所述特征提示标识时,在所述目标终端上显示特征放大图像,所述特征放大图像为所述特征区域的放大图像。
9、可选的,若所述特征区域的数量为多个,则在所述显示器的初始显示图像中包括所有特征区域以及各个特征区域所对应的特征标识框,并且,所述显示器上的几何中心点与多个所述特征区域中面积最大的特征区域所对应的特征标识框的几何中心点相重合。
10、可选的,在所述利用预设宫颈癌病理图像识别模型对所述宫颈癌病理图像进行识别之前,还包括:
11、通过数字病理扫描仪获取原始宫颈癌病理图像集合p={p1,p2,…,pt,…,pn},其中,pt为所述原始宫颈癌病理图像集合p中的第t个原始宫颈癌病理图像,n为原始宫颈癌病理图像集合p中原始宫颈癌病理图像的数量;
12、获取所述原始宫颈癌病理图像集合p所对应的图像分辨率集合f={f1,f2,…,ft,…,fn},其中,所述ft为所述pt所对应的分辨率;
13、若所述ft>fk,则通过下采样系数s对所述pt进行下采样处理,以将所述pt更新为经过所述下采样处理后的图像pt′,并生成更新后的原始宫颈癌病理图像集合p′,其中,所述fk为预设图像分辨率阈值,所述下采样系数s根据公式1进行确定,所述公式1为:
14、
15、响应于特征标识指令,获取更新后的原始宫颈癌病理图像集合p′中各个原始宫颈癌病理图像上的特征标识,并形成对应的宫颈癌病理图像样本,以生成所述预设宫颈癌病理图像数据集。
16、可选的,所述响应于特征标识指令,获取更新后的原始宫颈癌病理图像集合p′中各个原始宫颈癌病理图像上的特征标识,并形成对应的宫颈癌病理图像样本,包括:
17、将所述原始宫颈癌病理图像集合p′中各个原始宫颈癌病理图像进行灰度处理,并将经过灰度处理后的原始宫颈癌病理图像分割为图像块集合其中,m为在图像的第一方向以及第二方向上的图像块的数量,所述第一方向与所述第二方向为正交关系;
18、响应于作用在更新后的原始宫颈癌病理图像集合p′中各个原始宫颈癌病理图像上轮廓绘制指令,以从所述图像块集合w中确定异常区域集合,所述异常区域集合中的图像块为异常区域轮廓线范围内图像块以及与所述异常区域轮廓线存在交点的图像块所构成的图像块集合,所述异常区域轮廓线为响应于所述轮廓绘制指令所生成的轮廓线;
19、根据公式2,计算所述异常区域集合中与所述异常区域轮廓线存在交点的图像块的特征点坐标(cx,cy),所述公式2为:
20、
21、其中,xij为图像块中在所述第一方向上序号为i,在所述第二方向上序号为j的像素点的横坐标,hij图像块中在所述第一方向上序号为i,在所述第二方向上序号为j的像素点的灰度值,yij为图像块中在所述第一方向上序号为i,在所述第二方向上序号为j的像素点的纵坐标;
22、若所述特征点坐标(cx,cy)在所述异常区域轮廓线之外,则将对应的图像块的相邻图像块并入所述异常区域集合,以生成扩展异常区域集合;
23、根据所述扩展异常区域集合生成所述特征标识,并形成对应的宫颈癌病理图像样本,所述特征标识用于标识出所述扩展异常区域。
24、可选的,所述神经网络模型为图神经网络,所述图神经网络包括多层主邻域聚合层,其中,所述多层主邻域聚合层中的当前层主邻域聚合层的输出为下一层主邻域聚合层的输入,所述下一层主邻域聚合层输出的第g个节点的节点特征根据公式3进行确定,所述公式3为:
25、
26、其中,为当前层主邻域聚合层输出的第g个节点的节点特征,m为感知机预测层,e为任意节点间的边,为第g个节点在边e上的相邻节点的节点特征,u为节点聚合操作,为张量积。
27、可选的,在目标终端上显示宫颈癌病理图像识别结果之后,还包括:
28、获取作用于目标终端上的识别结果反馈指令,所述识别结果反馈指令包括识别结果确认指令以及识别结果修改指令,其中,所述识别结果确认指令用于对所述宫颈癌病理图像识别结果进行确认,所述识别结果修改指令用于对所述宫颈癌病理图像识别结果进行所述特征标识框的位置调整、范围调整以及删除中的至少一项修改操作;
29、若所述识别结果反馈指令为所述识别结果修改指令,则根据所述识别结果修改指令生成宫颈癌病理图像识别修改结果,并将所述宫颈癌病理图像识别修改结果添加至所述预设宫颈癌病理图像数据集,以生成更新宫颈癌病理图像数据集;
30、利用所述更新宫颈癌病理图像数据集对所述预设宫颈癌病理图像识别模型进行更新训练。
31、第二方面,本技术提供一种宫颈癌病理图像识别装置,其特征在于,
32、获取模块,用于获取目标对象的宫颈癌病理信息,所述宫颈癌病理信息包括身份标识信息以及通过数字病理扫描仪所获取到的宫颈癌病理图像;
33、处理模块,用于利用预设宫颈癌病理图像识别模型对所述宫颈癌病理图像进行识别,以识别出特征区域,其中,所述特征区域为所述宫颈癌病理图像中的部分图像区域,所述预设宫颈癌病理图像识别模型为基于预设宫颈癌病理图像数据集所训练的神经网络模型,所述预设宫颈癌病理图像数据集中的宫颈癌病理图像样本包括原始宫颈癌病理图像及标注于所述原始宫颈癌病理图像上的特征标识,所述特征标识用于表征所述原始宫颈癌病理图像上对应区域为异常状态;
34、显示模块,用于在目标终端上显示宫颈癌病理图像识别结果,所述宫颈癌病理图像识别结果包括所述宫颈癌病理图像以及特征标识框,所述特征标识框用于在所述宫颈癌病理图像上标识出所述特征区域,所述目标终端为根据所述身份标识信息所确定的终端设备。
35、可选的,所述显示模块,具体用于:
36、在所述目标终端上显示所述宫颈癌病理图像,并在所述宫颈癌病理图像的所述特征区域显示所述特征标识框,所述特征标识框的几何中心点在所述目标终端上的显示位置与所述目标终端的显示器上的几何中心点相重合;
37、在所述特征标识框上显示有特征提示标识,以在触发所述特征提示标识时,在所述目标终端上显示特征放大图像,所述特征放大图像为所述特征区域的放大图像。
38、可选的,若所述特征区域的数量为多个,则在所述显示器的初始显示图像中包括所有特征区域以及各个特征区域所对应的特征标识框,并且,所述显示器上的几何中心点与多个所述特征区域中面积最大的特征区域所对应的特征标识框的几何中心点相重合。
39、可选的,所述获取模块,还用于通过数字病理扫描仪获取原始宫颈癌病理图像集合p={p1,p2,…,pt,…,pn},其中,pt为所述原始宫颈癌病理图像集合p中的第t个原始宫颈癌病理图像,n为原始宫颈癌病理图像集合p中原始宫颈癌病理图像的数量;
40、所述获取模块,还用于获取所述原始宫颈癌病理图像集合p所对应的图像分辨率集合f={f1,f2,…,ft,…,fn},其中,所述ft为所述pt所对应的分辨率;
41、若所述ft>fk,则通过下采样系数s对所述pt进行下采样处理,以将所述pt更新为经过所述下采样处理后的图像pt′,并生成更新后的原始宫颈癌病理图像集合p′,其中,所述fk为预设图像分辨率阈值,所述下采样系数s根据公式1进行确定,所述公式1为:
42、
43、所述获取模块,还用于响应于特征标识指令,获取更新后的原始宫颈癌病理图像集合p′中各个原始宫颈癌病理图像上的特征标识,并形成对应的宫颈癌病理图像样本,以生成所述预设宫颈癌病理图像数据集。
44、可选的,所述处理模块,具体用于:
45、将所述原始宫颈癌病理图像集合p′中各个原始宫颈癌病理图像进行灰度处理,并将经过灰度处理后的原始宫颈癌病理图像分割为图像块集合其中,m为在图像的第一方向以及第二方向上的图像块的数量,所述第一方向与所述第二方向为正交关系;
46、响应于作用在更新后的原始宫颈癌病理图像集合p′中各个原始宫颈癌病理图像上轮廓绘制指令,以从所述图像块集合w中确定异常区域集合,所述异常区域集合中的图像块为异常区域轮廓线范围内图像块以及与所述异常区域轮廓线存在交点的图像块所构成的图像块集合,所述异常区域轮廓线为响应于所述轮廓绘制指令所生成的轮廓线;
47、根据公式2,计算所述异常区域集合中与所述异常区域轮廓线存在交点的图像块的特征点坐标(cx,cy),所述公式2为:
48、
49、其中,xij为图像块中在所述第一方向上序号为i,在所述第二方向上序号为j的像素点的横坐标,hij图像块中在所述第一方向上序号为i,在所述第二方向上序号为j的像素点的灰度值,yij为图像块中在所述第一方向上序号为i,在所述第二方向上序号为j的像素点的纵坐标;
50、若所述特征点坐标(cx,cy)在所述异常区域轮廓线之外,则将对应的图像块的相邻图像块并入所述异常区域集合,以生成扩展异常区域集合;
51、根据所述扩展异常区域集合生成所述特征标识,并形成对应的宫颈癌病理图像样本,所述特征标识用于标识出所述扩展异常区域。
52、可选的,所述神经网络模型为图神经网络,所述图神经网络包括多层主邻域聚合层,其中,所述多层主邻域聚合层中的当前层主邻域聚合层的输出为下一层主邻域聚合层的输入,所述下一层主邻域聚合层输出的第g个节点的节点特征根据公式3进行确定,所述公式3为:
53、
54、其中,为当前层主邻域聚合层输出的第g个节点的节点特征,m为感知机预测层,e为任意节点间的边,为第g个节点在边e上的相邻节点的节点特征,u为节点聚合操作,为张量积。
55、可选的,所述获取模块,还用于获取作用于目标终端上的识别结果反馈指令,所述识别结果反馈指令包括识别结果确认指令以及识别结果修改指令,其中,所述识别结果确认指令用于对所述宫颈癌病理图像识别结果进行确认,所述识别结果修改指令用于对所述宫颈癌病理图像识别结果进行所述特征标识框的位置调整、范围调整以及删除中的至少一项修改操作;
56、若所述识别结果反馈指令为所述识别结果修改指令,则根据所述识别结果修改指令生成宫颈癌病理图像识别修改结果,并将所述宫颈癌病理图像识别修改结果添加至所述预设宫颈癌病理图像数据集,以生成更新宫颈癌病理图像数据集;
57、利用所述更新宫颈癌病理图像数据集对所述预设宫颈癌病理图像识别模型进行更新训练。
58、第三方面,本技术提供一种电子设备,包括:
59、处理器;以及,
60、存储器,用于存储所述处理器的可执行指令;
61、其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。
62、第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。
63、本技术提供的一种宫颈癌病理图像识别方法,通过获取目标对象的宫颈癌病理信息,然后,利用预设宫颈癌病理图像识别模型对宫颈癌病理图像进行识别,以识别出特征区域,最后,在目标终端上显示宫颈癌病理图像识别结果,从而实现对于宫颈癌病理图像中具有病理特征区域的自动且快速的识别,并且,实现对于识别结果的直观展示,有效地提高了对于宫颈癌病理诊断识别的效率。
1.一种宫颈癌病理图像识别方法,其特征在于,包括:
2.根据权利要求1所述的宫颈癌病理图像识别方法,其特征在于,所述在目标终端上显示宫颈癌病理图像识别结果,包括:
3.根据权利要求2所述的宫颈癌病理图像识别方法,其特征在于,若所述特征区域的数量为多个,则在所述显示器的初始显示图像中包括所有特征区域以及各个特征区域所对应的特征标识框,并且,所述显示器上的几何中心点与多个所述特征区域中面积最大的特征区域所对应的特征标识框的几何中心点相重合。
4.根据权利要求1-3中任意一项所述的宫颈癌病理图像识别方法,其特征在于,在所述利用预设宫颈癌病理图像识别模型对所述宫颈癌病理图像进行识别之前,还包括:
5.根据权利要求4所述的宫颈癌病理图像识别方法,其特征在于,所述响应于特征标识指令,获取更新后的原始宫颈癌病理图像集合p′中各个原始宫颈癌病理图像上的特征标识,并形成对应的宫颈癌病理图像样本,包括:
6.根据权利要求5所述的宫颈癌病理图像识别方法,其特征在于,所述神经网络模型为图神经网络,所述图神经网络包括多层主邻域聚合层,其中,所述多层主邻域聚合层中的当前层主邻域聚合层的输出为下一层主邻域聚合层的输入,所述下一层主邻域聚合层输出的第g个节点的节点特征根据公式3进行确定,所述公式3为:
7.根据权利要求1-3中任意一项所述的宫颈癌病理图像识别方法,其特征在于,在目标终端上显示宫颈癌病理图像识别结果之后,还包括:
8.一种宫颈癌病理图像识别装置,其特征在于,
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。