本发明涉及深度学习,更具体的说是涉及一种基于深度学习的乳腺癌病理图像分析方法。
背景技术:
1、当前人工智能技术在迅速发展,展现出了独特的优势,在各个领域得到广泛应用,其中以深度学习为代表的各类算法是当前的研究热点。深度学习是人工智能的一个重要子领域,旨在模拟人脑神经元的连接,使计算机能够更好地识别信息和上下文中的关系。近年来,基于神经网络的深度学习方法在许多任务,如图像识别、语音识别、自然语言处理等方面都取得了突破性成果。深度学习模型以其高度的灵活性和有效性,已被广泛应用于各种问题的解决。深度学习是未来计算机科学领域最具前景的方法之一,不断向全新的应用领域拓展。
2、随着计算机科学和医学领域的进一步发展,深度学习已经在乳腺癌病理图像识别中起到了重要作用。此技术在图像识别、分类和图像分割等领域的不断突破,为乳腺癌早期发现和治疗提供了更好的途径。乳腺癌病理图像识别的核心挑战包括细胞组织和分支的定位、细胞变化的识别以及良性和恶性肿瘤的鉴别。以前这些工作依赖病理学家的经验和知识,但深度学习的出现则打破了这种局限。由于深度学习能够自动分析图像,它能显著地减少工作量、提高效率和准确性,从而减少了人为因素的影响。随着深度学习在医学影像分析中的应用日渐广泛,这种技术在乳腺癌病理图像识别中也发挥了重要的作用。深度学习为乳腺癌的早期发现与治疗提供了新的方向。
3、研究人员利用深度学习对乳腺癌组织的细胞核进行分割,并取得了很高的准确度,表明深度学习在乳腺癌病理图像识别方面所拥有的巨大潜力。然后有学者使用无监督深度学习方法对乳腺癌组织切片进行了识别,进一步提升了该领域的研究。深度学习在乳腺癌筛查和诊断过程中的作用被日益重视。在乳腺癌的患者筛查和诊断过程中,尽早发现重要的标志性特征至关重要。这些特征可能很微小,很难被裸眼识别,但却能被深度学习模型中的卷积神经网络(cnn)识别,通过卷积神经网络(cnn)检测乳腺癌的关键标志性特性的微妙变化,可以增加早期诊断的可能性。现有技术提出了一种名为“深度残差学习”的模型,成功的将这些微小特征并入预测乳腺癌复发风险的数学模型中,极大的提升了预测的精准性。另一方面,深度学习也在乳腺癌治疗决策中发挥了重要的作用,包括对外科干预的决定以及对治疗方案的选择均起着重要作用,因为进行手术时需对肿瘤进行准确评估。同时,使用深度学习进行乳腺癌患者输送到淋巴结的细胞识别,在临床实践中取得了重要突破。深度学习也被应用于患者的个性化治疗中,通过分析乳腺癌分子亚型,为患者设计最适合的治疗方案提供重要帮助。
4、有研究表明,乳腺癌与上皮-间充质转化(emt,epithelial-mesenchymaltransition)有关,emt是一个生物过程,细胞在上皮状态和间充质状态间转化,该过程在生物发育、组织修复以及恶性肿瘤发生中扮演着重要角色。早在80年代,emt过程就已经被生物学家研究,发现emt是成为恶性肿瘤发生和发展的机理之一。在乳腺癌中,emt过程与癌症侵袭、迁移以及耐药性等多种重要生物学特性紧密相关。由上皮细胞转变为更具侵袭性的间充质细胞,可以促进癌症细胞穿过基底膜迁移到远处器官,形成转移病灶。由于emt过程与乳腺癌的侵袭性和转移性相关,因此研究emt对于乳腺癌的治疗有重要意义。
5、深度学习在识别和预测乳腺癌的emt过程中展现出了巨大的潜力,利用深度神经网络(dnn)可以从复杂的基因组数据中提取出关键特征,这使得科研人员能够识别和理解影响emt相关基因的潜在机制及其变换规律。为了提升这一研究方法的准确性,有学者提出了一种新的深度学习模型,该模型通过强化学习算法优化了dnn的结构,增强了模型在预测emt状态时的准确性。更进一步地,有学者开发了一种基于深度学习的自动化方法,通过对乳腺癌组织切片进行复杂的图像分析,可以确定emt的状态,这种方法不仅大大提高了emt状态判断的效率,而且减少了由于人工病理学阅片带来的误判风险。
6、综上所述,深度学习在乳腺癌emt的研究中显示出了巨大的潜力,预期在未来,随着技术的不断发展和优化,这项技术将在乳腺癌的预测、诊断和治疗中发挥更大的作用。然而,乳腺癌emt的研究依然面临着诸多挑战,emt并非一个非此即彼的过程,在很多情况下,细胞可能只是处于了部分emt状态,即介于上皮和间充质之间的状态。这就使得研究这一过程变得复杂且困难,这种困难极有可能耽误乳腺癌的早期发现和治疗。
7、因此,如何更准确的对乳腺癌病理图像中的上皮组织和间充质组织进行识别和分类,为医生提高乳腺癌诊断的准确性提供支持是本领域技术人员亟需解决的技术问题。
技术实现思路
1、有鉴于此,本发明提供了一种基于深度学习的乳腺癌病理图像分析方法,解决了背景技术存在的问题。
2、为了实现上述目的,本发明提供如下技术方案:
3、一种基于深度学习的乳腺癌病理图像分析方法,包括以下步骤:
4、构建改进型的efficientnet-b0网络模型并通过公开的乳腺癌临床样本数据集进行模型优化,直至损失函数收敛,得到训练好的图像分析模型;
5、利用训练好的图像分析模型对待识别的乳腺癌病理图像进行分析,生成清晰的上皮组织图像和间充质组织图像。
6、可选的,所述的公开的乳腺癌临床样本数据集采用tcga(the cancer genomeatlas)数据集;
7、可选的,所述的改进型的efficientnet-b0网络模型以efficientnet模型为基础,通过增加网络层数、增大通道数量和参数数量进行网络结构优化,包括依次相连的主干网络、第一模块、block1、block2、block3、block4、block5、第二模块和输出层;
8、主干网络包括依次连接的输入层、第一缩放层、归一化层、第一零填充层、第一二维卷积层、第一批归一化层和第一激活函数层;
9、block1包括依次连接的第二模块、第三模块和第一叠加层,其中第二模块还与第一叠加层连接;
10、block2包括依次连接的第二模块、第三模块和第二叠加层,block1中的第一叠加层分别与block2中的第二模块、第二叠加层连接;
11、block3包括依次连接的第二模块、第三模块、第三叠加层、第三模块和第四叠加层,block2中的第二叠加层分别与block3中的第二模块、第三叠加层连接,第三叠加层与第四叠加层连接;
12、block4包括依次连接的第二模块、第三模块、第五叠加层、第三模块和第六叠加层,block3中的第四叠加层分别与block4中的第二模块、第五叠加层、第六叠加层连接;
13、block5包括依次连接的第二模块、第三模块、第七叠加层、第三模块、第八叠加层、第九叠加层、第三模块和第十叠加层,block4中的第六叠加层分别与block5中的第二模块、第七叠加层、第八叠加层、第九叠加层、第十叠加层连接。
14、可选的,第一模块包括依次连接的第一深度可分离卷积层、第二批归一化层和第二激活函数层。
15、可选的,第二模块包括依次连接的第二深度可分离卷积层、第三批归一化层、第三激活函数层、第二零填充层、第三深度可分离卷积层、第四批归一化层和第四激活函数层。
16、可选的,第三模块包括全局平均池化层、第二缩放层、第二二维卷积层和第三二维卷积层。
17、可选的,模型优化采用adam算法,损失函数为二值交叉熵损失函数。
18、可选的,利用训练好的图像分析模型对待识别的乳腺癌病理图像进行分析,具体如下:
19、首先将待识别的乳腺癌病理图像从kfb文件格式转换为svs文件格式,将裁剪得到的图像转换为rgb格式并缩放到原来尺寸的一半,获取缩放后的宽度和高度并存储缩放后的图像转换数据类型;对缩放图像进行滑动窗口处理,用两个循环分别遍历缩放图像的宽度和高度;计算每个图像块内非白色像素点的数量,判断是否满足非白像素阈值,当非白色像素数大于阈值λ时,将该图像块依次进行翻转、旋转、归一化变换后输入到训练好的图像分析模型进行预测,得到一个数组g1,表示每个变换后的图像块的预测结果;然后再将g1中的预测结果进行加权平均并累加到数组相应的位置上,同时通过累加掩码矩阵记录每个像素被处理的次数,将每个像素的预测结果除以该像素被处理的次数,得到最终的归一化预测结果g2;接下来把g2中归一化的值缩放到0到255的范围,在该范围内的图像视为有效图像,若g2>255则会被视为噪声而舍弃;再将有效图像数组转换为图像i1,并将图像i1转换为灰度图像i2,即完成将svs图像文件转换成png文件;所述的png文件包括清晰的上皮组织图像和间充质组织图像。
20、可选的,所述方法还包括:采用组织增强视融算法生成可视化热力覆盖图像,具体包括以下步骤:
21、读取svs图像文件,获取svs图像数据;
22、读取png文件,并将png图像大小调整为与svs图像相同;
23、采用高斯滤波器,平滑png图像;
24、将平滑后的png图像值映射到彩色空间,得到彩色的热力图;
25、应用颜色阈值并创建掩码,将热力图中的黑色背景去除;
26、将处理后的热力图和svs图像按预设比例融合,生成最终的可视化热力覆盖图像。
27、可选的,所述方法还包括采用综合灰度阈值智能判定算法对图像分析结果进行评估,具体包括以下步骤:
28、计算png图像所有像素的总和;
29、计算png图像的面积,即图像的宽度乘以高度;
30、计算png图像中像素值大于等于1的像素总数和占据的面积;
31、计算每幅png图像中的上皮组织面积或间质组织面积所占总组织区域面积的比例和
32、
33、
34、式中,表示第i副图像中上皮组织面积和总区域面积的比例,total_sum(i)表示第i副图像中的上皮组织像素点数量,total_area(i)表示第i副图像中总的像素点数量;设有n副图像,则i的取值范围:1≤i≤n;
35、表示第k副图像中间充质组织面积和总区域面积的比例,total_area_1(k)表示第k副图像中的总的像素点数量,total_sum_1(k)表示第k副图像中的间充质组织像素点数量;设有m副图像,则k的取值范围:1≤k≤m。
36、设置一个比例阈值r,将与比例阈值r进行比较,若则xi=1,否则xi=0;同样,若则yk=1,否则yk=0;
37、分别计算和取1数量的比例,并保存为le和lm:
38、
39、本发明有益效果如下:
40、经由上述的技术方案可知,与现有技术相比,本发明提供了一种基于深度学习的乳腺癌病理图像分析方法,能够更准确地识别和分类乳腺癌病理图像中的上皮组织和间充质组织,更好地帮助医生理解和解读医学影像,从而提高乳腺癌诊断的准确性,提高工作效率,同时可为预测乳腺癌的发展和愈后提供重要帮助,也为医生制定个性化和高效的治疗方案提供了重要参考。
1.一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,所述的公开的乳腺癌临床样本数据集采用tcga数据集。
3.根据权利要求1所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,所述的改进型的efficientnet-b0网络模型以efficientnet模型为基础,通过增加网络层数、增大通道数量和参数数量进行网络结构优化,包括依次相连的主干网络、第一模块、block1、block2、block3、block4、block5、第二模块和输出层;
4.根据权利要求3所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,第一模块包括依次连接的第一深度可分离卷积层、第二批归一化层和第二激活函数层。
5.根据权利要求4所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,第二模块包括依次连接的第二深度可分离卷积层、第三批归一化层、第三激活函数层、第二零填充层、第三深度可分离卷积层、第四批归一化层和第四激活函数层。
6.根据权利要求5所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,第三模块包括全局平均池化层、第二缩放层、第二二维卷积层和第三二维卷积层。
7.根据权利要求1-6任意一项所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,模型优化采用adam算法,损失函数为二值交叉熵损失函数。
8.根据权利要求1所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,利用训练好的图像分析模型对待识别的乳腺癌病理图像进行分析,具体如下:
9.根据权利要求8所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,所述方法还包括:采用组织增强视融算法生成可视化热力覆盖图像,具体包括以下步骤:
10.根据权利要求8所述的一种基于深度学习的乳腺癌病理图像分析方法,其特征在于,所述方法还包括采用综合灰度阈值智能判定算法对图像分析结果进行评估,具体包括以下步骤:
