本申请涉及医学图像预测,特别涉及一种基于组织学图像的乳腺癌her2免疫组化表达预测方法。
背景技术:
1、乳腺癌是全球女性发病率最高的癌症,也是全球女性因癌症死亡的首要原因。乳腺癌的确诊主要依赖于病理学诊断。
2、影响乳腺癌生存率的因素很多,人表皮生长因子受体2(human epidermal growthfactor receptor 2,her2)是乳腺癌预后和靶向治疗预测疗效的重要生物标志物。早期临床试验的结果表明,只有her2阳性乳腺癌患者才受益于使用曲妥珠单抗的化疗方案。最近的临床试验结果表明,传统上经免疫组织化学(immunohistochemistry,ihc)和原位杂交(in situ hybridization,ish)联合判断为her2阴性,但her2 ihc表达水平比较低的患者亚群,对新型治疗化合物,特别是新型her2靶向抗体药物偶联物(antibody-drugconjugates,adc)具有显著的临床益处。
3、乳腺癌her2的表达主要通过半定量ihc检测,在实际病例中her2表达的判读结果仍存在不同程度的差异,不同观察者及不同标本类型中对her2判读结果的不一致主要体现在her2 2+与3+之间、her2 0与1+之间。导致部分“her2 low”病例被归为阴性,失去使用新型adc药物的机会。乳腺癌her2的准确判读将直接影响临床最佳治疗方案的选择。
4、使用ihc及ish作为主要检测方法存在着重大挑战,受多种因素影响。且比较消耗时间和组织,容易受检测前条件的影响。同时,不同单位及观察者之间或观察者内部存在着判读时的主观差异性,导致结果的不一致性较高,尤其对于her2低表达者。最后,ihc及ish均需要固定的额外费用及技术平台支持,有些基层医院尚无法开展此项检测技术。与ihc、ish和其他仅可在实验室操作的分子技术相比,he染色更便捷、快速、节约成本,且在每个病理实验室都是可行的。能否转向更客观、更精准且经济有效的定量评估,通过he切片(即常规组织染色切片)识别组织学图像去分析分子标志物状态,弥补仅由病理医生手动进行定性或半定量评估的不足,是亟需解决的问题。
5、人工智能(artificial intelligence,ai)人工智能是一门科学与技术,旨在使计算机系统能够模仿人类智能的各种特征,如学习、推理、问题解决、感知、语言理解和交流,以及适应新情境并自主地做出适当的行动,从而实现更高层次的自动化和智能化功能。在医学领域中,ai已经在影像学、病理学以及疾病诊疗方案的指导等多个方面广泛应用。目前在乳腺组织病理全切片的诊断领域,国内外也有一定量的研究,但是由于具有标注的医学图像量少、乳腺组织病理全切片本身存在的复杂性,针对乳腺组织病理全切片图像的预测算法往往不够精确。
技术实现思路
1、为了解决或者部分解决上述问题,本申请提供了一种基于组织学图像的乳腺癌her2免疫组化表达预测方法,能够根据病理全切片预测her2的类型,且预测结果较为准确。
2、第一方面,本申请提供了一种基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,包括:
3、获取病理全切片,将所述病理全切片切块得到分块图像;
4、将所述分块图像输入预训练的her2分级模型,获取所述分块图像的特征向量、注意力分数,并根据所述特征向量、所述注意力分数预测所述病理全切片的第一预测概率,得到预测结果。
5、本申请提供了一种基于组织学图像的乳腺癌her2免疫组化表达预测方法,根据her2分级模型对病理全切片的her2的类型进行预测,根据得到的第一预测概率,可以得到her2类型的预测结果,由her2的类型能够确定是否进行相应的化疗方案,大幅提升数据处理的速度和准确率,有效解决临床病理工作中现存的乳腺癌her2免疫组化检测费用高、耗时久、人工判读上的主观性及低一致性等问题,大幅提升临床岗位工作效率,兼具实用性和先进性的优点。
1.一种基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,包括:
2.根据权利要求1所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,所述获取所述分块图像的特征向量,包括:
3.根据权利要求1所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,所述根据所述特征向量、所述注意力分数预测所述病理全切片的第一预测概率,包括:
4.根据权利要求3所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,根据所述注意力分数对所述特征向量进行聚合,得到第一聚合特征,包括:
5.根据权利要求4所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,根据所述第二聚合特征进行预测,获取病理全切片的第一预测概率,得到预测结果,包括:
6.根据权利要求1所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,所述her2分级模型由主干网络训练而成,在所述将所述分块图像输入预训练的her2分级模型的步骤之前,还包括;
7.根据权利要求6所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,所述获取所述病理全切片的第二预测概率,包括:
8.根据权利要求7所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,其特征在于,所述通过所述第一预测概率、所述第二预测概率优化所述主干网络,包括:
9.根据权利要求1所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,所述获取具有图像类别标签的病理全切片,将所述病理全切片切块得到分块图像,包括:
10.根据权利要求1所述的基于组织学图像的乳腺癌her2免疫组化表达预测方法,还包括;