本发明属于医学影像,具体涉及一种基于多参数mri(magneticresonance imaging,磁共振成像)图像的乳腺癌辅助识别方法及装置。
背景技术:
1、目前,乳腺癌已成为对全球女性健康威胁最大的癌症。在中国,乳腺癌呈现出“城市化”现象。在经济相对发达地区,城市女性患癌风险增加,乳腺癌已成为当前社会的重大公共卫生问题。医学影像在乳腺癌诊断、分期、治疗方案设计和疗效评估等方面起着重要作用,是提高乳腺癌治疗效果的前提。采取医学影像拍摄检查对肿瘤进行早期辅助诊断,有助于降低乳腺癌患者的死亡率。乳腺mri诊断乳腺癌的阴性预测值高达98%,可更加直观的反映病变的形态学特征,是乳腺癌检出最敏感的检查手段。mri中双侧乳腺可以同时显影便于对比鉴别,对多灶及多中心病变的诊断、病变范围评估、腋窝淋巴结状态判定具有独特价值。然而令人遗憾的是,乳腺mri对微小钙化的诊断不甚敏感,良恶性病变的表现存在一定的重叠,部分血供丰富的良性病变可表现为类似肿瘤的强化模式而造成误诊。因此,依赖于mri影像征象的经验性判读主观性强,其诊断准确性受限于医师的经验和职业能力。
2、随着计算机技术、图像处理和模式识别技术的持续发展,计算机辅助诊断技术(computer-aided diagnosis,cad)出现并应用到临床诊断中,在一定程度上提高了乳腺癌的诊断准确率。传统的cad系统特征的提取需要根据经验进行人为设定,包括灰度、形状以及纹理等浅层特征,只能实现一定程度上的辅助诊断。而深度学习方法无需先验知识,自动从图像大数据中提取最有预测性的高层语义特征;给予它的数据量越大、模型识别精度也将越高,有希望形成高效的智能诊断系统。人工智能(artificial intelligence,简称ai)可以提取医学影像蕴含的肉眼难以感知的高维信息,利用智能诊断系统对mri图像进行预诊断,可减少大量的阅片时间,有助于缓解患者日益增长的医疗需求、持续增加的影像数量和相对不足的影像诊断专家间的缺口矛盾。利用ai辅助诊断技术,进行乳腺癌辅助诊断与筛查,是实现乳腺癌早发现早治疗,改善乳腺癌患者生存率的可行方式。
3、现有技术一般通过将单一参数的mri图像输入到训练好的神经网络模型,对乳腺癌病灶良恶性进行辅助诊断,其缺点是准确率不高。为此,本发明提供一种基于多参数mri图像的乳腺癌辅助诊断方法及装置。
技术实现思路
1、为了解决现有技术中存在的上述问题,本发明提供一种基于多参数mri图像的乳腺癌辅助识别方法及装置,利用多参数的核磁共振mri图像,提取并融合不同核磁序列上的病灶信息,可有效提升乳腺病灶良恶性判断的准确性。
2、为了实现上述目的,本发明采用以下技术方案。
3、第一方面,本发明提供一种基于多参数mri图像的乳腺癌辅助识别方法,包括以下步骤:
4、步骤101,分别获取同一患者的dwi-adc序列和t1动态增强序列的乳腺mri图像i1、i2;
5、步骤102,从i1中提取3d图像块i1-3d;从i2中提取3d图像块,并按时间顺序拼接在一起,形成包含时间信息的4d图像块i2-4d;
6、步骤103,采用3d卷积神经网络模块分别对3d图像块i1-3d、4d图像块i2-4d进行特征提取,得到特征f1、f2;
7、步骤104,对特征f1、f2进行融合,将融合后的特征输入到一个良恶性分类器,得到乳腺病灶的良恶性。
8、进一步地,所述步骤102还包括:
9、从i1中划分出感兴趣区域1,然后将感兴趣区域1划分成3d图像块i1-3d;
10、从{i2(ti)}中划分出感兴趣区域2,然后将感兴趣区域2划分成3d图像块,并按时间顺序拼接在一起,形成包含时间信息的4d图像块i2-4d。
11、进一步地,基于注意力机制对特征f1、f2进行融合。
12、更进一步地,所述基于注意力机制对特征f1、f2进行融合,包括:
13、将特征f1、f2相加后进行1*1卷积,再经过sigmoid操作得到权重矩阵;
14、按下式对特征f1、f2进行融合:
15、f=f1×w+f2×(1-w) (1)
16、式中,f为f1、f2融合后的特征,w为权重矩阵。
17、进一步地,所述良恶性分类器由全连接层构成,将融合后的特征输入到全连接层,得到病灶为恶性的概率;若所述概率大于设定阈值,则病灶为恶性;否则病灶为良性。
18、第二方面,本发明提供一种基于多参数mri图像的乳腺癌辅助识别装置,包括:
19、图像获取模块,用于分别获取同一患者的dwi-adc序列和t1动态增强序列的乳腺mri图像i1、i2;
20、图像块提取模块,用于从i1中提取3d图像块i1-3d;从i2中提取3d图像块,并按时间顺序拼接在一起,形成包含时间信息的4d图像块i2-4d;
21、特征提取模块,用于采用3d卷积神经网络模块分别对3d图像块i1-3d、4d图像块i2-4d进行特征提取,得到特征f1、f2;
22、病灶分类模块,用于对特征f1、f2进行融合,将融合后的特征输入到一个良恶性分类器,得到乳腺病灶的良恶性。
23、进一步地,所述特征提取模块还用于:
24、从i1中划分出感兴趣区域1,然后将感兴趣区域1划分成3d图像块i1-3d;
25、从i2中划分出感兴趣区域2,然后将感兴趣区域2划分成3d图像块,并按时间顺序拼接在一起,形成包含时间信息的4d图像块i2-4d。
26、进一步地,所述病灶分类模块基于注意力机制对特征f1、f2进行融合。
27、更进一步地,所述基于注意力机制对特征f1、f2进行融合,包括:
28、将特征f1、f2相加后进行1*1卷积,再经过sigmoid操作得到权重矩阵;
29、按下式对特征f1、f2进行融合:
30、f=f1×w+f2×(1-w) (1)
31、式中,f为f1、f2融合后的特征,w为权重矩阵。
32、进一步地,所述良恶性分类器由全连接层构成,将融合后的特征输入到全连接层,得到病灶为恶性的概率;若所述概率大于设定阈值,则病灶为恶性;否则病灶为良性。
33、与现有技术相比,本发明具有以下有益效果。
34、本发明通过分别获取同一患者的dwi-adc序列和t1动态增强序列的乳腺mri图像i1、i2,从i1中提取3d图像块i1-3d,从i2中提取3d图像块,并按时间顺序拼接在一起,形成包含时间信息的4d图像块i2-4d,采用3d卷积神经网络模块分别对i1-3d、i2-4d进行特征提取,得到特征f1、f2,对特征f1、f2进行融合,将融合后的特征输入到一个良恶性分类器,得到乳腺病灶的良恶性,实现了基于多参数mri图像的乳腺癌辅助识别。由于t1动态增强序列的mri图像包含病灶的多角度、多时相信息,dwi-adc序列的mri图像则包含关于乳腺和病灶组织内水分子弥散的信息,本发明通过对这两种不同序列的mri图像进行特征提取和融合,提高了乳腺癌识别的精度。
1.一种基于多参数mri图像的乳腺癌辅助识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于多参数mri图像的乳腺癌辅助识别方法,其特征在于,所述步骤102还包括:
3.根据权利要求1所述的基于多参数mri图像的乳腺癌辅助识别方法,其特征在于,基于注意力机制对特征f1、f2进行融合。
4.根据权利要求3所述的基于多参数mri图像的乳腺癌辅助识别方法,其特征在于,所述基于注意力机制对特征f1、f2进行融合,包括:
5.根据权利要求1所述的基于多参数mri图像的乳腺癌辅助识别方法,其特征在于,所述良恶性分类器由全连接层构成,将融合后的特征输入到全连接层,得到病灶为恶性的概率;若所述概率大于设定阈值,则病灶为恶性;否则病灶为良性。
6.一种基于多参数mri图像的乳腺癌辅助识别装置,其特征在于,包括:
7.根据权利要求6所述的基于多参数mri图像的乳腺癌辅助识别装置,其特征在于,所述特征提取模块还用于:
8.根据权利要求6所述的基于多参数mri图像的乳腺癌辅助识别装置,其特征在于,所述病灶分类模块基于注意力机制对特征f1、f2进行融合。
9.根据权利要求8所述的基于多参数mri图像的乳腺癌辅助识别装置,其特征在于,所述基于注意力机制对特征f1、f2进行融合,包括:
10.根据权利要求6所述的基于多参数mri图像的乳腺癌辅助识别装置,其特征在于,所述良恶性分类器由全连接层构成,将融合后的特征输入到全连接层,得到病灶为恶性的概率;若所述概率大于设定阈值,则病灶为恶性;否则病灶为良性。