胰腺器官分割模型的构建方法、胰腺器官分割方法及系统

专利2025-10-08  2


本发明属于医学影像处理领域,涉及自注意胰腺分割方法,具体是一种基于位置先验引导映射和聚类的自注意胰腺分割方法及装置。


背景技术:

1、计算机断层扫描(computed tomography ct)技术可以对胰腺器官的位置、形态和组织等信息清晰成像,是病灶准确定位、医生定量分析及提供解剖学结构研究的重要前提。通过计算机高效的影像处理能力,精准高效的从ct影像中分割胰腺器官,不仅可以辅助临床疾病诊断、更对肿瘤消融手术的制定有着十分重要的意义。

2、基于深度学习方法,现有的利用深度卷积神经网络完成ct影像器官分割的方法主要包括:

3、(1)r.roth团队在2018年提出了一种3d网络用于自动胰腺定位和分割的两阶段方法。其利用深度学习方法从三个方向采用整体嵌套的卷积网络(hnns),并通过池化融合得到hnn每像素概率图,从而获得胰腺的3d边界框。其次在分割阶段,整合深度学习获取的器官内部和边界信息的中级语义。然后,将深度学习获取的器官内部中级语义信息和边界中级语义信息进行整合,实现最终完成胰腺分割任务。

4、(2)fang等人在2019年提出了一种新颖的端到端的全局引导渐进融合网络。它涉及全局特征和复杂的3d几何信息。网络设计了渐进式融合网络以从3d邻域中提取3d局部上下文信息,并预测每个切片分割的2d概率图。

5、(3)zhang等人提出3d上下文残差网络(conresnet)用于精确分割3d医学图像。该模型在基础的编码器-解码器网络结构中还加入了上下文残差解码器。作者设计了上下文残差模块并使用它来连接每个尺度的两个解码器。每个上下文残差模块都包含用来学习切片上下文信息的上下文残差映射和提高分割精度的上下文注意力映射。

6、(4)最近,考虑到transformer在nlp领域的巨大成功,a hatamizadeh等人在2022年提出一种名为unetr的网络,它利用transformer作为编码器来学习序列输入量的表示并有效地捕获全局多尺度信息,同时也遵循“u形”网络设计的编解码器结构。transformer编码器直接连接到解码器通过不同分辨率的跳跃连接计算最终的语义分割的输出。

7、不可否认的是以前的方法确实取得了较为显著的进步,但相比于其他较大腹部器官的分割结果,胰腺等腹部小器官的分割效果仍然具有较大的提升空间。现有的利用深度卷积神经网络完成胰腺器官的分割方法主要存在以下不足:

8、(1)由于不同病人胰腺器官的形状,大小和位置的多变性以及相邻器官间模糊的边界和高灰度相似性等特点,为其分割带来一定的挑战,因此目前胰腺器官分割效果仍然比较有限。

9、(2)由于胰腺器官在ct影像中占比较小,对于大多数3d胰腺分割算法,其胰腺分割结果与原始标签存在欠分割或者过分割的问题,以上研究工作并没有充分解决这一问题。


技术实现思路

1、针对现有技术存在的不足,本发明的目的在于,提供一种胰腺器官分割模型建立、分割的方法及装置,解决现有技术中的胰腺器官在整张3d ct影像中占据较小像素区域导致胰腺器官和背景区域的类别不平衡的问题以及胰腺器官形状变化大导致胰腺器官中较难分割的边缘形状无法得到精准分割的技术问题。

2、为了解决上述技术问题,本发明采用如下技术方案予以实现:

3、一种基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,包括如下步骤:

4、步骤1,获取ct影像数据集,并对其进行预处理,对ct影像数据集中每一套ct影像数据中的胰腺器官进行标注,将标注的胰腺器官作为标签,将标注完的ct影像数据集作为带标签的训练集;

5、步骤2,构建分割模型;

6、所述的分割模型包括相连的编码器、残差单元分支和解码器;

7、所述的编码器用于对带标签的训练集中的ct影像数据进行编码,得到胰腺器官语义特征图;

8、所述的残差单元分支用于对带标签的训练集中的ct影像数据处理,得到语义特征图;

9、所述的解码器用于对编码器输出的胰腺器官语义特征图和残差单元分支输出的语义特征图进行解码,得到特征图;

10、步骤3,将步骤1获取的带标签的训练集作为输入,采用戴斯相似度系数损失作为损失函数,对步骤2构建的分割模型进行训练,获得训练好的分割模型,即胰腺器官分割模型。

11、本发明还包括以下技术特征:

12、所述的编码器为多层,每一层均包括相连的pgfm模块和td-ca模块;

13、所述的td-ca模块包括残差单元、并列设置的三个平均池化层、拼接层、卷积层、批量归一化层、非线性激活层、空间通道划分层、并列设置的三个卷积层、并列设置的三个sigmoid函数和融合层;

14、三个所述的平均池化层的内核不同;

15、所述的残差单元分支包括多层;

16、所述的解码器包括相连的四层,第一层包括依次相连的残差单元、上采样模块、1×1×1的卷积和拼接模块;其余层包括依次相连的pcam模块、残差单元、上采样模块、1×1×1的卷积和拼接模块。

17、所述的编码器为n层,解码器为n-1层,n≥5。

18、步骤3具体包括以下步骤:

19、步骤3.1,将带标签的训练集中的ct影像数据o0分别输入到分割模型的编码器和残差单元分支,得到编码器输出的胰腺器官语义特征图oi(i=1,…,5)和残差单元输出的语义特征图oj1(j=0,…,3);

20、步骤3.2,将步骤3.1中的胰腺器官语义特征图o5和语义特征图oj1(j=0,…,3)入至解码器中,得到特征图m0;

21、步骤3.3,将步骤3.2得到的特征图m0经过1×1×1卷积和softmax激活函数处理,得到胰腺器官预测分割概率图。

22、步骤3.1具体包括以下子步骤:

23、步骤3.1.1,将ct影像数据o0分别输送至编码器的第一层和残差单元分支的第一层,得到胰腺器官语义特征图o1和语义特征图o01;

24、步骤3.1.2,胰腺器官语义特征图o1分别输送至编码器的第二层和残差单元分支的第二层,得到胰腺器官语义特征图o2和语义特征图o11;

25、步骤3.1.3,胰腺器官语义特征图o2分别输送至编码器的第三层和残差单元分支的第三层,得到胰腺器官语义特征图o3和语义特征图o21;

26、步骤3.1.4,胰腺器官语义特征图o3分别输送至编码器的第四层和残差单元分支的第四层,得到胰腺器官语义特征图o4和语义特征图o31;

27、步骤3.1.5,胰腺器官语义特征图o4输送至编码器的第四层,得到胰腺器官语义特征图o5。

28、所述的编码器输出的胰腺器官语义特征图oi(i=1,…,5)的过程包含如下子步骤:

29、s1,将ct影像数据o0或胰腺器官语义特征图oi(i=1,…,4)映射到笛卡尔坐标系的矢状、横状和冠状面;

30、s2,在每个面上分别通过全局最大池化和全局平均池化的求和操作将输入的ct影像数据o0或胰腺器官语义特征图oi(i=1,…,4)映射到2d平面上,生成每个面对应的键k和查询q,对ct影像数据o0或胰腺器官语义特征图oi执行1×1×1卷积,得到每个面对应的值v;

31、s3,通过alp从每一个查询q中得到偏移量和调制权重;

32、提取查询q中每个像素的坐标,将所有坐标归一化到[-1,1];将归一化后的坐标按通道拼接到查询q中,并对其进行卷积操作,得到具有位置信息的特征图,再对具有位置信息的特征图卷积得到偏移量和调制权重。

33、s4,通过s3得到的偏移量指导键k做可变形卷积得到局部注意力图l,将提取到的局部注意力特征图l和查询q拼接生成特征图f,对特征图f使用两个1×1卷积和尺度扩展得到注意力特征图g;通过对注意力特征图与v做广播乘法得到混合注意力特征图n,将混合注意力特征图n与ct影像数据o0或胰腺器官语义特征图oi融合得到特征图y;

34、s5,将每个面获得的特征图y分别通过三个可学习的权重进行相加,并进行下采样,得到特征图oi’(i=1,…,4);

35、s6,将s5得到的特征图oi’(i=1,…,4)输入至td-ca模块,得到胰腺器官语义特征图oi(i=1,…,4)。

36、步骤s6具体包括以下步骤:

37、步骤s6.1,将步骤s5得到的特征图oi’(i=1,…,4)经过残差单元处理,再分别输入到三个平均池化层中,得到三个方向的感知注意力图;

38、步骤s6.2,拼接步骤s6.1得到的三个方向的感知注意力图,对其依次进行卷积、批归一化和非线性操作,生成特征图f;

39、步骤s6.3,空间通道划分层将步骤s6.2得到的特征图f切分为三个张量;

40、步骤s6.4,对步骤6.3得到的三个张量依次卷积、sigmoid激活和尺度扩展,生成三个注意力权重特征图;

41、步骤s6.5,将步骤s6.4得到的三个注意力权重特征图分别与特征图oi’(i=1,…,4)相乘,再相加得到胰腺器官语义特征图oi(i=1,…,4)。

42、步骤3.2具体包括以下步骤:

43、步骤3.2.1,将特征图o5通过残差单元后,上采样模块对其进行两倍的上采样处理,再经过1×1×1的卷积操作得到特征图m31,通过拼接模块对得到特征图m31和语义特征图o31进行融合拼接,得到特征图m3;

44、步骤3.2.2,将步骤3.2.1得到的特征图m3输入到pcam模块,然后将pcam模块输出的特征图通过残差单元处理后,上采样模块对其进行两倍的上采样处理,再经过1×1×1的卷积操作得到特征图m21,通过拼接模块对得到特征图m21和语义特征图o21进行融合拼接,得到特征图m2;

45、步骤3.2.3,将步骤3.2.2得到的特征图m2输入到pcam模块,然后将pcam模块输出的特征图通过残差单元处理后,上采样模块对其进行两倍的上采样处理,再经过1×1×1的卷积操作得到特征图m11,通过拼接模块对得到特征图m11和语义特征图o11进行融合拼接,得到特征图m1;

46、步骤3.2.4,将步骤3.2.3得到的特征图m1输入到pcam模块,然后将pcam模块输出的特征图通过残差单元处理后,上采样模块对其进行两倍的上采样处理,再经过1×1×1的卷积操作得到特征图m01,通过拼接模块对得到特征图m01和语义特征图o01进行融合拼接,得到特征图m0。

47、一种基于位置先验引导映射和聚类的自注意胰腺分割方法,其特征在于,包括以下步骤:

48、步骤一,获取待分割的原始ct影像数据集;

49、步骤二,将待分割的原始ct影像数据集输入所述的胰腺器官分割模型建立方法中得到的胰腺器官分割模型中,得到胰腺器官分割概率图;

50、步骤三,将步骤二中得到的胰腺器官分割概率图的前景图作为胰腺器官分割结果。

51、一种基于位置先验引导映射和聚类的自注意胰腺分割系统,包括数据采集模块、模型建立模块、模型训练模块、图像采集单元和胰腺器官分割单元:

52、所述的数据采集模块用于获取ct影像数据集并进行预处理,对ct影像数据集中每一套ct影像中的胰腺器官进行标注,将标注的胰腺器官作为标签,将标注完的ct影像数据集作为带标签的训练集;

53、所述的模型建立模块用于构建分割模型,所述的分割模型包括相连的编码器、残差单元分支和解码器;

54、所述的模型训练模块用于将获取的带标签的训练集作为输入,采用戴斯相似度系数损失作为损失函数,对构建的分割模型进行训练,获得训练好的分割模型,即胰腺器官分割模型;

55、所述的图像采集单元用于获取待分割的原始ct影像数据集;

56、所述的胰腺器官分割单元用于将待分割的原始ct影像数据集输入所述的胰腺器官分割模型建立方法中得到的胰腺器官分割模型中,得到胰腺器官分割概率图,以及将获取胰腺器官分割概率图的前景图作为胰腺器官分割结果。

57、本发明与现有技术相比,有益的技术效果是:

58、(ⅰ)本发明利用了ct影像特点,设计了具有td-ca模块和pgfm模块的编码器,通过将3d特征投影到2d平面,解决了解决现有技术中的胰腺器官在整张3d ct影像中占据较小像素区域导致胰腺器官和背景区域的类别不平衡的问题;并且通过设计alp和可变形卷积操作,有效的解决了胰腺器官形状变化大导致胰腺器官中较难分割的边缘形状无法得到精准分割的技术问题。

59、(ⅱ)本发明通过设置具有pcam模块的解码器,通过自注意捕获每个类中心和特征点之间的长程依赖性,允许重新分配上下文信息来增强相关特征,确保了分割结果的准确性和连续性;残差单元用于恢复每一层输出的特征图中的胰腺器官语义特征的细节信息和空间分辨率信息,从而有效提高胰腺器官的分割精度。


技术特征:

1.一种基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,包括如下步骤:

2.如权利要求1所述的基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,其特征在于,所述的编码器为多层,每一层均包括相连的pgfm模块和td-ca模块;

3.如权利要求1所述的基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,其特征在于,所述的编码器为n层,解码器为n-1层,n≥5。

4.如权利要求2所述的基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,其特征在于,步骤3具体包括以下步骤:

5.如权利要求4所述的基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,其特征在于,步骤3.1具体包括以下子步骤:

6.如权利要求4所述的基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,其特征在于,所述的编码器输出的胰腺器官语义特征图oi(i=1,…,5)的过程包含如下子步骤:

7.如权利要求6所述的基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,其特征在于,步骤s6具体包括以下步骤:

8.如权利要求2所述的基于位置先验引导特征映射和聚类的自注意胰腺器官分割模型的构建方法,其特征在于,步骤3.2具体包括以下步骤:

9.一种基于位置先验引导映射和聚类的自注意胰腺分割方法,其特征在于,包括以下步骤:

10.一种基于位置先验引导映射和聚类的自注意胰腺分割系统,包括数据采集模块、模型建立模块、模型训练模块、图像采集单元和胰腺器官分割单元:


技术总结
本发明公开了一种胰腺器官分割模型的构建方法、胰腺器官分割方法及系统,获取CT影像数据集,并对其进行预处理,对CT影像数据集中每一套CT影像数据中的胰腺器官进行标注,将标注的胰腺器官作为标签,将标注完的CT影像数据集作为带标签的训练集;构建分割模型;分割模型包括相连的编码器、残差单元分支和解码器;利用了CT影像特点,设计了具有TD‑CA模块和PGFM模块的编码器,通过将3D特征投影到2D平面,解决了解决现有技术中的胰腺器官在整张3D CT影像中占据较小像素区域导致胰腺器官和背景区域的类别不平衡的问题;并且通过设计ALP和可变形卷积操作,有效的解决了胰腺器官形状变化大导致胰腺器官中较难分割的边缘形状无法得到精准分割的技术问题。

技术研发人员:张敏,范凯阳,夏寿海,汤逸琳,冯筠
受保护的技术使用者:西北大学
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1824063.html

最新回复(0)