本发明属于图像处理,具体是一种基于动态多尺度条件扩散模型的医学图像分割方法。
背景技术:
1、医学图像分割技术在临床医疗中扮演着重要的角色,它能够针对人体图像中的特定区域或组织进行分析,并提取其病理形态,为临床医生提供了专业的病情数据,有助于医生更准确地分析和诊断病情,制定更精准的医疗方案和诊断策略,从而选择更有效、更安全的治疗方案,促进患者的健康恢复。
2、传统的医学图像识别和分析主要依靠临床医生的经验和人工分割,不仅费时费力,而且受主观因素影响较大,随着医学图像分割技术的发展,医学图像的自动分割已成为备受关注的研究热点,然而,由于一些医学图像存在低对比度、目标区域的形状和大小不一以及目标区域与周围正常组织之间的边界非常模糊,导致医学图像的自动分割成为一项极具挑战性的任务。
3、随着深度学习的发展,学者们提出了许多医学图像分割模型,大致可以分为两类,包括基于cnn的分割模型和基于transformer的分割模型,其中,基于cnn的分割模型在医学图像分割任务中表现良好,但不能充分考虑图像中不同区域之间的关系和相互依赖关系,缺乏对整个图像的全面洞察,在分割大面积或分布不均匀的医学图像时,面临严重的挑战;基于transformer的模型擅长提取有效的全局信息,从而增强网络的全局上下文表示,但是,过度关注全局特征,对局部细节的识别能力有所欠缺,导致模型对微小病灶区域和模糊边界的分割性能下降。
4、目前,由于扩散模型在反向去噪过程中具有出色的特征学习能力而受到了广泛的关注,因此,一些学者在图像分割任务中也采用扩散模型,并取得了良好的分割结果,例如,baranchuk等人指出去噪扩散模型中的u形结构可以有效提取图像的语义特征,并首次将扩散模型应用于语义分割任务中;amit等人提出了segdiff,它将输入图像视为条件特征来指导扩散模型的迭代逆过程;wolleb等人率先将扩散模型应用于医学图像分割,利用模型的随机噪声生成一组隐式分割掩模,有效提高了分割性能;为了强化扩散过程中条件特征的约束,medsegdiff将噪声分割掩模集成到条件特征编码过程中,并采用特征频率解析器(ffparser)来抑制扩散过程中的高频噪声,从而细化分割结果,然而,由于条件特征的全局表示能力有限,medsegdiff很容易产生不正确的掩模;为了解决这个问题,wu等人通过引入transformer来对分割噪声和语义特征之间的交互进行建模,从而改进了medsegdiff,进一步提高了分割精度;此外,chen等人提出了一种条件伯努利扩散模型来生成更准确的分割掩模;bozorgpour等人提出了具有边界感知损失的dermosegdiff,在皮肤病变数据集上表现出了令人印象深刻的分割性能。
5、虽然,扩散模型在图像分割任务中表现出了巨大的潜力和应用价值,然而,将扩散模型应用于医学图像分割任务时,仍然存在三个主要问题:(1)、在提取条件特征时不能充分考虑不同大小病灶的复杂性,导致对大小不一和较为隐蔽的病灶区域分割性能较差;(2)、通常只从原始图像或噪声掩膜中提取条件特征,忽略了特征多样性对分割性能的影响;(3)、不能根据语义特征的多样性来整合不同层次的特征,导致无法充分捕获病灶区域边界的关键语义信息,分割精度较低。
技术实现思路
1、针对现有技术存在的不足,本发明的目的是提供一种基于动态多尺度条件扩散模型的医学图像分割方法,能够精确地识别隐蔽的病灶区域并描绘各种形状病灶区域的边界,提高了医学图像的分割精度。
2、为了实现上述目的,本发明采用以下技术方案予以实现:
3、基于动态多尺度条件扩散模型的医学图像分割方法,包括如下步骤:
4、步骤1、构建网络模型polypsegdiff,初始化超参数;
5、所述网络模型polypsegdiff包括动态多尺度集成网络、层次特征增强模块和去噪网络,动态多尺度集成网络包括四个金字塔transformer层,其中金字塔transformer层1由高斯平滑注意力嵌入层和transformer编码器构成,金字塔transformer层2、金字塔transformer层3和金字塔transformer层4均由重叠嵌入层和transformer编码器构成;所述层次特征增强模块包括分层集合模块和细节提炼模块;
6、步骤2、对待分割的未标注医学图像x及其对应的标注真值的医学图像x进行预处理;
7、步骤3、将标注真值的医学图像x输入去噪网络,利用去噪网络的正向扩散过程,对x加噪处理,经过t步迭代,得到加噪后的噪声掩码图xt;
8、步骤4、将噪声掩码图xt和待分割的未标注医学图像x一起输入动态多尺度集成网络,对xt和x进行特征融合,从融合特征中提取多尺度特征f1、f2、f3和f4;
9、步骤5、层次特征增强模块对多尺度特征f1、f2、f3和f4进行分层特征融合,输出融合的条件特征;
10、步骤6、将噪声掩码图xt和条件特征输入去噪网络,通过条件特征引导去噪网络的反向扩散过程,得到去噪后的噪声掩码图xt-1;
11、步骤7、迭代进行步骤3~步骤6,经过t次反向去噪迭代后,将xt恢复至清晰的分割掩码图
12、进一步地,所述步骤1中初始化超参数包括:将训练批量大小设置为32、训练迭代次数设置为200以及将初始学习率设置为0.001。
13、进一步地,所述步骤2中预处理的过程为:先通过随机缩放、水平和垂直翻转、旋转、填充和随机裁剪对未标注医学图像x进行数据增强,然后将未标注医学图像x和标注真值的医学图像x的大小调整为256×256。
14、进一步地,所述步骤3的具体过程为:
15、在去噪网络正向扩散过程中,通过连续的t步迭代,向原始的标注真值的医学图像x0中逐渐添加高斯噪声,正向扩散过程表示为:
16、
17、式中,t代表扩散步数,xt代表扩散过程中的噪声掩码图,每次迭代过程中,添加高斯噪声的公式表示为:
18、
19、式中,βt为正向扩散过程中控制高斯噪声的参数,i是一个n×n的单位矩阵,在任意时间t进行采样的公式表示为:
20、
21、αt=1-βt
22、
23、式中,αt是与βt相关的衰减系数,表示t步扩散过程中所有αt的乘积。
24、进一步地,所述步骤4的具体过程为:
25、步骤4.1、金字塔transformer层1中的高斯平滑注意力嵌入层采用高斯平滑操作降低噪声掩码图xt中噪声对特征信息的影响,对经过高斯平滑降噪处理的xt与原始医学图像x分别卷积,得到各自的特征图并相加,得到融合特征图,同时,将xt的特征图输入空间注意力,将空间注意力的输出与融合特征图相乘,生成条件特征;
26、步骤4.2、条件特征作为金字塔transformer层1中transformer编码器的输入,transformer编码器输出特征图f1;
27、步骤4.3、将f1输入金字塔transformer层2,输出特征图f2;
28、步骤4.4、将f2输入金字塔transformer层3,输出特征图f3;
29、步骤4.5、将特征图f3输入金字塔transformer层4,输出特征图f4。
30、进一步地,所述步骤5的具体过程为:
31、步骤5.1、将底层特征图f1输入细节提炼模块,从不同维度捕获f1中隐蔽的息肉细节特征并输出fdrm,表示为:
32、
33、式中,sa代表空间注意力操作,ca代表通道注意力操作,代表逐元素乘法;
34、步骤5.2、将高层特征图f2、f3和f4输入分层聚合模块,先对高层特征f4进行上采样,使其与特征图f2、f3的尺寸相同,再通过多层上采样和级联操作对高层特征图f2、f3和f4进行融合,然后分别进行卷积,然后通过逐元素乘法和张量拼接操作实现特征融合,输出包含高级语义特征的特征图fham,表示为:
35、
36、
37、式中,conv代表卷积操作,concat代表张量拼接操作;
38、步骤5.3、将细节提炼模块的输出fdrm和分层聚合模块的输出fham进行张量拼接操作,拼接后的特征作为引导去噪网络迭代的条件特征。
39、进一步地,所述步骤6的反向扩散过程表示为:
40、
41、
42、
43、式中,为分割掩码图,σ2表示反向扩散过程中高斯分布的方差。
44、本发明与现有技术相比,具有如下技术效果:
45、本发明提出的网络模型polypsegdiff包括动态多尺度集成网络和层次层特征增强模块,其中:动态多尺度集成网络能够融合噪声分割掩膜图和原始图像的特征,并过动态提取多尺度条件特征,不仅有效减少了特征融合时噪声的误导,而且显着增强了网络识别各种形状和大小的病灶区域的能力;层次特征增强模块将不同深度的多尺度信息进行有针对性的处理和融合,有效提高了条件特征的语义丰富度,帮助去噪网络能够更好地捕捉病灶区域与周围组织之间的空间关系和语义关联,从而得到清晰的分割掩码图,即医学图像分割结果图。简而言之,本发明提出的基于动态多尺度条件扩散模型的医学图像分割方法,可以有效识别隐蔽的病灶区域并精确描绘各种形状病灶区域的边界,实现更好的图像分割效果,具有广阔的应用前景。
1.基于动态多尺度条件扩散模型的医学图像分割方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于动态多尺度条件扩散模型的医学图像分割方法,其特征在于,所述步骤1中初始化超参数包括:将训练批量大小设置为32、训练迭代次数设置为200以及将初始学习率设置为0.001。
3.根据权利要求1所述的基于动态多尺度条件扩散模型的医学图像分割方法,其特征在于,所述步骤2中预处理的过程为:先通过随机缩放、水平和垂直翻转、旋转、填充和随机裁剪对未标注医学图像x进行数据增强,然后将未标注医学图像x和标注真值的医学图像x的大小调整为256×256。
4.根据权利要求1所述的基于动态多尺度条件扩散模型的医学图像分割方法,其特征在于,所述步骤3的具体过程为:
5.根据权利要求1所述的基于动态多尺度条件扩散模型的医学图像分割方法,其特征在于,所述步骤4的具体过程为:
6.根据权利要求1所述的基于动态多尺度条件扩散模型的医学图像分割方法,其特征在于,所述步骤5的具体过程为:
7.根据权利要求1所述的基于动态多尺度条件扩散模型的医学图像分割方法,其特征在于,所述步骤6的反向扩散过程表示为:
