本发明属于图像生成,具体涉及一种基于对抗概率扩散模型的医学图像生成方法。
背景技术:
1、深度学习在计算机视觉、自然语言处理和强化学习等多个应用领域取得了重大成功。然而,要开发出高精度的机器学习和深度学习模型,往往需要大量充分覆盖群体多样性的训练样本。但是医疗图像领域的数据可用性非常有限,且造成这一问题的原因有很多,如图像采集成本高昂、保护敏感的患者信息、疾病病例数量有限、数据标记困难以及异常的位置、尺度和外观存在差异等。尽管人们在构建大型医学影像数据集方面做出了努力,但除了使用简单的自动方法、放射科医生的大量劳动或从放射科医生的报告中进行挖掘之外,其他方法都很有限,因此生成医学图像训练样本是一种有效的替代方法。然而,在实践中,各种生成医学图像的方法存在生成图像效率低,清晰度低,无法确保真实性等一系列问题。因此,如何在没有专家参与或专家参与有限的情况下生成有效而充分的医学数据样本,仍然是一项挑战。
技术实现思路
1、本发明的目的是为解决现有医学图像生成方法存在的生成图像效率低、清晰度低以及无法确保真实性的问题,而提出了一种基于对抗概率扩散模型的医学图像生成方法。
2、本发明为解决上述技术问题所采取的技术方案是:
3、一种基于对抗概率扩散模型的医学图像生成方法,所述方法具体包括以下步骤:
4、步骤s1、对各张患病医学图像分别进行预处理,即分别统计每张患病医学图像中病灶区域所占的像素数量;
5、步骤s2、对于步骤s1中的任意一张患病医学图像x0,将该张患病医学图像中病灶区域所占像素数量记为c′0,并为该张患病医学图像生成病灶区域所占像素数量的变化序列c={c′1,…,c′t,…,c′t};
6、同理,分别对每张患病医学图像进行处理,即为每张患病医学图像分别生成病灶区域所占像素数量的变化序列;
7、步骤s3、构建包括对抗概率扩散模块、分割网络和分类器的医学图像生成模型,利用各张患病医学图像以及为各张患病医学图像生成的病灶区域所占像素数量变化序列对医学图像生成模型进行训练;
8、步骤s4、将健康医学图像作为训练好的医学图像生成模型的对抗概率扩散模块的输入,输入的健康医学图像在对抗概率扩散模块内反向传输,生成患病医学图像。
9、进一步地,所述医学图像生成模型的训练过程为:
10、步骤s301、对于患病医学图像x0,将患病医学图像x0和c′1作为医学图像生成模型的对抗概率扩散模块的输入;
11、步骤s302、在对抗概率扩散模块内,将患病医学图像x0作为加噪单元的输入,得到加噪单元输出的噪声图像再将噪声图像作为噪声解码器mdecoder的输入,通过噪声解码器mdecoder生成医学图像x1;
12、并将医学图像x1和真实患病医学图像x作为鉴别器的输入,x∈x,x为真实患病医学图像集,鉴别器采用的损失函数为
13、将医学图像x1作为图像编码器mencoder的输入,通过图像编码器mencoder输出编码图像利用编码图像和噪声图像计算分布损失
14、将生成的编码图像作为去噪单元的输入,通过去噪单元生成对x0的还原图像,将还原出来的图像记为x′0;利用还原的图像x′0和患病医学图像x0计算重建损失
15、步骤s303、将医学图像x1作为分割网络mseg的输入,通过分割网络mseg输出医学图像x1的病灶分割结果s1,分割网络mseg采用的损失函数为
16、步骤s304、将病灶分割结果s1作为医学图像x1的标签,再将带标签的医学图像x1和c′2作为对抗概率扩散模块的输入,并返回执行步骤s302的过程;
17、以此类推,直至得到对抗概率扩散模块输出的医学图像xt以及分割网络输出医学图像xt对应的标签;
18、将医学图像xt作为分类器的输入,通过分类器输出的分类结果计算分类器损失函数;
19、步骤s305、同理,对每个患病医学图像同时执行步骤s201至步骤s204。
20、进一步地,所述分类器、鉴别器、图像编码器mencoder和噪声解码器mdecoder采用的是cnn网络。
21、进一步地,所述损失函数为:
22、
23、其中,k表示第k张分类图像;k表示要分类的图像数量;yk表示第k张分类图像是否为真实患病医学图像,若第k张分类图像是真实患病医学图像,则yk为1,若第k张分类图像不是真实患病医学图像,则yk为0;表示第k张分类图像是真实患病医学图像的概率。
24、进一步地,所述分布损失为:
25、
26、其中,dkl表示kl散度损失。
27、进一步地,所述重建损失为:
28、
29、进一步地,所述分割网络为u-net网络;
30、分割网络采用患病医学图像集x和对应的分割标签y进行预训练。
31、进一步地,所述损失函数为:
32、
33、其中,表示背景损失;表示前景损失;表示病灶区域大小损失;α表示背景损失在生成损失中的权重;β表示前景损失在生成损失中的权重;γ表示病灶区域大小损失在生成损失中的权重;
34、
35、
36、
37、其中,表示根据分割结果s1对医学图像x1划分得到的背景区域图像,表示根据标签s0对医学图像x0划分得到的背景区域图像,s0表示原始图像x0的分割标签,ci表示医学图像x1中病灶区域实际所占像素数量。
38、更进一步地,所述步骤s4的具体过程为:
39、在对抗概率扩散模块内,将输入的健康医学图像yt经过图像编码器mencoder,再将图像编码器mencoder作为去噪单元的输入,并将去噪单元的输出yt-1再次作为对抗概率扩散模块的输入,以此类推,直至得到去噪单元的输出y0,即获得患病医学图像。
40、本发明的有益效果是:
41、本发明的基于对抗概率扩散模型的医学图像生成方法,通过对抗概率扩散模型生成清晰度高的医学图像,并且显著提升了生成图像的效率。此外,通过逐步生成病灶的方法,确保了医学图像生成的真实性,同时对疾病发展过程进行了演化。
1.一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述方法具体包括以下步骤:
2.根据权利要求1所述的一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述医学图像生成模型的训练过程为:
3.根据权利要求2所述的一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述分类器、鉴别器、图像编码器mencoder和噪声解码器mdecoder采用的是cnn网络。
4.根据权利要求3所述的一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述损失函数为:
5.根据权利要求4所述的一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述分布损失为:
6.根据权利要求5所述的一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述重建损失为:
7.根据权利要求6所述的一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述分割网络为u-net网络;
8.根据权利要求7所述的一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述损失函数为:
9.根据权利要求8所述的一种基于对抗概率扩散模型的医学图像生成方法,其特征在于,所述步骤s4的具体过程为:
