多任务复值深度学习的欠采样肺部气体MRI重建方法与流程

专利2022-05-10  2


多任务复值深度学习的欠采样肺部气体mri重建方法
技术领域
1.本发明属于成像技术领域,具体涉及多任务复值深度学习的欠采样肺部气体mri重建方法。


背景技术:

2.磁共振成像(magnetic resonance imaging,mri)具有非侵入、无放射性的特点,在临床疾病诊断中具有独特的优势[mehmetsteen moeller,sebastianet al.magn.reson.med.,2019,439:453.]。但是,传统的mri主要对氢质子(1h)成像,而肺部为空腔结构,氢质子密度低,因此,肺部是传统mri的“盲区”。超极化气体mri利用自旋交换光抽运技术将惰性气体(如3he或
129
xe)的极化度提高4

5个量级,将mr成像的观察对象从固体(组织)和液体扩充至气体,从而实现对人体肺部结构和功能的探测。
[0003]
超极化气体mri大部分都需要在单次屏气内完成信号的采集,但长时间的屏气会令受试者负担较大,因此,减少扫描时间和提高重建图像质量具有重要的临床意义。目前,最常用的超极化气体mri重建方法是压缩感知(compressed sensing,cs)方法,它以低于奈奎斯特采样率的方法对k空间数据进行欠采样,然后通过非线性最优化的方法重建图像,但其存在非线性重建时间较长、参数选择较为复杂等缺点。最近,深度学习算法在欠采样mri重建领域已成功应用,它在重建速度,重建质量和加速倍数等方面都显著优于cs算法[yoseob han,leonard sunwoo,jong chul ye,et al.ieee trans.med.imaging,2020,377:386]。目前利用深度学习进行欠采样mri重建的方法主要可分为三类:1.利用卷积神经网络学习欠采样图像和全采样图像之间的映射关系[caohui duan,he deng,sa xiao,et al.magn.reson.med.,2019,82:2273

2285.];2.利用卷积神经网络直接学习欠采样k空间数据和全采样k空间数据之间的映射关系,再将预测的k空间数据进行二维傅里叶反变换得到重建图像[taejoon eo,yohan jun,taeseong kim,et al.magn.reson.med.,2018,80:2188

2201.];3.利用卷积神经网络交替学习欠采样图像和全采样图像之间的映射关系、及欠采样k空间数据和全采样k空间数据之间的映射关系[roy shaul,itamar david,ohad shitrit,et al.med.image anal.,2020,65:101747.]。虽然深度学习算法能够得到较高质量的重建图像,但是需要大量高质量的全采样图像作为标签数据,而超极化气体mri易受噪声和伪影的影响,高质量的肺部超极化气体mr图像较少,较少的训练集数据使得卷积神经网络难以提取到丰富的图像特征,会影响最终的重建结果。


技术实现要素:

[0004]
本发明的目的在于针对现有技术存在的上述问题,提出了多任务复值深度学习的欠采样肺部气体mri重建方法,利用复值卷积层保留了k空间中的相位信息,并同时学习分割和重建任务,使卷积神经网络能够在仅有的小数据集上学习到更加丰富多样的图像特征,有效地提高了图像重建精度。
[0005]
本发明的上述目的通过以下技术方案实现:
[0006]
多任务复值深度学习的欠采样肺部气体mri重建方法,包括以下步骤:
[0007]
步骤1、获取3d全采样k空间数据和对应的欠采样k空间数据,逐层提取3d全采样k空间数据,获得2d全采样k空间数据和对应的欠采样k空间数据作为k空间数据对,根据k空间数据对生成训练集和测试集;将全采样k空间数据进行二维傅里叶反变换得到全采样图像,分割全采样图像,获得全采样肺实质区域图像;
[0008]
步骤2、构建k空间重建网络;
[0009]
步骤3、将步骤1生成的训练集中欠采样k空间数据输入到步骤2构建的k空间重建网络中得到预测的k空间数据;
[0010]
步骤4、构建图像域重建网络;
[0011]
步骤5、将步骤3获得的预测的k空间数据进行二维傅里叶反变换得到图像域数据,再将图像域数据与步骤1生成的训练集中欠采样k空间数据输入到步骤4构建的图像域重建网络中得到初步重建图像;
[0012]
步骤6、构建多任务细节增强网络,
[0013]
步骤7、将步骤5得到的初步重建图像做取模操作得到幅值图像,然后将幅值图像输入到步骤6构建的多任务细节增强网络得到最终重建的肺部超极化气体mri图像以及肺实质区域分割结果;
[0014]
步骤8、设定由k空间重建网络、图像域重建网络、以及多任务细节增强网络构成级联网络的总损失函数;
[0015]
步骤9、根据步骤8设定的总损失函数,利用步骤1生成的训练集对级联网络进行训练,总损失函数的值持续稳定的收敛到设定误差范围后停止训练,保存级联网络的参数。
[0016]
如上所述的步骤2中,k空间重建网络包括级联的2个残差模块和一个k空间数据一致层,
[0017]
残差模块包括5个复值卷积层,4个relu激活层,每个复值卷积层的卷积核大小为3
×
3,通道数为64,k空间数据一致层的映射函数f(kdc)由下式表示:
[0018]
f(kdc)=k
r
×
(1

mask) k
u
[0019]
其中,k
r
为k空间重建网络的复值卷积层重建的k空间数据,k
u
为k空间重建网络输入的欠采样k空间数据,mask为采样矩阵。
[0020]
如上所述的步骤4中,图像域重建网络包括级联的10个残差模块和一个图像域数据一致层,
[0021]
残差模块中每个复值卷积层的卷积核的大小为3
×
3,通道数为64,图像域数据一致层的映射函数f(idc)由下式表示:
[0022]
f(idc)=ifft2(fft2(i
r
)
×
(1

mask) k
u
)
[0023]
其中,fft2和ifft2分别代表二维傅里叶变换和二维傅里叶反变换,i
r
为图像域重建网络的复值卷积层重建的图像,k
u
为k空间重建网络输入的欠采样k空间数据,mask为采样矩阵。
[0024]
如上所述的步骤4中,
[0025]
多任务细节增强网络包含一个编码器、第一解码器和第二解码器,编码器提取的图像特征分别输入到第一解码器和第二解码器中,第一解码器输出最终重建的肺部超极化气体mri图像,第二解码器输出肺实质区域分割结果。
[0026]
如上所述的编码器包含5个实值卷积层和4个relu激活层,每个实值卷积层卷积核的大小为3
×
3,通道数为64;
[0027]
所述的第一解码器包含5个实值卷积层和4个relu激活层,每个实值卷积层卷积核的大小为3
×
3,通道数为64;
[0028]
所述的第二解码器包括5个实值卷积层,4个relu激活层和一个sigmoid激活层,每个实值卷积层卷积核的大小为3
×
3,通道数为64。
[0029]
如上所述的总损失函数为第一损失函数,第二损失函数,第三损失函数及第四损失函数之和,第一损失函数为步骤3获得的预测的k空间数据与2d全采样k空间数据之间的均方误差损失函数,第二损失函数为步骤5获得的初步重建图像与全采样图像之间的均方误差损失函数,第三损失函数为步骤7获得的最终重建的肺部超极化气体mri图像与全采样图像之间的均方误差损失函数,第四损失函数为步骤7获得的肺实质区域分割结果和步骤1获得的全采样肺实质区域图像之间的dice损失函数。
[0030]
如上所述的步骤8中,dice损失函数定义如下:
[0031][0032]
其中,a
i
为步骤1获得的全采样肺实质区域图像中属于第i个类别的像素集,b
i
为步骤7获得的肺实质区域分割结果中属于第i个类别的像素集,全采样肺实质区域图像中包括2个类别的像素,分别对应肺实质区域的像素与非肺实质区域的像素,||表示像素集中像素的个数。
[0033]
本发明的相对于现有技术,具有以下有益效果:
[0034]
本发明将欠采样k空间数据直接输入到级联网络中得到最终重建的肺部超极化气体mri图像,网络采用了复值卷积层,更好地利用了k空间数据中的相位信息。与传统的重建方法相比,在提高重建质量的同时极大地加快了成像速度。
[0035]
本发明同时训练重建和分割两个任务,两个任务共享特征提取层,分割任务更加关注图像的细节和边缘部分。与单一训练重建任务的网络相比,能够提取更多的高频特征,有助于重建出更好的图像细节,提高重建质量。
附图说明
[0036]
图1是本发明的流程图。
[0037]
图2是采样矩阵的示意图。
[0038]
图3是残差模块结构示意图。
[0039]
图4(a)是多任务细节增强网络的总体结构示意图。
[0040]
图4(b)是多任务细节增强网络中编码器结构示意图。
[0041]
图4(c)是多任务细节增强网络中第一解码器结构示意图。
[0042]
图4(d)是多任务细节增强网络中第二解码器结构示意图。
[0043]
图5是测试集重建结果图。
具体实施方式
[0044]
为了便于本领域普通技术人员理解和实施本发明,下面结合实施例对本发明作进
一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
[0045]
如图1所示,多任务复值深度学习的欠采样肺部气体mri重建方法的流程图,具体包括以下步骤:
[0046]
步骤1、利用3d bssfp序列扫描94例志愿者获得3d全采样k空间数据和对应的欠采样k空间数据,3d全采样k空间数据矩阵大小为96
×
96,层数为24,加速倍数为4倍,采样方式为笛卡尔采样,采样矩阵的示意图如图2所示。逐层提取3d全采样k空间数据,共获得929个2d全采样k空间数据和对应的欠采样k空间数据作为k空间数据对,其中801个k空间数据对作为训练集,128个k空间数据对作为测试集。将全采样k空间数据进行二维傅里叶反变换得到全采样图像,分割全采样图像,获得全采样肺实质区域图像。
[0047]
步骤2、构建k空间重建网络,k空间重建网络包括级联的2个残差模块和一个k空间数据一致层,残差模块结构示意图如图3所示。残差模块包括5个复值卷积层,4个relu激活层。每个复值卷积层的卷积核大小为3
×
3,通道数为64。k空间数据一致层的映射函数f(kdc)由下式表示:
[0048]
f(kdc)=k
r
×
(1

mask) k
u
[0049]
其中,k
r
为k空间重建网络的复值卷积层重建的k空间数据,k
u
为k空间重建网络输入的欠采样k空间数据,mask为采样矩阵。
[0050]
步骤3、将步骤1生成的训练集中欠采样k空间数据输入到步骤2构建的k空间重建网络中得到预测的k空间数据。
[0051]
步骤4、构建图像域重建网络,图像域重建网络包括级联的10个残差模块和一个图像域数据一致层。残差模块中每个复值卷积层的卷积核的大小为3
×
3,通道数为64。图像域数据一致层的映射函数f(idc)由下式表示:
[0052]
f(idc)=ifft2(fft2(i
r
)
×
(1

mask) k
u
)
[0053]
其中,fft2和ifft2分别代表二维傅里叶变换和二维傅里叶反变换,i
r
为图像域重建网络的复值卷积层重建的图像,k
u
为k空间重建网络输入的欠采样k空间数据,mask为采样矩阵。
[0054]
步骤5、将步骤3获得的预测的k空间数据进行二维傅里叶反变换得到图像域数据,再将图像域数据与步骤1生成的训练集中欠采样k空间数据输入到步骤4构建的图像域重建网络中得到初步重建图像。
[0055]
步骤6、构建多任务细节增强网络,多任务细节增强网络总体结构示意图如图4(a)所示,多任务细节增强网络包含一个编码器和两个解码器,两个解码器分别为第一解码器和第二解码器,编码器提取的图像特征分别输入到第一解码器和第二解码器中,第一解码器输出最终重建的肺部超极化气体mri图像,第二解码器输出肺实质区域分割结果。编码器的结构示意图如图4(b)所示,包含5个实值卷积层和4个relu激活层,每个实值卷积层卷积核的大小为3
×
3,通道数为64。编码器模块的作用是提取图像特征。第一解码器的结构示意图如图4(c)所示,包含5个实值卷积层和4个relu激活层,每个实值卷积层卷积核的大小为3
×
3,通道数为64。第二解码器的结构示意图如图4(d)所示,包含5个实值卷积层,4个relu激活层和一个sigmoid激活层,每个实值卷积层卷积核的大小为3
×
3,通道数为64。
[0056]
步骤7、将步骤5得到的初步重建图像做取模操作得到幅值图像,然后将幅值图像
输入到步骤6构建的多任务细节增强网络得到最终重建的肺部超极化气体mri图像以及肺实质区域分割结果。
[0057]
步骤8、设定总损失函数。总损失函数为第一损失函数,第二损失函数,第三损失函数及第四损失函数之和,第一损失函数为步骤3获得的预测的k空间数据与2d全采样k空间数据之间的均方误差(l2)损失函数,第二损失函数为步骤5获得的初步重建图像与全采样图像之间的均方误差(l2)损失函数,第三损失函数为步骤7获得的最终重建的肺部超极化气体mri图像与全采样图像之间的均方误差(l2)损失函数,第四损失函数为步骤7获得的肺实质区域分割结果和步骤1获得的全采样肺实质区域图像之间的dice损失函数。dice损失函数的定义式如下:
[0058][0059]
其中,a
i
为步骤1获得的全采样肺实质区域图像中属于第i个类别的像素集,b
i
为步骤7获得的肺实质区域分割结果中属于第i个类别的像素集,i的取值范围为1~2,全采样肺实质区域图像中包括2个类别的像素,分别为肺实质区域的像素与非肺实质区域的像素。| |表示像素集中像素的个数。
[0060]
步骤9、根据步骤8设定的总损失函数,利用步骤1生成的训练集对步骤2构建的k空间重建网络,步骤4构建的图像域重建网络,步骤6构建的多任务细节增强网络进行端到端的训练,网络的学习率初始化为0.0005,批大小设置为10,使用adam优化器在tensorflow2.0平台上进行网络的训练,直至总损失函数的值收敛到设定误差范围内后停止训练,k空间重建网络、图像域重建网络、以及多任务细节增强网络构成级联网络,保存级联网络的参数。
[0061]
步骤10、将步骤1生成的测试集中的欠采样k空间数据输入到步骤9训练好的级联网络中得到最终重建的肺部超极化气体mri图像。
[0062]
步骤11、将步骤10中得到的最终重建的肺部超极化气体mri图像与步骤1获得的全采样图像对比,计算峰值信噪比(peak signal

to

noise ratio,psnr)和结构相似性(structural similarity,ssim)指标。
[0063]
图5展示了测试集中一欠采样k空间数据的重建结果图,图像底部标注了psnr/sssim值。第一列为全采样图像,第二列为零填充图像,第三列为采用本发明方法重建的肺部超极化气体mri图像。由结果图可以看出,本发明提供的多任务复值深度学习的欠采样肺部气体mri重建方法能够从高倍欠采样k空间数据中重建出高质量的mri图像。
[0064]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
转载请注明原文地址: https://doc.8miu.com/read-1350063.html

最新回复(0)