一种基于多模块特征聚合的双域递归网络MR重建方法与流程

一种基于多模块特征聚合的双域递归网络mr重建方法
技术领域
1.本发明属于医学图像处理技术领域，具体的说是一种多模块特征聚合的双域递归网络mr重建方法。


背景技术：

2.磁共振成像(magnetic resonance imaging,mri)是一种非侵入式的活体成像技术，它通过组织细胞内的原子核在强大的磁场作用下发生共振，再经过信号采集和计算机处理，从而形成了磁共振医学影像。与ct影像相比，它具有无辐射、对比度高和多参数成像等特点，更容易发现病变位置。但磁共振扫描速度缓慢，从而产生运动伪影，因此我们解决的主要问题是磁共振图像重建速度与质量。
3.传统磁共振重建方法则是基于压缩感知(compressed sensing,cs)理论，信号采集可以低于奈奎斯特采样定律进行采样，cs_mri利用数据的稀疏性和数据采样的非相关性，通过观测矩阵对稀疏信号压缩采样，从欠采的信号中通过非线性优化重建mr图像,但传统方法的重建速度和精度不高。近几年深度学习方法已经应用于磁共振图像重建，与传统方法相比，深度学习通过对数据的浅层特征提取，形成更抽象的特征信息，能够有效提高mr重建精度。本文就现有的基于深度学习重建方法进行改进，引入小波域，与图像域进行结合，对小波域的多个模块与图像域的多个模块，分别进行多模块特征聚合，对多张mr切片进行重建。图像预处理阶段保持一定比例的低频信息来维持图像的基础结构，大量包含组织细节的高频信息丢失，经网络训练后可重建出高质量、高精度的磁共振图像。本文旨在为磁共振重建找到其他解决方案。


技术实现要素：

4.本发明提供一种基于多模块特征聚合的双域递归网络mr重建方法，以找到另一种重建mr图像的思路。
5.为了实现上述目的，本发明包括以下步骤：
6.s1)构建数据及并进行预处理：将原始k空间数据集通过不同加速因子下的欠采样模板(mask)模拟欠采样过程，得到欠采样的k空间数据，将欠采样k空间数据集经傅里叶逆变换(inverse fourier transform,ift)转换为图像域数据集，接着进行归一化、截取序列等操作，再将图像域数据集经过二维小波变换(discrete wavelet transform,dwt)转换成小波域数据集，该数据集划分为训练集和测试集。
7.s2)重建模型的搭建：通过深度学习框架pytorch搭建一种基于多模块特征融合的双域递归网络用于mr图像重建,该网络包括三个部分，分别为小波域多模块特征聚合网络，图像域多模块特征聚合网络，构造损失函数以及数据一致性层(dc)。
8.1)小波域多模块特征聚合网络：网络架构包括三个重复的小波域残差模块、每个基本的小波域残差模块由一个3
×
3卷积，三个并行的空洞卷积，卷积核为3
×
3，两个1
×
1卷积组成，三个空洞卷积的扩张率分别为dilation＝1,dilation＝2,dilation＝4,卷积核为
3
×
3。首先欠采样小波数据经过3
×
3卷积，进行浅层特征提取，然后经过三个不同扩张率的卷积，用1
×
1卷积将不同尺度的信息融合到一起，最后将进行残差连接，则三个小波域残差块输出分别为f0,f1,f2,将f0,f1,f2按照通道维度拼接到一起，用1
×
1卷积将不同模块的特征信息融合到一起，实现了多模块的小波域的特征融合，使网络融合不同上下文信息，能够精细化特征表达，最后进行跨层跳跃连接。
9.2)小波域数据一致性层：对网络重构的小波域经过小波逆变换转换成图像域数据，再经过傅里叶逆变换，实现图像域到k空间域的转换，由于欠采样k空间数据包含了网络重构k空间域的准确信息，因此，欠采样k空间要替换网络重构k空间的相应位置，公式如下：
[0010][0011]
其中，wdc代表小波域数据一致性，w,w
h
分别代表二维小波变换和二维小波逆变换，f
cnn
(w
u
|θ)代表网络重构数据，w
u
表示初始欠采样数据，f代表二维傅里叶变换，y＝mk0，m代表欠采样模板(mask)，k0代表初始k空间数据，δ是权重参数，设j为k空间上的一个点，ω为k空间所有的欠采样点。
[0012]
3)图像域多模块特征聚合网络：网络架构包括三个双向特征融合(bidirectional feature fusion,bff)模块，用来学习相邻切片的特征信息，小波域重构网络的输出经过小波逆变换转换成图像域数据，作为图像域重构网络的输入，每个基础模块是对输入数据的每张切片经过3
×
3卷积操作，进行浅层特征提取后，然后再进行一次3
×
3卷积操作，分别得到特征图m1,m2,...,m
n
，接着令a1＝m1，a1经过3
×
3卷积特征提取与m2特征融合得到a2，将a2经过3
×
3卷积特征提取与m3特征融合得到a3，以此类推，将a
n
‑1经过3
×
3卷积特征提取与m
n
特征融合得到a
n
，本模块使用leakrelu函数进行修正，公式如下：
[0013][0014]
接着对切片维度进行反向操作，对切片维度反方向的每一个切片特征进行3
×
3卷积操作，分别得到特征图w1,w2,...,w
n
，然后令b1＝w1，b1经过卷积特征提取与w2特征融合得到b2，将b2经过卷积特征提取与w3特征融合得到b3，以此类推，将b
n
‑1经过卷积特征提取与w
n
特征融合得到b
n
，本模块用leakrelu函数进行修正，公式如下：
[0015][0016]
其中，conv表示卷积操作，最后使特征图a1,a2,...,a
n
和特征图b1,b2,...,b
n
对应进行特征融合，即加和操作，使图像特征的每一维度信息增加，确保学习切片间有效的特征信息，接着将加和操作后的数据按照切片维度拼接到一起，公式如下：
[0017]
h＝cat[(a1 b
n
):(a2 b
n
‑2):...:(a
n
b1)]
[0018]
其中，cat[:]代表拼接操作。
[0019]
图像域数据经过三个双向特征融合模块后的特征分别为h0、h1、h2，然后将h0、h1、h2按照通道维度拼接到一起，然后用1
×
1卷积将不同模块的特征信息融合到一起，实现多模块的图像域的特征融合，使网络融合不同上下文信息，能够精细化特征表达,接着进行长跳跃连接。
[0020]
4)图像域数据一致性层。公式如下：
[0021][0022]
在上述公式中，idc代表图像域的数据一致性，f,f
h
分别二维傅里叶变换和二维傅里叶逆变换，f
cnn
(x
u
|θ)代表网络重构数据，w
u
表示初始欠采样数据，y＝mk0，m代表欠采样模板(mask)，k0表示初始k空间数据，δ是权重参数，设j为k空间上的一个点,ω为k空间所有的欠采样点。
[0023]
5)构造损失函数
[0024]
本模型使用均方误差，公式如下：
[0025][0026]
其中，x表示目标数据，y表示网络重构的数据，m、n表示图像的大小，i、j表示像素的索引，mse表示像素点偏离真实值距离平方和的平均数。
[0027]
小波域损失函数如下所示：
[0028][0029]
图像域损失函数如下所示：
[0030][0031]
总的损失函数如下所示：
[0032]
loss＝λ1loss1 λ2loss2[0033]
其中，f
cnn
表示网络模型，θ表示学习的参数，λ1,λ2为权重参数，经过反向传播进行参数优化，使损失函数收敛。
[0034]
s4)设置最大迭代次数:使网络拟合更好的特征信息，重建出高质量的mr图像。
[0035]
s5)模型训练:把训练集输入到模型当中，通过正向传播重建高质量mr图像，然后根据损失函数进行反向传播，不断更新网络参数，直至达到稳定。
[0036]
本发明与现有技术相比，具有以下优点：
[0037]
本发明中，在磁共振图像重建方法中，小波域和图像域的结合更能使网络学习更多的高频信息。对小波域和图像域的多模块特征聚合可以学习不同语义信息，拟合更好的数据特征，并加快网络收敛并重建出高质量的mr图像。
附图说明
[0038]
图1为基于多模块特征聚合的双域递归网络mr重建方法流程图
[0039]
图2为基于多模块特征聚合的双域递归网络总体模型图
[0040]
图3为基于多模块特征聚合的双域递归网络的小波域残差模块与双向特征融合模块
具体实施方式
[0041]
以下结合附图对本发明进行详细描述
[0042]
本发明包含四个方面：训练数据的准备、小波域多模块特征聚合网络的构成、图像域多模块特征聚合网络的构成、网络模型的训练与重建。
[0043]
s1)训练数据的准备包括原始k空间数据、欠采样模板等。原始k空间数据用k(k
x
,k
y
)表示，k
x
表示k空间频率编码方向，k
y
表示k空间相位编码方向，将原始k空间数据切分成长度为s，大小为256
×
256的k空间数据，经过欠采样模板(mask)模拟欠采样过程，公式如下：
[0044]
k
u
(k
x
,k
y
)＝k(k
x
,k
y
)
×
mask(k
x
,k
y
)
[0045]
本发明采用笛卡尔(cartesiar)采样轨迹，需要采样点的值为1，不需要采样点的值为0，公式如下：
[0046][0047]
欠采样k空间经二维傅里叶逆变换获得图像域数据，并采用min
‑
max归一化处理，经二维小波变换获得小波域数据w0＝(w1,w2,...,w
i
)＝dwt(x
u
)，i为子带数(在本实验中，i＝4，w1,w2,w3,w4分别表示低频分量、水平低频垂直高频分量、水平高频垂直低频分量和对角线高频分量)，w0具有4个通道，大小为10
×4×
128
×
128。
[0048]
s2)小波域多模块特征聚合网络的构成：如图3所示，网络架构包括三个重复的小波域残差模块、每个基本的小波域残差模块由一个3
×
3卷积，三个并行的空洞卷积，卷积核为3
×
3，两个1
×
1卷积组成，三个空洞卷积的扩张率分别为dilation＝1,dilation＝2,dilation＝4,卷积核为3
×
3。首先欠采样小波数据经过3
×
3卷积，进行浅层特征提取，然后经过三个不同扩张率的卷积，用1
×
1卷积将不同尺度的信息融合到一起，最后将进行残差连接，则三个小波域残差块输出分别为f0,f1,f2,将f0,f1,f2按照通道维度拼接到一起，用1
×
1卷积将不同模块的特征信息融合到一起，实现了多模块的小波域的特征融合，使网络融合不同上下文信息，能够精细化特征表达，最后进行跨层跳跃连接，对网络重构的小波域经过小波逆变换转换成图像域数据，再经过傅里叶逆变换，实现图像域到k空间域的转换，由于欠采样k空间数据包含了网络重构k空间域的准确信息，因此，欠采样k空间要替换网络重构k空间的相应位置，公式如下：
[0049][0050]
其中，wdc代表小波域数据一致性，w,w
h
分别代表二维小波变换和二维小波逆变换，f
cnn
(w
u
|θ)代表网络重构数据，w
u
表示初始欠采样数据，f代表二维傅里叶变换，y＝mk0，m代表欠采样模板(mask)，k0代表初始k空间数据，δ是权重参数，设j为k空间上的一个点，ω
为k空间所有的欠采样点。
[0051]
s3)图像域多模块特征聚合网络：网络架构包括三个双向特征融合(bidirectional feature fusion,bff)模块。小波域重构网络的输出经过小波逆变换转换成图像域数据，作为图像域重构网络的输入，每个基础模块是对输入数据的每张切片经过3
×
3卷积操作，进行浅层特征提取后，然后再进行一次3
×
3卷积操作，分别得到特征图m1,m2,...,m
n
，接着令a1＝m1，a1经过3
×
3卷积特征提取与m2特征融合得到a2，将a2经过3
×
3卷积特征提取与m3特征融合得到a3，以此类推，将a
n
‑1经过3
×
3卷积特征提取与m
n
特征融合得到a
n
，本模块使用leakrelu函数进行修正，公式如下：
[0052][0053]
接着对切片维度进行反向操作，对切片维度反方向的每一个切片特征进行3
×
3卷积操作，分别得到特征图w1,w2,...,w
n
，然后令b1＝w1，b1经过卷积特征提取与w2特征融合得到b2，将b2经过卷积特征提取与w3特征融合得到b3，以此类推，将b
n
‑1经过卷积特征提取与w
n
特征融合得到b
n
，本模块用leakrelu函数进行修正，公式如下：
[0054][0055]
其中，conv表示卷积操作，最后使特征图a1,a2,...,a
n
和特征图b1,b2,...,b
n
对应进行特征融合，即加和操作，使图像特征的每一维度信息增加，确保学习切片间有效的特征信息，接着将加和操作后的数据按照切片维度拼接到一起，公式如下：
[0056]
h＝cat[(a1 b
n
):(a2 b
n
‑2):...:(a
n
b1)]
[0057]
其中，cat[:]代表拼接操作；
[0058]
图像域数据经过三个双向特征融合模块后的特征分别为h0、h1、h2，然后将h0、h1、h2按照通道维度拼接到一起，然后用1
×
1卷积将不同模块的特征信息融合到一起，实现多模块的图像域的特征融合，使网络融合不同上下文信息，能够精细化特征表达,接着进行长跳跃连接，接着进行图像域数据一致性。公式如下：
[0059][0060]
在上述公式中，idc代表图像域的数据一致性，f,f
h
分别二维傅里叶变换和二维傅里叶逆变换，f
cnn
(x
u
|θ)代表网络重构数据，x
u
表示初始欠采样数据，y＝mk0，m代表欠采样模板(mask)，k0表示初始k空间数据，δ是权重参数，设j为k空间上的一个点,ω为k空间所有的欠采样点。
[0061]
s4)网络模型的训练与重建：
[0062]
小波域与图像域组合的递归网络模型如图2所示，把训练集放入网络模型当中，通
过正向传播得到重建的小波域数据和图像域数据，根据高质量的小波域数据和图像域数据与原始小波域数据和图像数据的误差进行反向传播，不断更新网络参数直至误差稳定，保存模型参数，本实验用adam优化器训练整个网络，初始学习率设置为2
×
10
‑4，由于显存负担，从序列随机截取长度s＝10的序列进行训练，训练轮次epoch＝50，激活采用leakrelu函数，其中α设置为0.1。迭代次数设置为n
c
＝3(由于显存不足，后期可增加训练次数与迭代次数，以达到更好的重建结果)，本实验采用4倍cartesian采样轨迹，输入欠采样的测试数据集，加载训练好的模型，重建出高质量的图片，本实验与最近技术比较，采用峰值信噪比(psnr)与结构相似度(ssim)评价重建质量，如下所示表：psnr和ssim均比其他方法高。
[0063][0064]
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，其具体结构允许有变化，技术人员在阅读本发明后，在此基础上做出的改动或修改样，同样落入本发明权利要求所限定的范围。总之，凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。