基于ICU-Net的高倍欠采样磁共振图像的重建方法与流程

本发明涉及磁共振成像技术领域，主要用于实现对高倍欠采样磁共振图像的有效重建。

背景技术：

磁共振成像(magneticresonanceimaging，mri)是目前临床医学影像中最重要的非侵入式检查方法之一，是继ct之后影像行业的又一大进步，成像质量优于b超和ct，但不会像ct等成像方式那样产生电离辐射；具有温度敏感性、多方位、多参数、多模态、多面成像能力等优点，不仅可显示人体组织的解剖信息，而且可显示功能信息。目前，mri已经广泛地应用于血管造影、神经病学、心脏病学检查等多种临床应用，在介入治疗中得到广泛认可，被誉为现代医学影像技术皇冠上的明珠。

然而，成像速度过慢和介电伪影较高仍然是横亘在mri领域多年的两大问题。mri扫描时间过长、成像较慢会造成以下问题：(1)给病人造成额外的痛苦，尤其是对有“幽闭恐惧症”的病人；(2)器官的非自主运动(如呼吸、眨眼、吞咽等非自主运动)更容易造成图像模糊，增加伪影；(3)无法满足动态实时成像与手术导航的需要。

如何提升mri的成像速度一直是磁共振人孜孜以求的目标。目前，mri的加速方法主要有3种：并行mri(parallelmri，pmri)、压缩感知mri(compressedsensingmri，cs-mri)、基于深度神经网络的mri(deepneuralnetworkmri，dnn-mri)。pmri技术(如sense、grappa等)利用多个线圈同时成像，但由于使用了欠采样，重建后图像的信噪比会随着加速因子的增加而降低；cs-mri技术(如bm3d-mri、cs-sense等)受限于数据采集、空间转换、重建算法和处理系统等因素，十几年来一直未能在磁共振领域内广泛应用。

近年来，随着深度学习理论和高性能计算的高速发展，dnn-mri技术(如deepcascadenet、convrnn、pc-rnn等)无论是在重建质量还是在重建速度上都取得了突破性的提升。u-net是现有的dnn-mri技术所广泛使用的一种深度卷积网络结构，然而，u-net存在如下问题：(1)参数规模往往比较大(动辄上百兆)，通常都是部署在高性能服务器上的，如果要部署到本地的mri设备上就需要轻量级的网络结构以及相配套的序列；(2)需要大规模的训练数据，然而，由于受病人隐私保护的限制，获取大规模的训练数据往往并非易事；(3)对于高倍欠采样(如加速因子≥8时)的mri，基于unet的dnn-mri技术通常会产生较为显著的混叠伪影，这限制了其在实际中的广泛使用。

技术实现要素：

为了解决u-net存在的三个问题，本发明基于稠密连接的思想提出了一种新的网络结构：基于强化连接的u-net(intensivelyconnectedu-net，icu-net)，对u-net进行了改进。icu-net能够大幅度节省u-net的参数规模，更有效地学习欠采样mri图像中丢失的细节信息，提升mri图像的重构质量。

本发明提供如下的技术方案：

一种基于icu-net的高倍欠采样磁共振图像的重建方法，包括以下步骤：

步骤1输入u倍欠采样的mri图像表示mri图像的像素空间，n为xu的维度，xu为对k空间中u倍欠采样的mri图像进行零填充和逆傅里叶变换后得到的mri图像，表示mri图像的k空间；

步骤2由icu-netficu(·；θ)，得到重构后的mri图像

进一步地，所述步骤1中，xu通过如下方式获得：

其中，表示在k空间中的全采样图像，表示在像素空间中的全采样图像，为傅里叶变换矩阵，h表示hermitian转置操作，用于将mri图像从k空间变换到像素空间；mu∈{0，1}^m×n表示对y进行u倍欠采样的掩码矩阵。

再进一步地，所述步骤2中，icu-netficu(·；θ)由编码模块e(·；θ^e)和解码模块d(·；θ^d)两部分组成，具体定义如下：

ficu(xu；θ)＝f^hfdc(d(e(xu；θ^e)；θ^d)，xu)(2)

其中，θ＝{θ^e，θ^d}，fdc(·，xu)表示数据一致性计算，e(·；θ^e)为ficu的编码模块，d(·；θ^d)为ficu的解码模块，θ^e和θ^d分别为编码模块和解码模块的参数集。

具体的，公式(2)中的编码模块e(·；θ^e)由k个编码子网构成，定义为：

其中，k为编码模块的深度，定义如下：

这里，为卷积操作，为其参数；为残差稠密模块rdb，为其参数，定义如下：

其中，z0为frdb的输入特征图，zy为frdb的最后一个卷积层输出的特征图，zt由z0和frdb的前t-1个卷积层输出的特征图z1，…，zt-1算得，t为残差稠密模块的深度；特征图zt可通过如下方式递归计算：

其中，[·，·，…，·]表示拼接运算，即：将参与运算的各特征图在通道方向上拼接起来；为卷积运算，为其参数；

公式(2)中的解码模块d(·；θ^d)由k个解码子网构成，定义为：

其中，定义如下：

这里，为反卷积操作，为其参数；

公式(2)中的数据一致性函数fdc(·，xu)的定义如下：令中的元素通过如下方式计算：

其中，ω表示用于构建yu＝muy的y＝fx(yu、y和x的关系详见公式(1))中元素的索引子集。

进一步地，所述步骤2中，icu-netficu(·；θ)中的参数集θ通过通过现有的深度学习的优化算法训练得到。

本发明的技术构思为：u-net是现有的基于深度学习的快速磁共振成像方法所广泛使用的一种网络结构，但u-net模型通常需要占用较大的存储空间，且难以有效重建高倍欠采样的mri图像。对于高倍欠采样的mri图像，网络所生成的浅层特征尤为重要。稠密连接的思想已成功应用于自然图像的识别、超分辨率重建等领域，不仅可以有效压缩网络参数的规模，而且可以充分利用网络的底层特征提升高层特征的非线性重构能力。因此，本发明基于稠密连接的思想，提出了一种新的网络结构：基于强化连接的u-net(intensivelyconnectedu-net，icu-net)。icu-net对u-net进行了3点改进：(1)基于稠密连接和残差连接构建残差稠密模块(residualdenseblock，rdb)，用rdb代替u-net中编码模块和解码模块内部的卷积模块，强化编码阶段和解码阶段的特征学习能力；(2)将残差连接和特征图拼接相结合，代替u-net中原有的特征图拼接，强化从编码模块到解码模块的连接；(3)将残差连接和数据一致性连接相结合，连接u-net的输入端和输出端，强化u-net的端到端的连接。icu-net能够大幅度节省u-net的参数规模，更有效地学习欠采样mri图像中丢失的细节信息，提升mri图像的重构质量。

相对于现有的基于深度学习的快速磁共振成像算法，本发明的有益效果主要体现在：(1)icu-net由于使用了强化稠密连接，可以有效地进行特征重用，能够大幅度缩减网络参数的规模，从而能够较好地适用于较小规模训练样本的mri图像的快速重建；(2)icu-net可以有效地利用网络低层模块所生成的特征，有效地提升高倍欠采样的磁共振图像的重建效果。

附图说明

图1是本发明所提出的icu-net的网络结构图，其中，conv表示卷积核大小大于1×1的卷积运算，1×1conv表示卷积核大小为1×1的卷积运算，sum表示求和运算，cat表示特征图拼接运算(详见图6)，convdn表示步长(stride)为2的卷积运算，deconv为反卷积运算。

图2(a)为卷积模块(convolutionalblock，cb)的结构图，图2(b)为icu-net的核心模块之一“残差稠密模块(rdb)”的结构图。

图3(a)为u-net的网络结构图，图3(b)为rdu-net的网络结构图。

图4(a)和(b)分别为k空间中的8倍欠采样的mri图像和全采样的mri图像的示例，(c)和(d)分别为像素空间中的由零填充方法得到的mri图像和全采样的mri图像的示例。

图5(a)是中心欠采样掩码矩阵的示例，图5(b)是高斯欠采样掩码矩阵的示例。

图6是特征图拼接运算的示意图，即：将参与运算的各特征图在通道方向拼接起来。

图7是对数据一致性算子fdc的解释，其中子图(a)为输入的欠采样的mri图像，子图(b)为重构的mri图像，子图(c)是使用子图(a)中的信息对子图(b)进行数据一致性计算后的mri图像。数据一致性算子在本质上就是用输入的欠采样的mri图像所具有的频率信息(主要是低频信息)替换掉重构的mri图像中的相应频段的信息。

图8给出了mr训练图像集的示例：第一行为欠采样mri图像的示例，第二行为全采样mri图像x^g的示例。

图9为各种方法对8倍欠采样mri图像的重构效果图：(a)全采样的mri图像；(b)由0填充方法重构的mri图像；(c)由u-net重构的mri图像；(d)由rdu-net重构的mri图像；(e)由icu-net重构的mri图像。

图10为各种方法对16倍欠采样mri图像的重构效果图：(a)全采样的mri图像；(b)由0填充方法重构的mri图像；(c)由u-net重构的mri图像；(d)由rdu-net重构的mri图像；(e)由icu-net重构的mri图像。

具体实施方式

下面结合附图进一步说明本发明的实施步骤。

参照图1～图10，一种基于icu-net的快速磁共振成像方法，包括如下步骤：

步骤1输入u倍欠采样的mri图像

步骤2由icu-netficy(·；θ)，得到重构后的mri图像图1给出了icu-netficu(·；θ)的具体网络结构图，作为对比，图3(a)和(b)分别给出了u-net和rdu-net的网络结构图。这里，rdu-net是指残差稠密u-net(residualdenseu-net)。相对于u-net，rdu-net只是用残差稠密模块(residualdenseblock，rdb)代替了u-net中的卷积模块(convolutionalblock，cb)。cb和rdb的结构详见图2(a)和(b)。

所述步骤1中，表示像素空间，n为xu的维度，xu为对k空间(用表示)中的u倍欠采样的mri图像经过零填充和逆傅里叶变换后得到的mri图像，通过如下方式获得：

其中，表示在k空间中的全采样图像，表示在像素空间中的全采样图像，为傅里叶变换矩阵，h表示hermitian转置操作，用于将mri图像从k空间变换到像素空间；mu∈{0，1}^m×n表示对y进行u倍欠采样的掩码矩阵。图4(a)～(d)分别给出了yu、y、xu、x的图像示例；掩码矩阵mu可以使用中心欠采样矩阵或高斯欠采样矩阵，如图5所示，图4(a)是对图4(b)进行中心欠采样得到的k空间中的mri图像。

所述步骤2中，icu-netficu(·；θ)由编码模块e(·；θ^e)和解码模块d(·；θ^d)两部分组成，定义如下：

ficu(xu；θ)＝f^hfdc(d(e(xu；θ^e)；θ^d)，xu)(4)

其中，θ＝{θ^e，θ^d}，fdc(·，xu)表示数据一致性计算，e(·；θ^e)为ficu的编码模块，d(·；θ^d)为ficu的解码模块，θ^e和θ^d分别为编码模块和解码模块的参数集。

具体的，公式(4)中的编码模块e(·；θ^e)由k个编码子网构成，定义为：

其中，k为编码模块的深度，定义如下：

这里，为卷积操作，为其参数；为残差稠密模块(rdb)，为其参数，定义如下：

其中，z0为frdb的输入特征图，zt为frdb的最后一个卷积层输出的特征图，zt由z0和frdb的前t-1个卷积层输出的特征图z1，…，zt-1算得，t为残差稠密模块的深度，在具体实施时，可以将t的值设置为4或5，为了压缩网络模型的参数规模，frdb的最后一个卷积层使用1×1卷积，frdb的具体设计详见图2(b)中的rdb模块；特征图zt可通过如下方式递归计算：

其中，[·，·，…，·]表示拼接运算，即：将参与运算的各特征图在通道方向上拼接起来，图6给出了拼接运算的示意图；为卷积运算，为其参数；

公式(4)中的解码模块d(·；θ^d)由k个解码子网构成，定义为：

其中，定义如下：

这里，为反卷积操作，为其参数；

公式(4)中的数据一致性函数fdc(·，xu)的具体定义如下：令中的元素通过如下方式计算：

其中，ω表示用于构建yu＝muy的y＝fx(yu、y和x的关系详见公式(3))中元素的索引子集。数据一致性算子在本质上就是用输入的mri图像所具有的频率信息(主要是低频信息)替换掉重构的mri图像中的相应频段的信息，图7给出了数据一致性算子的图示解释。

所述步骤2中，icu-netficu(·；θ)中的参数集θ，可以通过现有的深度学习的优化算法训练得到。这里，我们使用adam方法，其中，动量参数设置为0.9，训练期次(epoch)设置为100，批次大小(batchsize)设置为6，初始化学习率设置为10^-4，执行50个期次后，将学习率重置为10^-5。

进一步地，通过实验来验证本发明所提出的icu-net的有益效果。使用飞利浦ingenia3t扫描仪对5名受试者进行扫描，获取t2wi模态的mri图像，对其进行预处理，去除没有任何脑组织的切片，将每张mr切片裁剪为336×336×261大小。图8给出了所使用的的训练集的示例。这里，为训练样本的索引集，g为训练样本的个数，u为mri图像的欠采样倍数，为第g张全采样的mri图像。

表1

表1对比了0填充、u-net、rdu-net和icu-net等四种方法在4倍、8倍、16倍等3种欠采样mri图像上的定量评价结果。为了定量评价网络的重建性能，使用峰值信噪比(psnr)和结构相似度(ssim)对重构的mri图像进行质量评估。可以看出，icu-net表现出了优于其它方法的重构精度。

图9和图10分别针对8倍和16倍欠采样mri图像，对0填充、u-net、rdu-net和icu-net的重构效果进行了视觉对比，可以看出，icu-net在视觉上也表现出了优于其它方法的重构效果。