一种基于位置卷积注意力网络的血管斑块CT影像分割方法与流程

本发明涉及医学影像技术领域，具体涉及一种基于位置卷积注意力网络的血管斑块ct影像分割方法。

背景技术：

目前主流的血管斑块筛查技术是利用ct技术形成影像，后由人工分析。但人工分析水平往往有限。以往的医学图像分割主要基于传统的图像分割方法，方法是简单的利用图像的纹理、形状、灰度等特性把图像分割成几个互不相交的区域，且分割性能优劣没有客观的判断标准。随着人工智能技术的发展，利用深度学习的影像自动分析技术能够代替人力的基础上大大提升分析的时间和效率，故对血管斑块ct影像的自动分析技术的研究显得尤为重要。

技术实现要素：

本发明为了克服以上技术的不足，提供了一种在不需要人工干预的情况下，快速的对血管斑块进行筛查并标注的ct影像分割方法。

本发明克服其技术问题所采用的技术方案是：

一种基于位置卷积注意力网络的血管斑块ct影像分割方法，包括如下步骤：

a)对采集的血管斑块ct影像进行图像预处理操作；

b)遍历预处理后的图像，统计图像大小，将图像大小裁剪为512×512后输出图像为d，d∈r^c×h×w，r为实数空间，c为图像通道数，h为图像高度，w为图像宽度；

c)将图像d输入到位置卷积注意力网络中的位置注意力模块的二维卷积层中，生成三个特征图d1∈r^c×h×w、d2∈r^c×h×w、d3∈r^c×h×w，将特征图d1、d2、d3的大小重塑为r^c×q，q＝h×w；

d)将特征图d1和d2输入到位置卷积注意力网络中的位置注意力模块的位置注意力层，得到包含像素位置关联度和依赖度的注意力特征图d4；

e)利用特征图d3与特征图d4生成聚合影像特征图e；

f)将图像d输入到位置卷积注意力网络中的v-net模块，初始为d＝d^0,0，将d^0,0进行下采样处理后得到输出图像d^1,0，

g)将图像d^1,0重复进行三次下采样处理，依次得到输出图像d^2,0、d^3,0、d^4,1，

h)对图像d^4,1进行上采样处理后作为输入依次输入二维卷积层、dropout层后通过公式d^i,1＝concat(d^0,0,…d^i,0,upsample(d^{i 1,1}))i＝3,2,1分别计算得到第1次上采样的输出图像d^3,1、第二次上采样的输出图像d^2,1以及第三次上采样的输出图像d^1,1，式中concat(·)为跳跃连接机制，upsample(·)为上采样操作，

i)对图像d^1,1进行上采样处理，生成恢复特征图d^0,1，d^0,1∈r^c×h×w；

j)将聚合影像特征图e和恢复特征图d^0,1输入到位置卷积注意力网络中的特征图融合模块中，通过公式p＝∑i∑je^i,j (d^0,1)^i,j将聚合影像特征图e与恢复特征图d^0,1融合，生成血管斑块影像分割图像p，式中e^i,j为聚合影像特征图e的像素点，(d^0,1)^i,j为恢复特征图d^0,1的像素点。

进一步的，步骤a)包括如下步骤：

a-1)通过公式利用z-score归一化方法计算得到归一化处理后ct影像中血管斑块的区域式中xoriginal为输入的血管斑块ct样本，μ为批处理数据的均值，σ为批处理数据的方差，π为给定常数；

a-2)归一化后的图像为m行n列，通过公式将图像表示为二维的数组，通过公式f(x,y)＝medianx,y∈around(x,y)[f(x,y)]使用中值滤波对图像进行降噪，得到降噪后的图像f(x,y)，式中x为像素点的横坐标，y为像素点的纵坐标，f(x,y)为归一化处理后ct影像中血管斑块的区域around(x,y)为x和y的邻域；

a-3)通过公式计算增强后的图像灰度值s，完成预处理操作，式中gray为图像f(x,y)的灰度均值，u为图像f(x,y)的灰度值，r为控制变换函数的斜率。

进一步的，步骤c)中将图像d经过二维卷积层处理后使用批标准化及sigmoid激活函数进行处理。

进一步的，步骤d)中通过公式计算得到特征图d4，d4∈r^q×q，式中α为缩放因子，t为矩阵转置，为特征图d1中的第i个像素点，为特征图d2中的第j个像素点，通过公式计算与的位置关联度。

进一步的，步骤e)中通过公式计算得到聚合影像特征图e，式中β为尺度因子，t为转置，e∈r^c×h×w。

进一步的，步骤f)中下采样处理步骤为：d^0,0依次经过二维卷积层、sigmoid层、dropout层及最大池化层后得到输出图像d^1,0。

进一步的，步骤g)中下采样处理步骤为:图像d^1,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^2,0，图像d^2,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^3,0，图像d^3,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^4,1。

进一步的，步骤i)中上采样处理步骤为：d^1,1上采样处理后，依次经过二维卷积层、dropout层、softmax层及跳跃连接后得到输出图像d^0,1。

进一步的，步骤d)位置卷积注意力网络进行重复训练100次。

本发明的有益效果是：通过对原始采集到的影像依次进行归一化、去噪、增强的预处理操作；其次，将预处理后的影像输入到位置卷积注意力网络进行分割。位置卷积注意力网络包含两大模块：模块一为位置注意力模块，利用自注意力机制去捕获影像像素之间的位置关联度和依赖程度，以此生成聚合的影像特征图，从而通过关联度高的像素点表现出的极高相似性，形成初步的分割区域。模块二为v-net结构，利用下采样、上采样和跳跃连接结构生成恢复特征图，恢复特征图融合了更多的像素特征，使得分割图边缘等信息更为精细；最后，将位置卷积注意力网络输出的聚合影像特征图与恢复特征图进行像素点融合，得到目标分割影像。在不需要人工干预的情况下，能够快速的对血管斑块进行筛查并标注。

附图说明

图1为本发明的方法流程图；

图2为本发明的分割流程图；

图3为本发明的位置卷积注意力网络结构图；

图4为本发明的v-net模块结构图。

具体实施方式

下面结合附图1至附图4对本发明做进一步说明。

一种基于位置卷积注意力网络的血管斑块ct影像分割方法，包括如下步骤：

a)对采集的血管斑块ct影像进行图像预处理操作。因设备的差异及拍摄过程中身体的机能活动会造成血管斑块ct的影像明暗、大小等问题，在对影像进行分割任务之前，对初始影像进行规范化的处理操作，再将其放到模型中。

b)遍历预处理后的图像，统计图像大小，将图像大小裁剪为512×512后输出图像为d，d∈r^c×h×w，r为实数空间，c为图像通道数，h为图像高度，w为图像宽度。

c)将图像d输入到位置卷积注意力网络中的位置注意力模块的二维卷积层中，生成三个特征图d1∈r^c×h×w、d2∈r^c×h×w、d3∈r^c×h×w，将特征图d1、d2、d3的大小重塑为r^c×q，q＝h×w。

d)将特征图d1和d2输入到位置卷积注意力网络中的位置注意力模块的位置注意力层，得到包含像素位置关联度和依赖度的注意力特征图d4。

e)利用特征图d3与特征图d4生成聚合影像特征图e。

f)将图像d输入到位置卷积注意力网络中的v-net模块，初始为d＝d^0,0，将d^0,0进行下采样处理后得到输出图像d^1,0，

g)将图像d^1,0重复进行三次下采样处理，依次得到输出图像d^2,0、d^3,0、d^4,1，

h)对图像d^4,1进行上采样处理后作为输入依次输入二维卷积层、dropout层后通过公式d^i,1＝concat(d^0,0,…d^i,0,upsample(d^{i 1,1}))i＝3,2,1分别计算得到第1次上采样的输出图像d^3,1、第二次上采样的输出图像d^2,1以及第三次上采样的输出图像d^1,1，式中concat(·)为跳跃连接机制，upsample(·)为上采样操作，

i)对图像d^1,1进行上采样处理，生成恢复特征图d^0,1，d^0,1∈r^c×h×w。恢复特征图融合了更多的像素特征，使得分割图边缘等信息更为精细。

j)将聚合影像特征图e和恢复特征图d^0,1输入到位置卷积注意力网络中的特征图融合模块中，通过公式p＝∑i∑je^i,j (d^0,1)^i,j将聚合影像特征图e与恢复特征图d^0,1融合，生成血管斑块影像分割图像p，式中e^i,j为聚合影像特征图e的像素点，(d^0,1)^i,j为恢复特征图d^0,1的像素点。

通过对原始采集到的影像依次进行归一化、去噪、增强的预处理操作；其次，将预处理后的影像输入到位置卷积注意力网络进行分割。位置卷积注意力网络包含两大模块：模块一为位置注意力模块，利用自注意力机制去捕获影像像素之间的位置关联度和依赖程度，以此生成聚合的影像特征图，从而通过关联度高的像素点表现出的极高相似性，形成初步的分割区域。模块二为v-net结构，利用下采样、上采样和跳跃连接结构生成恢复特征图，使得分割图边缘等信息更为精细；最后，将位置卷积注意力网络输出的聚合影像特征图与恢复特征图进行像素点融合，得到目标分割影像。在不需要人工干预的情况下，能够快速的对血管斑块进行筛查并标注。

实施例1：

步骤a)包括如下步骤：

a-1)通过公式利用z-score归一化方法计算得到归一化处理后ct影像中血管斑块的区域式中xoriginal为输入的血管斑块ct样本，μ为批处理数据的均值，σ为批处理数据的方差，π为给定常数，防止公式分母为0；

a-2)通过计算机断层的扫描所获得的影像中，人体不自主的运动会导致检测结果出现伪影，为此对血管斑块ct影像进行降噪处理。因ct检测器械的差异，图像大小会有差别，因此设归一化后的图像为m行n列，通过公式将图像表示为二维的数组，通过公式f(x,y)＝medianx,y∈around(x,y)[f(x,y)]使用中值滤波对图像进行降噪，得到降噪后的图像f(x,y)，式中x为像素点的横坐标，y为像素点的纵坐标，f(x,y)为归一化处理后ct影像中血管斑块的区域around(x,y)为x和y的邻域；

a-3)使用对比拉伸变换法对模糊边缘组织之间可能存在的粘连区域，进行增强，具体的，通过公式计算增强后的图像灰度值s，完成预处理操作，式中gray为图像f(x,y)的灰度均值，u为图像f(x,y)的灰度值，r为控制变换函数的斜率。

实施例2：

步骤c)中将图像d经过二维卷积层处理后使用批标准化及sigmoid激活函数进行处理。

实施例3：

步骤d)中通过公式计算得到特征图d4，d4∈r^q×q，式中α为缩放因子，t为矩阵转置，为特征图d1中的第i个像素点，为特征图d2中的第j个像素点，通过公式计算与的位置关联度和依赖程度，当它们之间的关联度越大，两个位置的特征表示就越相似。

实施例4：

步骤e)中通过公式计算得到聚合影像特征图e，式中β为尺度因子，初始化为0，并逐渐学习分配更多权重，t为转置，e∈r^c×h×w，的维度重塑为r^c×h×^w，其与图像d的维度保持一致。

实施例5：

步骤f)中下采样处理步骤为：d^0,0依次经过二维卷积层、sigmoid层、dropout层及最大池化层后得到输出图像d^1,0。sigmoid层的目的是得到像素点重要程度的分值，且语义相关的像素点分值接近，dropout层的目的是防止过拟合，最大池化层实现缩小图像尺寸，即下采样的目的。

实施例6：

步骤g)中下采样处理步骤为:图像d^1,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^2,0，图像d^2,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^3,0，图像d^3,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^4,1。

实施例7：

步骤i)中上采样处理步骤为：d^1,1上采样处理后，依次经过二维卷积层、dropout层、softmax层及跳跃连接后得到输出图像d^0,1。softmax层的目的是得到恢复图像的像素点关联度分值。

实施例8：

优选的，步骤d)位置卷积注意力网络进行重复训练100次。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于，包括如下步骤：

a)对采集的血管斑块ct影像进行图像预处理操作；

b)遍历预处理后的图像，统计图像大小，将图像大小裁剪为512×512后输出图像为d，d∈r^c×h×w，r为实数空间，c为图像通道数，h为图像高度，w为图像宽度；

c)将图像d输入到位置卷积注意力网络中的位置注意力模块的二维卷积层中，生成三个特征图d1∈r^c×h×w、d2∈r^c×h×w、d3∈r^c×h×w，将特征图d1、d2、d3的大小重塑为r^c×q，q＝h×w；

d)将特征图d1和d2输入到位置卷积注意力网络中的位置注意力模块的位置注意力层，得到包含像素位置关联度和依赖度的注意力特征图d4；

e)利用特征图d3与特征图d4生成聚合影像特征图e；

f)将图像d输入到位置卷积注意力网络中的v-net模块，初始为d＝d^0,0，将d^0,0进行下采样处理后得到输出图像d^1,0，

g)将图像d^1,0重复进行三次下采样处理，依次得到输出图像d^2,0、d^3,0、d^4,1，

h)对图像d^4,1进行上采样处理后作为输入依次输入二维卷积层、dropout层后通过公式d^i,1＝concat(d^0,0,…d^i,0,upsample(d^{i 1,1}))i＝3,2,1分别计算得到第1次上采样的输出图像d^3,1、第二次上采样的输出图像d^2,1以及第三次上采样的输出图像d^1,1，式中concat(·)为跳跃连接机制，upsample(·)为上采样操作，

i)对图像d^1,1进行上采样处理，生成恢复特征图d^0,1，d^0,1∈r^c×h×w；

j)将聚合影像特征图e和恢复特征图d^0,1输入到位置卷积注意力网络中的特征图融合模块中，通过公式p＝∑i∑je^i,j (d^0,1)^i,j将聚合影像特征图e与恢复特征图d^0,1融合，生成血管斑块影像分割图像p，式中e^i,j为聚合影像特征图e的像素点，(d^0,1)^i,j为恢复特征图d^0,1的像素点。

2.根据权利要求1所述的基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于，步骤a)包括如下步骤：

a-1)通过公式利用z-score归一化方法计算得到归一化处理后ct影像中血管斑块的区域式中xoriginal为输入的血管斑块ct样本，μ为批处理数据的均值，σ为批处理数据的方差，π为给定常数；

a-2)归一化后的图像为m行n列，通过公式将图像表示为二维的数组，通过公式f(x,y)＝medianx,y∈around(x,y)[f(x,y)]使用中值滤波对图像进行降噪，得到降噪后的图像f(x,y)，式中x为像素点的横坐标，y为像素点的纵坐标，f(x,y)为归一化处理后ct影像中血管斑块的区域around(x,y)为x和y的邻域；

a-3)通过公式计算增强后的图像灰度值s，完成预处理操作，式中gray为图像f(x,y)的灰度均值，u为图像f(x,y)的灰度值，r为控制变换函数的斜率。

3.根据权利要求1所述的基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于：步骤c)中将图像d经过二维卷积层处理后使用批标准化及sigmoid激活函数进行处理。

4.根据权利要求1所述的基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于：步骤d)中通过公式计算得到特征图d4，d4∈r^q×q，式中α为缩放因子，t为矩阵转置，为特征图d1中的第i个像素点，为特征图d2中的第j个像素点，通过公式计算与的位置关联度。

5.根据权利要求1所述的基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于：步骤e)中通过公式计算得到聚合影像特征图e，式中β为尺度因子，t为转置，e∈r^c×h×w。

6.根据权利要求1所述的基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于，步骤f)中下采样处理步骤为：d^0,0依次经过二维卷积层、sigmoid层、dropout层及最大池化层后得到输出图像d^1,0。

7.根据权利要求1所述的基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于，步骤g)中下采样处理步骤为:图像d^1,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^2,0，图像d^2,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^3,0，图像d^3,0依次经过二维卷积层、dropout层、最大池化层后得到输出图像d^4,1。

8.根据权利要求1所述的基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于，步骤i)中上采样处理步骤为：d^1,1上采样处理后，依次经过二维卷积层、dropout层、softmax层及跳跃连接后得到输出图像d^0,1。

9.根据权利要求1所述的基于位置卷积注意力网络的血管斑块ct影像分割方法，其特征在于：步骤d)位置卷积注意力网络进行重复训练100次。

技术总结
一种基于位置卷积注意力网络的血管斑块CT影像分割方法，通过对原始采集到的影像依次进行归一化、去噪、增强的预处理操作；其次，将预处理后的影像输入到位置卷积注意力网络进行分割。位置卷积注意力网络包含两大模块：模块一为位置注意力模块，利用自注意力机制去捕获影像像素之间的位置关联度和依赖程度，以此生成聚合的影像特征图，从而通过关联度高的像素点表现出的极高相似性，形成初步的分割区域。模块二为V‑Net结构，利用下采样、上采样和跳跃连接结构生成恢复特征图，恢复特征图融合了更多的像素特征，使得分割图边缘等信息更为精细；最后，将位置卷积注意力网络输出的聚合影像特征图与恢复特征图进行像素点融合，得到目标分割影像。

技术研发人员：王英龙;徐鹏摇;舒明雷;周书旺
受保护的技术使用者：山东省人工智能研究院;齐鲁工业大学
技术研发日：2021.05.24
技术公布日：2021.08.03