本发明涉及人工智能技术领域，尤其是基于u-net 的视网膜血管分割方法和装置。
背景技术：
视网膜血管分割在许多病变的分析和诊断中起着重要作用。许多疾病，如青光眼、高血压和年龄相关性黄斑变性，都与眼底图像中血管的形态和结构有关。然而，复杂的视网膜血管网络，以及一些小而模糊的血管结构，使得分割任务极其复杂和具有挑战性。对于视网膜血管分割，人工标注不仅费时、重复，而且需要训练有素的专家的经验和技能。
一般来说，自动视网膜血管分割的方法可以分为两类，无监督和监督。多种无监督技术被用于从眼底图像中提取视网膜血管，包括匹配滤波、形态学处理、血管追踪等。无监督分割方法的一个优点是不需要标记的基本事实。然而，这些方法的处理性能并不好，尤其是在小血管的情况下。对于监督方法，首先从眼底图像中提取视网膜血管特征，然后使用可训练的分类器将特征分成背景和血管。在大多数情况下，监督方法的执行结果优于基于非监督方法的结果。但还是有改进的空间。
近年来，随着深度学习研究热潮的兴起，一些医学研宄人员将深度神经网络引入到眼底血管分割任务中，提升了眼底血管分割的效果，其中unet算法已经广泛用于生物图像分割，如视网膜血管分割，肺部ct图像，冠状动脉血管图像等，并取得了良好的效果。该算法建立在全卷积网络(fcn)上，由一个编码器和一个解码器组成，网络的形状类似于“u”形，因此称为“u-net”。然而标准的u-net利用固定感受野的卷积，一定程度上影响了分割效果。
技术实现要素：
有鉴于此，本发明实施例提供基于u-net 的视网膜血管分割方法和装置，以提升分割效果。
本发明的第一方面提供了一种基于u-net 的视网膜血管分割方法，包括：
获取血管分割数据集；
对所述血管分割数据集进行预处理，增强血管图像对比度；
对血管图像进行裁剪操作，得到样本数据；
根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络；
通过所述血管分割网络进行视网膜血管图像分割，并对分割结果进行评价；
其中，所述血管分割网络包括四层u-net网络；所述血管分割网络的编码器和解码器对称分布在网络的两侧；所述四层u-net网络同时共享一个特征提取器；所述血管分割网络中的卷积块由选择性内核块替换。
可选地，所述对所述血管分割数据集进行预处理，包括：
提取所述血管分割数据集中原始图像的绿色通道；
对所述绿色通道进行白化处理；
对所述血管分割数据集进行自适应直方图均衡化处理；
对所述血管分割数据集进行伽马变换处理。
可选地，所述对血管图像进行裁剪操作，得到样本数据，包括：
对预处理后的血管图像进行图像块裁剪，生成随机坐标；
以所述随机坐标为中心点，裁剪得到图像块，所述图像块的大小为48×48；
根据所述图像块得到样本数据。
可选地，所述根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络这一步骤中，
所述选择性内核块中将两个3×3的卷积串联，生成感受野为5的目标卷积；
所述编码器包括五层结构，每层结构包括两个sk模块和relu激活函数，每层结构的特征提取结束后进行最大池化处理，所述最大池化处理的步长为2，每层结构依次进行下采样处理。
可选地，所述血管分割网络中包括有效注意门；
所述有效注意门的第一输入为所述编码器中的上采样特征；
所述有效注意门的第二输入为所述编码器中的同深度特征；
所述有效注意门从所述同深度特征中确定目标上采样特征作为目标特征。
可选地，所述编码器提取的上下文信息通过密集跳跃连接传播到相应层的解码器；
所述解码器中每个卷积块的输入由两个等尺度的特征映射组成。
可选地，所述分割结果进行评价，包括：
获取样本标注图像的目标对象的第一像素点，获取预测分割图像的目标对象的第二像素点；
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标；
获取预测分割图像中正样本预测为真的目标对象的第三像素点，获取预测分割图像中负样本预测为真的目标对象的第四像素点，获取正样本预测为假的目标对象的第五像素点；
根据所述第三像素点和所述第四像素点计算得到精密度评价指标；
根据所述第三像素点和所述第五像素点计算得到查全率评价指标；
根据所述精密度评价指标和所述查全率评价指标，计算得到均值评价指标。
本发明实施例的第二方面提供了一种基于u-net 的视网膜血管分割方法，包括：
第一模块，用于获取血管分割数据集；
第二模块，用于对所述血管分割数据集进行预处理，增强血管图像对比度；
第三模块，用于对血管图像进行裁剪操作，得到样本数据；
第四模块，用于根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络；
第五模块，用于通过所述血管分割网络进行视网膜血管图像分割，并对分割结果进行评价；
其中，所述血管分割网络包括四层u-net网络；所述血管分割网络的编码器和解码器对称分布在网络的两侧；所述四层u-net网络同时共享一个特征提取器；所述血管分割网络中的卷积块由选择性内核块替换。
本发明实施例的第三方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例在使用选择性内核块替换替换传统卷积块，同时将选择性内核块中的感受野为5的卷积块用两个3x3卷积串联来替换，既提升了网络的深度也减少了计算量和参数量。通过使用选择性内核块可以自动调整感受野，更有效地利用不同尺度下提取的特征信息。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度学习的血管分割方法的流程示意图；
图2是本发明中视网膜血管图像分割卷积网络的结构示意图；
图3是本发明中注意力门的结构示意图；
图4是本发明中改进的sk模块的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本发明实施例还提供了一种基于u-net 的视网膜血管分割方法，包括：
获取血管分割数据集；
对所述血管分割数据集进行预处理，增强血管图像对比度；
对血管图像进行裁剪操作，得到样本数据；
根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络；
通过所述血管分割网络进行视网膜血管图像分割，并对分割结果进行评价；
其中，所述血管分割网络包括四层u-net网络；所述血管分割网络的编码器和解码器对称分布在网络的两侧；所述四层u-net网络同时共享一个特征提取器；所述血管分割网络中的卷积块由选择性内核块替换。
可选地，所述对所述血管分割数据集进行预处理，包括：
提取所述血管分割数据集中原始图像的绿色通道；
对所述绿色通道进行白化处理；
对所述血管分割数据集进行自适应直方图均衡化处理；
对所述血管分割数据集进行伽马变换处理。
可选地，所述对血管图像进行裁剪操作，得到样本数据，包括：
对预处理后的血管图像进行图像块裁剪，生成随机坐标；
以所述随机坐标为中心点，裁剪得到图像块，所述图像块的大小为48×48；
根据所述图像块得到样本数据。
可选地，所述根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络这一步骤中，
所述选择性内核块中将两个3×3的卷积串联，生成感受野为5的目标卷积；
所述编码器包括五层结构，每层结构包括两个sk模块和relu激活函数，每层结构的特征提取结束后进行最大池化处理，所述最大池化处理的步长为2，每层结构依次进行下采样处理。
可选地，所述血管分割网络中包括有效注意门；
所述有效注意门的第一输入为所述编码器中的上采样特征；
所述有效注意门的第二输入为所述编码器中的同深度特征；
所述有效注意门从所述同深度特征中确定目标上采样特征作为目标特征。
可选地，所述编码器提取的上下文信息通过密集跳跃连接传播到相应层的解码器；
所述解码器中每个卷积块的输入由两个等尺度的特征映射组成。
可选地，所述分割结果进行评价，包括：
获取样本标注图像的目标对象的第一像素点，获取预测分割图像的目标对象的第二像素点；
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标；
获取预测分割图像中正样本预测为真的目标对象的第三像素点，获取预测分割图像中负样本预测为真的目标对象的第四像素点，获取正样本预测为假的目标对象的第五像素点；
根据所述第三像素点和所述第四像素点计算得到精密度评价指标；
根据所述第三像素点和所述第五像素点计算得到查全率评价指标；
根据所述精密度评价指标和所述查全率评价指标，计算得到均值评价指标。
本发明实施例还提供了一种基于u-net 的视网膜血管分割方法，包括：
第一模块，用于获取血管分割数据集；
第二模块，用于对所述血管分割数据集进行预处理，增强血管图像对比度；
第三模块，用于对血管图像进行裁剪操作，得到样本数据；
第四模块，用于根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络；
第五模块，用于通过所述血管分割网络进行视网膜血管图像分割，并对分割结果进行评价；
其中，所述血管分割网络包括四层u-net网络；所述血管分割网络的编码器和解码器对称分布在网络的两侧；所述四层u-net网络同时共享一个特征提取器；所述血管分割网络中的卷积块由选择性内核块替换。
本发明实施例还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
下面结合说明书附图，对本发明的具体实现过程进行详细描述：
参见图1所示，该方法可以包括如下步骤：
步骤s1：获得血管分割数据集；
步骤s2：对获得的图像进行预处理使得血管图像整体对比度得到增强，这也保证了在之后的实验中，模型能够更好的拟合血管图像数据，从而更好的实现分割结果。
步骤s2.1：提取原始rgb图像的绿色通道，因为血管在绿色通道中比在红色和蓝色通道中呈现出良好的对比度。
步骤s2.2：对绿色通道进行白化处理，通过白化处理可以解决外部环境亮度、物体反射等因素对图像的影响。对图像求均值μ和方差δ的公式如下：
然后对原始图像的每个像素pij进行转换计算得到新的像素值
步骤s2.3：自适应直方图均衡化处理(又名clahe操作)，clahe操作将原图像的灰度直方图进行了一定的拉伸，提高了对比度，同时也限制了局部较亮或较暗区域，防止了直方图均衡化操作出现信息丢失的情况。
步骤s2.4：伽马变换处理，使处理后的血管图像的灰度值与处理前图像的灰度值之间呈现非线性指数关系，实现灰度拉伸。
伽马变换公式如下：
输入灰度级取0到255，并对输入输出灰度级都做归一化为0到1之间，当γ较小时，图像的整体亮度得到非线性提高，当γ较大时，图像的整体亮度会被非线性降低。
步骤s3：完成图像预处理操作之后，进行图像块裁剪操作，裁剪时生成一组随机坐标，以这些坐标为中心点，裁剪大小为48x48的图像块，得到的大量的样本数据用于训练分割模型。
步骤s4：使用pytorch深度学习框架搭建本网络，本发明所提出的卷积神经网络的结构如图2所示，是借鉴unet 网络，采用嵌套式u-net架构集成了不同深度的u-net。
本发明设计的网络嵌套了四层u-net作为基本的网络框架，其中编码器和解码器对称的分布在网络的两侧。所有层的u-net共享一个特征提取器，这样本发明只需要训练一个编码器。在网络中使用改进的选择性内核块替换替换传统卷积块，在选择性内核块(sk模块)中通过使用两个3x3卷积串联来生成感受野为5的卷积，既提升了网络的深度也减少了计算量和参数量，具体结构如图4所示。通过使用选择性内核块可以自动调整感受野，更有效地利用不同尺度下提取的特征信息。编码器总共有五层，每层结构都包括两个改进的sk模块 relu。每层特征提取结束后都经过一个大小为2x2，步长为2的最大池化。接下来的每层结构都相同依次进行下采样。
为了关注与目标或目标相关的特征，本发明在嵌套的架构中添加了一个简单但有效注意门具体结构如图3所示。该注意门有两个输入:解码器中的上采样特征fg和编码器中同等深度的特征fx。在注意门中选通信号fg可以从编码特征fx中选择更有用的特征，并将其发送给上层解码器。
编码器提取的上下文信息通过密集跳跃连接传播到相应层的解码器，从而可以提取更有效地分层特征。在密集跳跃连接的情况下，解码器中每个卷积块的输入由两个等尺度的特征映射组成:(1)中间特征映射来自沿相同深度的跳跃连接的前一个电位门的输出；(2)最终特征图来自更深的反卷积块运算的输出。接收并连接所有要特征图后，解码器以自下而上的方式恢复图像。
本发明将特征映射定义如下，让xij代表卷积块的输出其中i代表网络中的特征深度，j代表沿跳跃连接的第i层中的卷积块的序列，具体公式如下：
其中
其中yn,c∈y和pn,c∈p表示批次中c类和n个像素的目标标签和预测概率，n表示一个批次中的像素数量。
因为在深监督的过程中，每个子网络的输出其实已经是图像的分割结果了，所以如果小的子网络的输出结果已经足够好了，本发明就可以剪掉那些多余的部分。
步骤s5：血管分割模型训练完成后，根据评价指标对血管分割结果进行评价。评价指标包括重叠度(iou)、精密度(precision)、查全率(recall)和加权调和均值(f-measure)。公式如下：
其中，target是样本标注图像的目标对象的像素点，prediction是预测分割图像的目标对象的像素点。
其中，tp是正样本预测为真的目标对象的像素点，fp是负样本预测为真的目标对象的像素点。
其中，tp是正样本预测为真的目标对象的像素点，fn是正样本预测为假的目标对象的像素点。
其中，
综上所述，相较于现有技术，本发明具有以下优点：
1、本发明使用选择性内核块替换替换传统卷积块，同时将选择性内核块中的感受野为5的卷积块用两个3x3卷积串联来替换，既提升了网络的深度也减少了计算量和参数量。通过使用选择性内核块可以自动调整感受野，更有效地利用不同尺度下提取的特征信息。
2、本发明通过在嵌套的卷积块之间添加了注意门能够增加目标区域的权重，同时抑制与分割任务无关的背景区域。
3、本发明通过引入深度监督使得在测试期间能够进行模型修剪，通过修剪可以减少大量模型参数进而加快模型的分割速度。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
1.基于u-net 的视网膜血管分割方法，其特征在于，包括：
获取血管分割数据集；
对所述血管分割数据集进行预处理，增强血管图像对比度；
对血管图像进行裁剪操作，得到样本数据；
根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络；
通过所述血管分割网络进行视网膜血管图像分割，并对分割结果进行评价；
其中，所述血管分割网络包括四层u-net网络；所述血管分割网络的编码器和解码器对称分布在网络的两侧；所述四层u-net网络同时共享一个特征提取器；所述血管分割网络中的卷积块由选择性内核块替换。
2.根据权利要求1所述的基于u-net 的视网膜血管分割方法，其特征在于，所述对所述血管分割数据集进行预处理，包括：
提取所述血管分割数据集中原始图像的绿色通道；
对所述绿色通道进行白化处理；
对所述血管分割数据集进行自适应直方图均衡化处理；
对所述血管分割数据集进行伽马变换处理。
3.根据权利要求1所述的基于u-net 的视网膜血管分割方法，其特征在于，所述对血管图像进行裁剪操作，得到样本数据，包括：
对预处理后的血管图像进行图像块裁剪，生成随机坐标；
以所述随机坐标为中心点，裁剪得到图像块，所述图像块的大小为48×48；
根据所述图像块得到样本数据。
4.根据权利要求1所述的基于u-net 的视网膜血管分割方法，其特征在于，所述根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络这一步骤中，
所述选择性内核块中将两个3×3的卷积串联，生成感受野为5的目标卷积；
所述编码器包括五层结构，每层结构包括两个sk模块和relu激活函数，每层结构的特征提取结束后进行最大池化处理，所述最大池化处理的步长为2，每层结构依次进行下采样处理。
5.根据权利要求4所述的基于u-net 的视网膜血管分割方法，其特征在于，所述血管分割网络中包括有效注意门；
所述有效注意门的第一输入为所述编码器中的上采样特征；
所述有效注意门的第二输入为所述编码器中的同深度特征；
所述有效注意门从所述同深度特征中确定目标上采样特征作为目标特征。
6.根据权利要求5所述的基于u-net 的视网膜血管分割方法，其特征在于，所述编码器提取的上下文信息通过密集跳跃连接传播到相应层的解码器；
所述解码器中每个卷积块的输入由两个等尺度的特征映射组成。
7.根据权利要求1所述的基于u-net 的视网膜血管分割方法，其特征在于，所述分割结果进行评价，包括：
获取样本标注图像的目标对象的第一像素点，获取预测分割图像的目标对象的第二像素点；
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标；
获取预测分割图像中正样本预测为真的目标对象的第三像素点，获取预测分割图像中负样本预测为真的目标对象的第四像素点，获取正样本预测为假的目标对象的第五像素点；
根据所述第三像素点和所述第四像素点计算得到精密度评价指标；
根据所述第三像素点和所述第五像素点计算得到查全率评价指标；
根据所述精密度评价指标和所述查全率评价指标，计算得到均值评价指标。
8.基于u-net 的视网膜血管分割方法，其特征在于，包括：
第一模块，用于获取血管分割数据集；
第二模块，用于对所述血管分割数据集进行预处理，增强血管图像对比度；
第三模块，用于对血管图像进行裁剪操作，得到样本数据；
第四模块，用于根据所述样本数据，通过pytorch深度学习框架搭建血管分割网络；
第五模块，用于通过所述血管分割网络进行视网膜血管图像分割，并对分割结果进行评价；
其中，所述血管分割网络包括四层u-net网络；所述血管分割网络的编码器和解码器对称分布在网络的两侧；所述四层u-net网络同时共享一个特征提取器；所述血管分割网络中的卷积块由选择性内核块替换。
9.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
技术总结