本发明属于图像分割、医工结合领域，特别是涉及一种基于orsu-net的肿瘤分割方法和系统。
背景技术：
膀胱癌作为全球第九大恶性肿瘤，而膀胱癌的标准诊断和检测手段仍然依赖于白光膀胱镜检查。在全球每年进行着超过百万例的膀胱镜检查。膀胱肿瘤的高复发性使得需要医护人员经常性的监测和干预。而在蓝光膀胱镜下可以检测到白光膀胱镜下不易检测到的乳头状肿瘤和扁平病变。虽然蓝光膀胱镜可以改善肿瘤的检查，但它需要在术前膀胱内灌注六偏氨基磺酸盐和特殊的荧光膀胱镜，所以我们要适度的采用蓝光膀胱镜检查。因此，需要一种低成本、无创、实时的、易于实用的辅助成像技术来解决白光膀胱镜的诊断缺陷。
许多研究人员应用现有的技术提出了各种自动分割系统。早期的系统是建立在传统方法上的，主要通过边缘检测滤波器和数学方法。
从2000年代开始由于计算机硬件设备的进步，深度学习方法开始崭露头角，并开始展示其在图像处理任务中的强大能力。随着基于深度学习的自动图像处理技术的发展，采用深度学习的方法可以解决白光膀胱镜检查中肿瘤识别的局限性。卷积神经网络具有学习复杂关系并将现有知识纳入推理模型的能力，具有很大的发展前景。而医学图像具有图像语义较为简单、结构较为固定、图像数据量少以及具有多模态等特点，需要更好的设计网络去提取不同模态的特征，达到更好的效果。u-net自2015年提出以来，在医学分割方面取得了很好的效果，它由于把编码特征加入到解码特征中，可以在小数据量下取得很好效果，但是由于u-net网络不够深，对特征的表达不够准确，导致在一些情况下的效果不明显。
技术实现要素：
为了解决白光膀胱镜检查的局限性，我们使用卷积神经网络来开发一个深度学习算法，用于增强白光膀胱镜的肿瘤检测能力。开发膀胱镜肿瘤检测助手，在医生进行膀胱镜检查的同时，进行实时肿瘤检测分割，以防止医生出现漏检情况。
为了达到上述目的，本发明提供的技术方案是：一种基于orsu-net的肿瘤图像分割方法，包括如下步骤：
步骤1)，数据集获取：采集医学膀胱镜检测视频，并从视频流中选取膀胱肿瘤关键帧制作训练样本，并对其使用不规则框进行标注，将图像中的每个像素划分其对应的类别，实现像素级别的分类；
步骤2)，数据集预处理：对制作的数据集进行图像增强以及图像去噪预处理以解决在测试过程中会遇到的分割问题；
步骤3)，训练网络模型：构建一种新的orsu-net分割网络模型，使用步骤2中生成的训练样本训练构建好的网络模型，生成预测掩码；
所述orsu-net分割网络模型的结构包括依次连接的：输入层—第二组合模块—输出层；
第二组合模块包括编码器模块和解码器模块，其中编码器模块包含n1个八度卷积层和n2个下采样层，解码器模块与之对称的包含n2个上采样层和n1个八度卷积层，通过残差连接融合局部特征和多尺度特征；
步骤4)，计算损失函数：计算预训练肿瘤预测分割结果与肿瘤分割真值之间的损失；
步骤5)，优化网络：将损失函数作为优化目标函数，使分割网络模型参与网络优化中梯度后向传播过程，实现肿瘤图像分割的优化。
进一步的，步骤2)中使用双重残差网络对数据集进行降噪处理，具体实现方式如下；
所述双重残差网络的网络结构包括：两个输入卷积层—n3个用于运动模糊去除的双重残差模块—两个输出卷积层，第二个输出卷积层的结果与输入进行残差连接；
设置用于运动模糊去除的双重残差模块结构为：第一卷积层—上采样层和第二卷积层—下采样，其中第二卷积层的卷积核大小为k1，膨胀系数为d，下采样是卷积核大小为k2，步长为2的卷积层。
进一步的，双重残差网络中包括六个双重残差模块。
进一步的，损失函数的表达式如下；
其中h表示网络层数，lbce、lkl的函数表达式分别为：
其中，(i,j)是像素坐标，(m,n)是图像的宽高，g(i,j)和s(i,j)分别为真值和预测的目标分割像素值，
本发明还提供一种基于orsu-net的肿瘤图像分割系统，包括如下模块：
数据集获取模块，用于采集医学膀胱镜检测视频，并从视频流中选取膀胱肿瘤关键帧制作训练样本，并对其使用不规则框进行标注，将图像中的每个像素划分其对应的类别，实现像素级别的分类；
数据集预处理模块，用于对制作的数据集进行图像增强以及图像去噪预处理以解决在测试过程中会遇到的分割问题；
网络模型训练模块，用于构建一种新的orsu-net分割网络模型，使用数据集预处理模块中生成的训练样本训练构建好的网络模型，生成预测掩码；
所述orsu-net分割网络模型的结构包括依次连接的：输入层—第二组合模块—输出层；
第二组合模块包括编码器模块和解码器模块，其中编码器模块包含n1个八度卷积层和n2个下采样层，解码器模块与之对称的包含n2个上采样层和n1个八度卷积层，通过残差连接融合局部特征和多尺度特征；
损失函数计算模块，用于计算预训练肿瘤预测分割结果与肿瘤分割真值之间的损失；
网络优化模块，用于将损失函数作为优化目标函数，使分割网络模型参与网络优化中梯度后向传播过程，实现肿瘤图像分割的优化。
进一步的，数据集预处理模块中使用双重残差网络对数据集进行降噪处理，具体实现方式如下；
所述双重残差网络的网络结构包括：两个输入卷积层—n3个用于运动模糊去除的双重残差模块—两个输出卷积层，第二个输出卷积层的结果与输入进行残差连接；
设置用于运动模糊去除的双重残差模块结构为：第一卷积层—上采样层和第二卷积层—下采样，其中第二卷积层的卷积核大小为k1，膨胀系数为d，下采样是卷积核大小为k2，步长为2的卷积层。
进一步的，双重残差网络中包括六个双重残差模块。
进一步的，损失函数的表达式如下；
其中h表示网络层数，lbce、lkl的函数表达式分别为：
其中，(i，j)是像素坐标，(m,n)是图像的宽高，g(i,j)和s(i，j)分别为真值和预测的目标分割像素值，
与现有技术相比，本发明的优点和有益效果：。
本发明使用八度卷积将卷积层的输出特征图分解为存储在不同组的高低频特征图中，可以安全的降低低频群的空间分辨率减少空间冗余，同时，对低频信息进行低频卷积操作能够有效地扩大像素空间中的接受野。因此与传统方法相比，能够进一步减少计算量和内存消耗，同时提高分割的准确性。
此方法从逐步的下采样的特征图中提取多尺度特征，并通过逐步上采样、级联和卷积的方法将多尺度特征编码为高分辨率的特征图。这一过程减少了由大尺度直接上采样造成的细节损失。使用残差连接将局部特征和多尺度特征相连，使得网络能够直接从残差块中提取多个尺度上的特征。
附图说明
图1为本发明实施例流程图。
图2为本发明中orsu-net网络结构示意图。
图3为残差网络的基本结构示意图。
图4为双重残差块结构示意图。
图5为双重残差网络结构示意图。
图6为八度卷积原理示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
本发明将octconv(octaveconvolution)卷积代替传统的卷积，并与u-net结合，从而提出一种新的用于肿瘤分割的orsu-net(octaveresidualu-net)网络，对图像增强处理后的前后的帧使用一种新的orsu-net(octaveresidualu-net)，来更好地利用局部和全局上下文信息来提高分割效果。orsu-net遵循u-net的基本结构，通过卷积操作提取特征，经下采样编码处理，提取膀胱镜肿瘤数据不同尺度的特征信息。然后卷积神经网络后半部分解码模块对降采样处理后的膀胱镜肿瘤数据集进行上采样处理恢复数据集的空间维度并补偿细节；同时，卷积神经网络中间部分，通过跳跃层连接，将网络底层的信息传输到深层网络中。输入卷积层使用octconv(octaveconvolution)代替普通卷积进行局部特征的提取。与传统的方法相比，使用八度卷积的方法能够进一步减少计算量和内存消耗，同时提高分割的准确性。与u-net相似的结构继承了u-net的优点，用残差连接将局部特征和多尺度的特征进行融合。
具体包括以下步骤：
1)数据集获取：采集医学膀胱镜检测视频，并从视频流中选取膀胱肿瘤关键帧制作训练样本，并对其使用不规则框进行标注，，将图像中的每个像素划分其对应的类别，实现像素级别的分类；
将收集得到的膀胱镜检测视频进行筛选获得包含肿瘤的关键帧，并对其用不规则框进行标注确定其肿瘤的大小及位置。本发明实施过程中使用的训练集图像为大小1280×720的子图像，通过定位图片中标定出的肿瘤的位置，提取规定大小的子图像作为训练样本，克服不同视频规格不一致以及原始图像中正常组织及肿瘤间的数据不均衡问题。
2)数据集预处理：对制作的数据集进行图像增强以及图像去噪等预处理以解决在测试过程中会遇到的分割问题；
本发明实施例使用双重残差网络(dualresidualnetworks)对数据集进行降噪处理；用于图像去噪的双重残差网络的具体实施方案为：
搭建一个用于运动模糊去除的双重残差网络durn-u，其结构依次为：两个输入卷积层—六个用于运动模糊去除的双重残差模块—两个输出卷积层，第二个输出卷积层的结果与输入相连接。
设置用于运动模糊去除的双重残差模块结构依次为：卷积核大小为3×3的卷积层—上采样和卷积层(卷积核大小为k1，膨胀系数为d)—下采样(卷积核大小为k2，步长为2的卷积层)，输出卷积层的结果与输入相连接。durn-u网络中六个双重残差模块的参数分别为：k11＝5、k21＝3、d1＝1；k12＝7、k22＝5、d2＝1；k13＝7、k23＝5、d3＝2；k14＝11、k24＝7、d4＝2；k15＝11、k25＝5、d5＝1；k16＝11、k26＝7、d6＝3。
残差网络的基本结构如图3(a)所示，它由f1、f2、f3三个模块组成的网络，从输入到输出一共有(23＝)8条路径：f1→f2→f3、f1→f2、f1→f3、f2→f3、f1、f2、f3、1。每一个模块都可以作为一个计算单元工作，可以附加到主网络或者从主网络分离。考虑到残差网络的这一性质，将它进行配对连接操作。用f和g表示配对的操作，最近本的一个构造是将(fi，gi)看作是一个单元模块，如图3(b)所示。在这种连接方式中，fi，和gi对于任意路径来说都是成对的。为了得到性能上的提升，考虑如图3(d)所示的另一种称为“双重残差连接”的结构。这种结构允许在i≤j时，任意i和j进行fi,和gi配对。例如，在所有可能的路径中会出现六种组合：(f1,g1)、(f2,g2)、f3,g3、(f1,g2)、(f1,g3)和(f2,g3)。这种方式增加了{fi}和gi之间的潜在连接，能够提高图像恢复任务的性能，同时可以保证f和g在所有可能的路径中都保持配对。而其他的连接结构如图3(c)中所示，则无法保证f和g配对。这样的能够保证f和g配对的模块，称之为双重残差模块(durb)，如图4所示。durb是一种通用结构，它包含两个用于成对操作的容器，可以根据不同的使用场景为它们选择两个操作。对于不同的任务，指定durb和整个网络的配对操作。
双重残差块的基本结构如图4(a)显示，用c表示卷积层(3×3的内核)、
对于整个双重残差网络，采用一个对称编码-解码结构，如图5所示。该网络由初始块组成，初始块对输入图像进行4:1的降采样，紧接着进行两次卷积操作，归一化层 relu(n r)，六个重复的durb模块，最后部分将最后一个durb的输出按1:2上采样的方式放大到原来的大小。
3)训练网络模型：构建本发明提出的一种新的orsu-net网络模型，使用步骤2中生成的训练样本训练构建好的网络模型，生成预测掩码；
参考图2对本发明构建的orsu-net分割网络做进一步的详细描述：
搭建一个长度l＝7的orsu-net分割网络，其结构依次为：输入层—第二组合模块—输出层。
上述第二组合模块与u-net结构相似，分别为下采样卷积层和与之对应的上采样卷积层。
编码器模块分别包含7个八度卷积层和5个下采样层，分别包含32、64、128、256、512个特征映射；解码器模块与之对称的包含5个上采样层和7个八度卷积层，分别包含512、256、64、32个特征映射。将输入层输出与解码器输入相连，通过残差连接融合局部特征和多尺度特征
网络的主要结构可参考图2，本发明的orsu-net中，在输入卷积层使用八度卷积代替传统的卷积来进行局部特征提取，将输入特征x(h×w×cin)转换为具有cout通道的中间特征f1(x)；
orsu-net是一种长度为l的类似u-net的对称编译码器结构，结构越深，l的值越大。本发明中orsu-net网络长度l＝7，编码器模块分别包含7个八度卷积层和5个下采样层，分别包含32、64、128、256、512个特征映射；解码器模块与之对称的包含5个上采样层和7个八度卷积层，分别包含512、256、64、32个特征映射。通过残差连接融合局部特征和多尺度特征：f1x μ(f1(x))；
参考图6为八度卷积的实现细节图，它由四条计算路径组成分别对应于四项：f(xh；wh→h)、upsamplef(xl；w→h)、f(xl；wl→l)、fpoolxh,2；wh→l，两条实线路径对应于高频和低频特征图的信息更新，两条虚线路径便于两个八度卷积之间的信息交换。
八度卷积与自然图像空间频率分量的分解一样，将卷积层的输出特征图分解为存储在不同组的高低频特征图中。因此它通过相邻位置之间的信息共享，可以安全的降低低频群的空间分辨率减少空间冗余。除此之外，八度卷积对低频信息进行低频卷积操作能够有效地扩大像素空间中的接受野。因此八度卷积的使用能够进一步减少网络的计算和内存开销，同时保留u-net的设计优势。
本发明提出的orsu-net与u-net具有相似的结构，也可以在不降低高分辨率特征的前提下，捕获图像的多尺度特征。最大的不同在于orsu-net用八度卷积取代了普通卷积。与传统方法相比，使用了八度卷积能够进一步减少计算量和内存消耗，同时提高分割的准确性。
4)计算损失函数：计算预训练肿瘤预测分割结果与肿瘤分割真值之间的损失；
在训练过程中，本发明采用了分层训练监督策略代替标准的顶层监督训练和深度监督方案，本发明中的肿瘤分割损失函数如下：
其中h表示网络层数，lbce、lkl的函数表达式分别为：
其中，(i,j)是像素坐标，(m,n)是图像的宽高。g(i，j)和s(i，j)分别为真值和预测的目标分割像素值。
对于每一层，我们都使用了标准的bce损失函数和kl损失函数来计算损失。通过在任意两层之间添加一对概率预测匹配损失(即kl损失函数)，促进了不同层之间的多层交互作用。不同层损失函数的优化目标是一致的，从而保证了模型的鲁棒性和泛化性。
5)优化网络：将损失函数作为优化目标函数，使卷积神经网络参与网络优化中梯度后向传播过程，实现膀胱镜视频肿瘤分割的优化。
本发明实施例还提供一种基于orsu-net的肿瘤图像分割系统，包括如下模块：
数据集获取模块，用于采集医学膀胱镜检测视频，并从视频流中选取膀胱肿瘤关键帧制作训练样本，并对其使用不规则框进行标注，将图像中的每个像素划分其对应的类别，实现像素级别的分类；
数据集预处理模块，用于对制作的数据集进行图像增强以及图像去噪预处理以解决在测试过程中会遇到的分割问题；
网络模型训练模块，用于构建一种新的orsu-net分割网络模型，使用数据集预处理模块中生成的训练样本训练构建好的网络模型，生成预测掩码；
所述orsu-net分割网络模型的结构包括依次连接的：输入层—第二组合模块—输出层；
第二组合模块包括编码器模块和解码器模块，其中编码器模块包含n1个八度卷积层和n2个下采样层，解码器模块与之对称的包含n2个上采样层和n1个八度卷积层，通过残差连接融合局部特征和多尺度特征；
损失函数计算模块，用于计算预训练肿瘤预测分割结果与肿瘤分割真值之间的损失；
网络优化模块，用于将损失函数作为优化目标函数，使分割网络模型参与网络优化中梯度后向传播过程，实现肿瘤图像分割的优化。
进一步的，数据集预处理模块中使用双重残差网络对数据集进行降噪处理，具体实现方式如下；
所述双重残差网络的网络结构包括：两个输入卷积层—n3个用于运动模糊去除的双重残差模块—两个输出卷积层，第二个输出卷积层的结果与输入进行残差连接；
设置用于运动模糊去除的双重残差模块结构为：第一卷积层—上采样层和第二卷积层—下采样，其中第二卷积层的卷积核大小为k1，膨胀系数为d，下采样是卷积核大小为k2，步长为2的卷积层。
进一步的，双重残差网络中包括六个双重残差模块。
进一步的，损失函数的表达式如下；
其中h表示网络层数，lbce、lkl的函数表达式分别为：
其中，(i，j)是像素坐标，(m,n)是图像的宽高，g(i,j)和s(i，j)分别为真值和预测的目标分割像素值，
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
1.一种基于orsu-net的肿瘤图像分割方法，其特征在于，包括如下步骤：
步骤1)，数据集获取：采集医学膀胱镜检测视频，并从视频流中选取膀胱肿瘤关键帧制作训练样本，并对其使用不规则框进行标注，将图像中的每个像素划分其对应的类别，实现像素级别的分类；
步骤2)，数据集预处理：对制作的数据集进行图像增强以及图像去噪预处理以解决在测试过程中会遇到的分割问题；
步骤3)，训练网络模型：构建一种新的orsu-net分割网络模型，使用步骤2中生成的训练样本训练构建好的网络模型，生成预测掩码；
所述orsu-net分割网络模型的结构包括依次连接的：输入层—第二组合模块—输出层；
第二组合模块包括编码器模块和解码器模块，其中编码器模块包含n1个八度卷积层和n2个下采样层，解码器模块与之对称的包含n2个上采样层和n1个八度卷积层，通过残差连接融合局部特征和多尺度特征；
步骤4)，计算损失函数：计算预训练肿瘤预测分割结果与肿瘤分割真值之间的损失；
步骤5)，优化网络：将损失函数作为优化目标函数，使分割网络模型参与网络优化中梯度后向传播过程，实现肿瘤图像分割的优化。
2.如权利要求1所述的一种基于orsu-net的肿瘤图像分割方法，其特征在于：步骤2)中使用双重残差网络对数据集进行降噪处理，具体实现方式如下；
所述双重残差网络的网络结构包括：两个输入卷积层—n3个用于运动模糊去除的双重残差模块—两个输出卷积层，第二个输出卷积层的结果与输入进行残差连接；
设置用于运动模糊去除的双重残差模块结构为：第一卷积层—上采样层和第二卷积层—下采样，其中第二卷积层的卷积核大小为k1，膨胀系数为d，下采样是卷积核大小为k2，步长为2的卷积层。
3.如权利要求2所述的一种基于orsu-net的肿瘤图像分割方法，其特征在于：双重残差网络中包括六个双重残差模块。
4.如权利要求1所述的一种基于orsu-net的肿瘤图像分割方法，其特征在于：损失函数的表达式如下；
其中h表示网络层数，lbce、lkl的函数表达式分别为：
其中，(i,j)是像素坐标，(m,n)是图像的宽高，g(i,j)和s(i,j)分别为真值和预测的目标分割像素值，
5.一种基于orsu-net的肿瘤图像分割系统，其特征在于，包括如下模块：
数据集获取模块，用于采集医学膀胱镜检测视频，并从视频流中选取膀胱肿瘤关键帧制作训练样本，并对其使用不规则框进行标注，将图像中的每个像素划分其对应的类别，实现像素级别的分类；
数据集预处理模块，用于对制作的数据集进行图像增强以及图像去噪预处理以解决在测试过程中会遇到的分割问题；
网络模型训练模块，用于构建一种新的orsu-net分割网络模型，使用数据集预处理模块中生成的训练样本训练构建好的网络模型，生成预测掩码；
所述orsu-net分割网络模型的结构包括依次连接的：输入层—第二组合模块—输出层；
第二组合模块包括编码器模块和解码器模块，其中编码器模块包含n1个八度卷积层和n2个下采样层，解码器模块与之对称的包含n2个上采样层和n1个八度卷积层，通过残差连接融合局部特征和多尺度特征；
损失函数计算模块，用于计算预训练肿瘤预测分割结果与肿瘤分割真值之间的损失；
网络优化模块，用于将损失函数作为优化目标函数，使分割网络模型参与网络优化中梯度后向传播过程，实现肿瘤图像分割的优化。
6.如权利要求5所述的一种基于orsu-net的肿瘤图像分割系统，其特征在于：数据集预处理模块中使用双重残差网络对数据集进行降噪处理，具体实现方式如下；
所述双重残差网络的网络结构包括：两个输入卷积层—n3个用于运动模糊去除的双重残差模块—两个输出卷积层，第二个输出卷积层的结果与输入进行残差连接；
设置用于运动模糊去除的双重残差模块结构为：第一卷积层—上采样层和第二卷积层—下采样，其中第二卷积层的卷积核大小为k1，膨胀系数为d，下采样是卷积核大小为k2，步长为2的卷积层。
7.如权利要求6所述的一种基于orsu-net的肿瘤图像分割系统，其特征在于：双重残差网络中包括六个双重残差模块。
8.如权利要求5所述的一种基于orsu-net的肿瘤图像分割系统，其特征在于：损失函数的表达式如下；
其中h表示网络层数，lbce、lkl的函数表达式分别为：
其中，(i,j)是像素坐标，(m,n)是图像的宽高，g(i,j)和s(i,j)分别为真值和预测的目标分割像素值，
