基于弱监督多任务学习的新冠肺炎分割方法与流程

1.本发明是属于图像处理技术领域，特别涉及一种新冠肺炎病灶分割方法，可用于新冠肺炎肺部ct影像中的病灶识别。


背景技术：

2.新冠肺炎（covid
‑
19）是一种传染性极高的呼吸系统疾病。新冠肺炎是由属于核糖核酸rna病毒家族的病毒引起的，并引起各种症状，例如肺炎，发烧，呼吸困难和肺部感染。covid
‑
19的临床症状包括发烧，疲劳，咳嗽，其中一些患有胃肠道感染。在老年人中，传播速度很快，患有疾病的人更容易受到病毒的攻击。患者的平均年龄为47
‑
59岁及以上，其中41.9
–
45.7％是女性病例。
3.为了对病人进行准确的covid
‑
19测量，一些咽拭子的测试方法被研究并大规模使用。逆转录聚合酶链反应rt
‑
pcr是从口咽拭子，鼻咽拭子，支气管肺泡灌洗液或气管抽吸物中获得的标本中检测核苷酸的标准诊断方法之一。但是最近的研究表明，rt
‑
pcr的灵敏度可能不足以检测，这可能归因于标本的质量、稳定性和病毒物质不足。另一方面，从covid
‑
19患者中获取的ct影像通常显示肺部出现双侧斑片状阴影或毛玻璃片混浊，ct已成为检测 covid
‑
19重要补充工具。与rt
‑
pcr测试相比，肺部ct相对易于操作，并且对筛查covid
‑ꢀ
19感染具有较高的敏感性。因此，ct可以作为早期诊断covid
‑
19的一种实用方法。但是随着确诊和疑似病例的covid
‑
19的增加，对大量新冠肺炎患者的ct数据进行阅片是一项繁琐而费力的工作。为了加快诊断速度，开发针对covid
‑
19ct感染区域的快速自动分割方法对于疾病评估至关重要。
4.最近针对肺部病灶感染区域的自动分割提出了大量的方法，如使用两阶段的分割方法，首先粗分割出病灶区域，再对粗分割的病灶区域进行精细分割；以及使用检测分割结合的方法，即先检测出病灶区域，再对检测的目标区域进行进一步分割，通过缩小分割的目标区域提升分割的性能。目前针对covid
‑
19的肺炎分割已经提出了几种基于深度学习的技术，如 shi等人使用vb
‑
net和随机森林等技术处理covid
‑
19。wang等人介绍了一种针对covid
‑ꢀ
19定制的深度卷积神经网络，称为covid
‑
net，用于从胸部x射线图像中检测出covid
‑
19 病例。gozes等人提出了一种利用2d和3d深度学习模型，修改现有深度网络模型并将其与临床理解相结合的系统。但是不同临床等级的病人ct影像表现差异较大，表现为病灶形状、尺寸、密度纹理等差异。现有的分割算法通常将不同的病灶区域作为一类标签处理，即在数据标注时不考虑病灶的形状、尺寸和图像特征，将所有的病灶区域划分为一类，导致不同类别数据进行无差别训练后网络对于不同类别的病灶学习受到不同病灶不同特征的干扰，影响最终分割效果。
5.与此同时，医生在对病人进行临床诊断时会结合不同病灶区域的表现进行综合判断。由于病灶的等级标签通常和病灶的表现较为相关，不同的病人等级对应的病灶表现差异较大，因此对于有不同类别的病人的分割任务来说，针对不同的表现需使用不同的模型或者有区别性的分割不同的病灶区域，而现有的分割方法没有对不同临床等级的病人进行
区分，导致网络对易分的数据结果较好，对难分的数据结果较差，从而影响总体分割效果。


技术实现要素：

6.本发明的目的在于针对现有技术的不足，提出一种基于弱监督多任务学习的新冠肺炎病灶分割方法，以对不同临床等级的病人进行区分，提升不同临床等级患者的病灶分割效果，尤其是明显提高对病灶表现不明显的难分数据分割效果。
7.为实现上述目的，本发明的技术方案包括如下：
8.(1)划分训练集、验证集和测试集：
9.(1a)获取新冠肺炎患者的计算机断层扫描ct影像数据，将计算机断层扫描ct影像数据通过重采样变换到分辨率为1mm
×
1mm
×
1mm的同一空间，并从中选择一个体素值分布均匀、图像清晰的ct影像数据作为模板；
10.(1b)通过直方图匹配将ct影像的其他数据匹配成与模版数据类似的分布，再将匹配后的ct影像数据按照3：1：1的比例随机划分训练集、验证集和测试集；
11.(2)构建基于弱监督多任务学习的分割网络wml
‑
segnet：
12.(2a)设计不同空洞率和不同尺寸卷积核构成多尺度卷积模块hms，把现有3d resunet 最后两层编码层中的卷积层替换成hms；
13.(2b)在3d resunet下采样的最后一层依次连接两个反卷积模块、一个全连接层，构成分类子网络，并将该分类子网络与3d resunet上采样的分割子网络并行连接构成基于弱监督多任务学习的分割网络；
14.(2c)设定分割网络的损失函数：loss
all
＝β1loss
seg
β2loss
class
，其中，β1是分割子网络的加权系数，loss
seg
是分割子网络的损失函数，β2是分类子网络的加权系数，loss
class
是分类子网络的损失函数，β1＝β2＝1；
15.(3)对基于弱监督多任务学习的分割网络进行训练：
16.(3a)设置最大迭代次数为100；
17.(3b)将训练集输入到网络编码器中，得到训练集的特征图，将该特征图分别输入到(2b) 中的分割网络和分类网络中，得到分割结果和分类结果；
18.(3c)根据(3b)的两个结果与训练集的分割标签、类别标签，分别计算分割子网络的分割损失值和分类子网络的分类损失值，并将这两个损失值进行加权相加得到网络的整体损失值；
19.(3d)将(3c)的整体损失值进行反向传播，直到损失函数收敛，得到初步训练后的网络w
i
， i为训练的迭代次数，i＝1,2,
…
,100；
20.(3e)对初步训练后的网络w
i
循环执行(3b)
‑
(3d)过程，每次迭代都将验证集输入到网络w
i
中，得到分割结果、分割精度，直到迭代次数达到100时，停止训练，从中选择分割精度最高的网络作为最终训练好的网络w；
21.(4)将测试集输入到(3e)训练好的网络w中，得到测试集的分割结果、分割精度。
22.本发明与现有技术相比具有如下优点：
23.1.提升对不同类别病灶的分割性能。
24.本发明构建了基于弱监督多任务学习的新冠肺炎分割网络，能够有针对性地对不同数据学习，有效地提升不同类别病灶的分割效果，尤其是明显提升对早期新冠肺炎患者
的病灶分割效果。
25.2.能够处理尺度形状差异大的病灶区域。
26.本发明通过设计不同空洞率和不同尺寸的卷积核引入多尺度卷积模块hms，能够处理不同尺度和不同形状的病灶区域。
附图说明
27.图1是本发明的实现流程框图；
28.图2为新冠肺炎患者在早期、进展期、重症期、恢复期不同阶段的ct影像；
29.图3为分别用本发明和原始分割方法对早期新冠肺炎患者病灶区域的分割结果图；
30.图4为分别用本发明和原始分割方法对进展期新冠肺炎患者病灶区域的分割结果图。
具体实施方式
31.下面结合附图对本发明的实施例和效果作进一步详细描述。
32.参见图1，本实例的具体实现步骤包括如下：
33.步骤1，划分训练、验证和测试集。
34.1.1)从不同医院获取新冠肺炎患者的计算机断层扫描ct影像数据：
35.由于数据来自不同的医院，受制于不同医院的治疗水平的限制，收治的病人的病情分布不均匀，且大部分新冠肺炎患者的ct表现较轻，其收集的117例ct影像数据中无症状感染患者数据有3例，早期患者数据有56例，进展期患者数据有57例，重症患者数据仅有1例，且在数据采集时间内无恢复期患者数据；
36.1.2)对所有的ct影像数据进行重采样和直方图匹配：
37.由于不同医院的ct设备质量类型不一致，因而在进行实验前，需要对所有的ct影像数据进行重采样和直方图匹配，以保证所有ct影像数据的质量和分布的一致性，即先将计算机断层扫描ct影像数据通过重采样变换到分辨率为1mm
×
1mm
×
1mm的同一空间，使得所有数据的空间尺度信息保持一致，并从中选择一个体素值分布均匀、图像清晰的ct影像数据作为模板，再通过直方图匹配将ct影像的其他数据匹配成与模版数据类似的分布；
38.1.3)划分训练集、验证集、测试集：
39.将直方图匹配后的ct影像数据按照3：1：1的比例随机划分训练集、验证集和测试集。
40.步骤2，构建基于弱监督多任务学习的新冠肺炎病灶分割网络。
41.针对不同临床等级病人的病灶区域临床表现差异大导致不同的病人病灶区域分割结果差异大的问题，将病人的类别信息引入到分割网络中，设计了基于弱监督的分割网络，同时结合多任务学习机制，在分割网络中增加分类网络。其具体实现是：
42.2.1)设计由10个不同空洞率和不同尺寸卷积核构成多尺度卷积模块hms：
43.每三个卷积核串行连接得到三个级联支路，这三者并行连接后再与第十个卷积核串行连接，其中：
44.第一个卷积核的空洞率d＝2、卷积核大小为3
×3×
3，
45.第二个卷积核的空洞率d＝4、卷积核大小为3
×3×
3，
46.第三个卷积核的空洞率d＝6、卷积核大小为3
×3×
3，
47.第四个卷积核的空洞率d＝2、卷积核大小为5
×5×
5，
48.第五个卷积核的空洞率d＝4、卷积核大小为5
×5×
5，
49.第六个卷积核的空洞率d＝6、卷积核大小为5
×5×
5，
50.第七个卷积核的空洞率d＝1、卷积核大小为1
×1×
1，
51.第八个卷积核的空洞率d＝1、卷积核大小为3
×3×
3，
52.第九个卷积核的空洞率d＝1、卷积核大小为5
×5×
5，
53.第十个卷积核大小为1
×1×
1；
54.2.2)将现有的分割网络3d resunet的最后两层编码层中的卷积层替换成2.1)构建的多尺度卷积模块hms；
55.2.3)设计反卷积模块，其由一个残差块、一个3d反卷积块级联组成，其中：
56.所述残差块，由一个卷积核大小为3
×3×
1的卷积核与一个卷积核大小为1
×1×
3的卷积核并行连接，再与一个卷积核大小为1
×1×
1的卷积核串行连接组成；
57.所述3d反卷积块，由反卷积层、批量归一化层、激活层串行连接组成；
58.2.4)设计全连接层为softmax层；
59.2.5)将2.3)设计的两个反卷积模块和2.4)设计的一个全连接层依次连接在3d resunet 下采样的最后一层构成分类子网络，并将该分类子网络与3d resunet上采样的分割子网络并行连接，构成基于弱监督多任务学习的新冠肺炎病灶分割网络。
60.步骤3，对基于弱监督多任务学习的新冠肺炎病灶分割网络进行训练。
61.3.1)设最大迭代次数为100，初始学习率为0.001，每批次处理的数据个数为2，设在分割和分类网络反向传播过程中的参数学习使用的优化器为adam优化器；
62.3.2)设分割子网络的损失函数loss
seg
为骰子损失函数loss
dice
和加权交叉熵损失函数 loss
wce
之和，表示如下：
63.loss
seg
＝λ1loss
dice
λ2loss
wce
64.其中，λ1是骰子损失函数loss
dice
的权重系数，λ2是加权交叉熵损失函数loss
wce
的权重系数，λ1＝1，λ2＝100；
65.是骰子损失函数；
66.是加权交叉熵损失函数,
67.式中，m表示最大标签类别数目，c表示类别序号，q表示像素点总个数，n表示像素点序号，ε＝10
‑5，p
cn
表示第n个像素点属于第c类的概率值，g
cn
表示第n个像素点的真实标签，若第n个像素点属于第c类，则g
cn
＝1，否则g
cn
＝0；
68.3.3)设分类子网络的损失函数loss
class
为交叉熵损失函数loss
ce
，表示如下：
69.loss
class
＝loss
ce
70.其中，是交叉熵损失函数，m表示最大标签类别数目，c 表示类别序号，q表示像素点总个数，n表示像素点序号，p
cn
表示第n个像素点属于第c类的概率值，g
cn
表示第n个像素点的真实标签，若第n个像素点属于第c类，则g
cn
＝1，否则 g
cn
＝0；
71.3.4)将训练集输入到步骤2构建好的网络中，得到训练集的分割结果和分类结果；
72.3.5)根据3.4)的两个结果与训练集的分割标签、类别标签，分别计算分割子网络的分割损失值和分类子网络的分类损失值，并将这两个损失值进行加权相加得到网络的整体损失值；
73.3.6)将3.5)的整体损失值进行反向传播，直到损失函数收敛，得到初步训练后的网络w
i
， i为训练的迭代次数，i＝1,2,
…
,100；
74.3.7)对3.6)初步训练后的网络w
i
循环执行3.4)
‑
3.6)过程，每次迭代都将验证集输入到网络w
i
中，得到分割结果和分割精度，直到迭代次数达到100，停止训练，从中选择分割精度最高的网络作为最终训练好的网络w。
75.步骤4，对测试集进行新冠肺炎病灶分割，得到测试集的分割结果、分割精度。
76.将步骤1中划分的测试集输入到步骤3中训练完成的基于弱监督多任务学习的新冠肺炎病灶分割模型，得到测试集的分割结果、分割精度。
77.以下结合仿真实验结果对本发明的技术效果再做说明：
78.一.仿真条件：
79.本发明的仿真实验平台是ubuntu18.04操作系统，配置为3.6ghz的intel core i7
‑
9700kcpu和nvidia rtx2080ti gpu，使用tensorflow深度学习框架，开发语言为python。
80.本发明的仿真实验数据来自于新冠肺炎患者的检测脱敏数据。本数据集总共117例ct影像数据，所有病人的分级标签均是由多位临床医生结合病人的ct影像数据和病人的临床表现进行判别，再经过讨论确定最终的患者类别。新冠肺炎患者的临床等级，分为早期、进展期、重症期和恢复期，不同的等级的病人的ct影像表现差异较大，一般轻症患者的ct表现为单发或者多发性的毛玻璃影、斑块状以及网状的病变分布。对于进展期的病人的ct影像，其临床表现为病变区域进一步恶化，病灶增多、病灶密实、范围扩大，病灶范围能够扩展到两个肺叶。对于重症期的病人图像，通常病变区域扩展到双肺，临床表现为双肺呈弥漫性病变。对于恢复期的病人的ct表现通常有一定的好转，经过一段时间积极治疗后病变范围缩小，部分索条影可完全吸收，支气管增粗的程度减轻。
81.不同时期病人的ct表现如图2，从图2中可见，不同临床等级病人病灶的特征表现差异较大。
82.二.仿真内容及结果分析：
83.仿真1，分别利用现有医学影像分割方法和本发明，对图2所示的新冠肺炎早期患者的 ct影像数据进行病灶区域分割，结果如图3，图3中的每一行表示处于新冠肺炎早期的不同患者，其中：
84.第一行表示患者1，第二行表示患者2，第三行表示患者3，第四行表示患者4，第一
列表示原始图像，第二列表示标签，第三列表示现有方法的分割结果，第四列表示本发明方法的分割结果。
85.由图3可见，现有方法对新冠肺炎早期患者数据进行分割时，对部分不明显的病灶区域产生了漏分割的现象，如患者2和患者4中部分表现较轻的毛玻璃区域，以及对某些孤立的病灶区域也未能成功分割，如患者1和患者3中某些孤立的小型病灶区域，导致整体的分割结果较差。而本发明方法能够提升这些区域的分割结果，如由患者2和患者4的分割结果可以看出在表现较轻的病灶区域产生了更好的分割结果，并且能够识别出患者1和患者3影像中孤立的病灶区域。
86.计算现有方法和本发明方法对新冠肺炎早期患者病灶分割效果的不同定量指标，结果如表1。
87.表1不同方法对新冠肺炎早期患者的分割结果不同定量指标对比
88.方法dscasdhd95ppvsen现有方法0.74
±
0.131.58
±
0.815.55
±
3.830.74
±
0.150.79
±
0.13本发明方法0.78
±
0.101.52
±
0.984.47
±
3.360.75
±
0.130.82
±
0.11
89.表1中dsc表示分割骰子相似系数、asd表示平均表面距离、hd95表示95％豪斯多夫距离、ppv表示精确率、sen表示敏感度。指标dsc、ppv、sen越高，asd、hd95越低，则表明分割的效果越好。
90.由表1可见，本发明方法对新冠肺炎早期患者病灶分割的分割骰子相似系数dsc指标、精确率ppv指标、敏感度sen指标比现有方法均有提升，以及在平均表面距离asd指标、95％豪斯多夫距离hd95指标比现有方法均有降低，证明了本发明所提出的基于弱监督多任务学习的新冠肺炎病灶分割方法能够提升病灶的分割性能。
91.仿真2，分别利用现有医学影像分割方法和本发明，对图2所示的新冠肺炎进展期患者的ct影像数据进行病灶区域分割，结果如图4，图4中的每一行表示处于新冠肺炎进展期的不同患者，其中：
92.第一行表示患者1，第二行表示患者2，第三行表示患者3，第四行表示患者4，第一列表示原始图像，第二列表示标签，第三列表示现有方法的分割结果，第四列表示本发明方法的分割结果。
93.由图4可见，现有方法对新冠肺炎进展期患者数据进行分割时，对部分较为明显的病灶区域也会产生漏分割的现象，如患者1、患者3中表现明显的病灶区域，以及对某些孤立的病灶区域也未能成功分割，如患者2、患者4中部分孤立的病灶区域，导致整体的分割结果较差。而本发明方法能够提升这些区域的分割结果，如患者1和患者3的分割结果可以看出在病灶表现明显的区域产生了更好的分割结果，并且能够识别出患者2和患者4影像中孤立的病灶区域。
94.计算现有方法和本发明方法对新冠肺炎进展期患者病灶分割效果的不同定量指标，结果如表2。
95.表2不同方法对新冠肺炎进展期患者的分割结果不同定量指标对比
96.方法dscasdhd95ppvsen现有方法0.79
±
0.135.10
±
8.9521.5
±
27.80.84
±
0.050.77
±
0.18本发明方法0.80
±
0.085.37
±
9.3817.4
±
24.40.82
±
0.090.82
±
0.15
[0097] 表2中dsc表示分割骰子相似系数、asd表示平均表面距离、hd95表示95％豪斯多夫距离、ppv表示精确率、sen表示敏感度。指标dsc、ppv、sen越高，asd、hd95越低，代表效果越好。
[0098]
由表2可见，本发明方法对新冠肺炎进展期患者病灶分割的分割骰子相似系数dsc指标、敏感度sen指标比现有方法均有提升，以及在95％豪斯多夫距离hd95指标上比现有方法降低，证明了本发明所提出的基于弱监督多任务学习的新冠肺炎病灶分割方法能够提升病灶的分割性能。
[0099]
综上，针对新冠肺炎患者中不同临床等级的患者ct影像中病灶区域表现差异大导致分割模型对不同临床等级的患者分割结果差异大的问题，本发明提出了一种基于弱监督多任务学习的病灶分割方法。将数据的类别信息作为额外的辅助信息引入到模型构建了基于弱监督的分割网络，然后将多任务机制与分割网络结合，在分割网络中增加分类网络。通过病灶分割标签信息和病灶类别标签信息的共同作用使得网络能够学习到更鲁棒的病灶特征，以提升最终的病灶分割效果。通过实验证明了本发明能够有效的提升不同类别患者病灶的分割效果，提升了分割性能的一致性。