本技术涉及人工智能和数字医疗,尤其涉及一种头颅mri图像的分类方法、装置、计算机设备及存储介质。
背景技术:
1、缺血性脑卒中具有高发病率、高死亡率、高致残率以及高复发率的特点,在超急性期治疗的重点是再灌注治疗。而觉醒型卒中(wake-up stroke,wus)占新发缺血性脑卒中的14%-28%,是指患者睡觉时无新发卒中症状,但觉醒后被患者本人或者旁人发现有卒中症状的急性缺血性脑卒中(acute ischemic stroke,ais)。由于患者症状是在睡眠中发生的,其发病时间不明确,通常将“最后看上去正常”的时间作为发病时间,所以患者到院时一般都会超出溶栓时间窗,常被排除在溶栓治疗之外。这可能导致本来适合溶栓治疗的患者得不到溶栓治疗,从而预后差。所以如何在wus患者中筛选出适合溶栓治疗的患者尤为重要,目前公认的静脉溶栓挽救缺血半暗带获益时间为发病4.5小时以内,因此,根据wus患者头颅mri图像精确判断发病时间尤为重要。
2、近年来,随着人工智能技术的发展,人工智能技术在自动化影像学分析、临床辅助决策和预后预测等方面均有广泛的应用。随着深度学习和计算机视觉技术在医学影像处理的广泛应用,多序列mri(t1wi、t2wi、动脉期、门静脉期、平衡期等)的图像处理和特征提取方法引起了广泛的研究兴趣。当前主要是基于深度学习对多序列mri图像进行分割,且只是简单地将原始空间中的多模态特征串联起来,而忽略了它们的潜在关联,造成分割准确度较低和分割效果较差的问题。此外,既往的研究依旧没有将与发病时间相关的脑梗死病灶信息与多序列mri特征融合以解决对wus患者发病时间进行分类问题。
技术实现思路
1、本技术实施例的目的在于提出一种头颅mri图像的分类方法、装置、计算机设备及存储介质,以解决现有技术中分割准确度较低和分割效果较差以及没有将与发病时间相关的脑梗死病灶信息与多序列mri特征融合以解决对wus患者发病时间进行分类的技术问题。
2、为了解决上述技术问题,本技术实施例提供一种头颅mri图像的分类方法,采用了如下所述的技术方案:
3、获取wus患者的头颅mri多序列图像组成的图像数据集,所述图像数据集中的每张mri图像携带有对应的发病时间标签;
4、将所述图像数据集输入预构建的深度神经网络模型,得到预测时间分类结果,所述深度神经网络模型包括多序列特征提取单元、病灶分割单元以及分类单元;
5、基于预设的损失函数计算所述预测时间分类结果和对应的所述发病时间标签之间的损失值;
6、根据所述损失值分别调整所述多序列特征提取单元、所述病灶分割单元以及所述分类单元的网络权重参数,继续迭代训练,直至所述深度神经网络模型训练结束,输出最终的模型作为图像分类模型;
7、获取目标wus患者的目标头颅mri多序列图像,将所述目标头颅mri多序列图像输入所述图像分类模型中进行分类,得到时间分类类别。
8、进一步的,所述将所述图像数据集输入预构建的深度神经网络模型,得到预测时间分类结果的步骤包括:
9、通过所述多序列特征提取单元对所述图像数据集中的头颅mri多序列图像进行序列特征提取,得到序列融合特征图;
10、通过所述病灶分割单元对所述序列融合特征图进行分割,得到病灶分割图;
11、将所述序列融合特征图和所述病灶分割图输入所述分类单元进行分类,输出预测时间分类结果。
12、进一步的,所述多序列特征提取单元包括每个序列对应的特征提取层和特征融合层;所述通过所述多序列特征提取单元对所述图像数据集中的头颅mri多序列图像进行序列特征提取,得到序列融合特征图的步骤包括:
13、将所述图像数据集中每一个序列的图像输入至对应的所述特征提取层进行特征提取,得到各个序列的特征图;
14、通过所述特征融合层将所述各个序列的特征图进行融合,得到序列融合特征图。
15、进一步的,所述病灶分割单元包括编码器、解码器和跳跃连接结构,所述编码器包括第一层编码层、第二层编码层、第三层编码层和第四层编码层,所述解码器包括第一层解码层、第二层解码层、第三层解码层和第四层解码层,所述通过所述病灶分割单元对所述序列融合特征图进行分割,得到病灶分割图的步骤包括:
16、通过所述第一层编码层对所述序列融合特征图进行特征提取,得到第一特征图;
17、通过所述第二层编码层对所述第一特征图进行特征提取,得到第二特征图;
18、通过所述第三层编码层对所述第二特征图进行特征提取,得到第三特征图;
19、通过所述第四层编码层对所述第三特征图进行特征提取,得到第四特征图;
20、将所述第四特征图输入所述跳跃连接结构进行拼接,得到全局特征图;
21、拼接所述全局特征图和所述第四特征图得到第一拼接特征,将所述第一拼接特征输入所述第四层解码层,得到第一上采样特征;
22、拼接所述第一拼接特征和所述第三特征图得到第二拼接特征,将所述第二拼接特征和所述第一上采样特征输入所述第三层解码层,得到第二上采样特征;
23、拼接所述第二拼接特征和所述第二特征图得到第三拼接特征,将所述第三拼接特征和所述第二上采样特征输入所述第二层解码层,得到第三上采样特征;
24、拼接所述第三拼接特征和所述第一特征图得到第四拼接特征,将所述第四拼接特征和所述第三上采样特征输入所述第一层解码层,得到病灶分割图。
25、进一步的,所述第一层编码层包括编码卷积单元和池化单元;所述通过所述第一层编码层对所述序列融合特征图进行特征提取,得到第一特征图的步骤包括:
26、通过所述编码卷积单元对所述序列融合特征图进行特征提取,得到卷积特征向量;
27、将所述卷积特征向量输入所述池化单元进行池化操作,得到所述第一特征图。
28、进一步的,所述分类单元包括全连接层和softmax层,所述将所述序列融合特征图和所述病灶分割图输入所述分类单元进行分类,输出预测时间分类结果的步骤包括:
29、通过所述全连接层将所述序列融合特征图和所述病灶分割图进行拼接,得到拼接全局特征;
30、将所述拼接全局特征输入所述softmax层进行分类,得到每个类别的分类概率;
31、基于所述分类概率输出所述预测时间分类结果。
32、进一步的,在所述直至所述深度神经网络模型训练结束的步骤之后还包括:
33、获取头颅mri多序列图像测试集,并输入训练结束的深度神经网络模型进行验证,得到分类精度;
34、在所述分类精度大于等于预设阈值时,输出训练结束的所述深度神经网络模型作为最终的图像分类模型。
35、为了解决上述技术问题,本技术实施例还提供一种头颅mri图像的分类装置,采用了如下所述的技术方案:
36、获取模块,用于获取wus患者的头颅mri多序列图像组成的图像数据集,所述图像数据集中的每张mri图像携带有对应的发病时间标签;
37、训练模块,用于将所述图像数据集输入预构建的深度神经网络模型,得到预测时间分类结果,所述深度神经网络模型包括多序列特征提取单元、病灶分割单元以及分类单元;
38、损失计算模块,用于基于预设的损失函数计算所述预测时间分类结果和对应的所述发病时间标签之间的损失值;
39、调整模块,用于根据所述损失值分别调整所述多序列特征提取单元、所述病灶分割单元以及所述分类单元的网络权重参数,继续迭代训练,直至所述深度神经网络模型训练结束,输出最终的模型作为图像分类模型;
40、分类模块,用于获取目标wus患者的目标头颅mri多序列图像,将所述目标头颅mri多序列图像输入所述图像分类模型中进行分类,得到时间分类类别。
41、为了解决上述技术问题,本技术实施例还提供一种计算机设备,采用了如下所述的技术方案:
42、该计算机设备包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如上所述的头颅mri图像的分类方法的步骤。
43、为了解决上述技术问题,本技术实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
44、所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上所述的头颅mri图像的分类方法的步骤。
45、与现有技术相比,本技术主要有以下有益效果:
46、本技术通过获取wus患者的头颅mri多序列图像组成的图像数据集,图像数据集中携带有每张图像对应的发病时间标签,使用图像数据集训练包括多序列特征提取单元、病灶分割单元以及分类单元的深度神经网络模型,得到图像分类模型,使用图像分类模型对目标头颅mri多序列图像进行分类处理,获得时间分类类别;本技术通过多序列特征提取单元对头颅mri多序列图像进行多序列特征提取,基于多序列特征进行病灶分割和分类,实现了将图像分割任务和分类任务相结合,在提高分割的准确度和分割效果的同时,通过病灶分割单元获得与发病时间相关的病灶信息,将病灶信息与多序列特征进行融合,提高图像对应的发病时间的分类准确度,有助于根据分类结果对wus患者进行后续溶栓治疗,避免错过治疗时间。
1.一种头颅mri图像的分类方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的头颅mri图像的分类方法,其特征在于,所述将所述图像数据集输入预构建的深度神经网络模型,得到预测时间分类结果的步骤包括:
3.根据权利要求2所述的头颅mri图像的分类方法,其特征在于,所述多序列特征提取单元包括每个序列对应的特征提取层和特征融合层;所述通过所述多序列特征提取单元对所述图像数据集中的头颅mri多序列图像进行序列特征提取,得到序列融合特征图的步骤包括:
4.根据权利要求2所述的头颅mri图像的分类方法,其特征在于,所述病灶分割单元包括编码器、解码器和跳跃连接结构,所述编码器包括第一层编码层、第二层编码层、第三层编码层和第四层编码层,所述解码器包括第一层解码层、第二层解码层、第三层解码层和第四层解码层,所述通过所述病灶分割单元对所述序列融合特征图进行分割,得到病灶分割图的步骤包括:
5.根据权利要求4所述的头颅mri图像的分类方法,其特征在于,所述第一层编码层包括编码卷积单元和池化单元;所述通过所述第一层编码层对所述序列融合特征图进行特征提取,得到第一特征图的步骤包括:
6.根据权利要求2所述的头颅mri图像的分类方法,其特征在于,所述分类单元包括全连接层和softmax层,所述将所述序列融合特征图和所述病灶分割图输入所述分类单元进行分类,输出预测时间分类结果的步骤包括:
7.根据权利要求5所述的头颅mri图像的分类方法,其特征在于,在所述直至所述深度神经网络模型训练结束的步骤之后还包括:
8.一种头颅mri图像的分类装置,其特征在于,包括:
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的头颅mri图像的分类方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的头颅mri图像的分类方法的步骤。
