本发明提供了一种基于fasternet和局部自注意力机制的颅内血肿分割方法,属于医学图像分割领域。
背景技术:
1、颅内血肿是指在颅腔的某些部位聚集了一定体积的血液时形成的局部占位效应,它会对脑组织产生压迫,引起头痛、意识受损、瘫痪,甚至死亡。因此,对颅内血肿的快速诊断十分重要。基于深度学习的医学图像分割技术在计算机辅助医疗系统中已经成为重要组成部分,不同于传统的分割方法,基于深度学习的分割方法能够减少伪影、钙化等现象对分割性能的影响,对于形状不规则、复杂的高维的颅内血肿数据有更好的泛化能力。本技术针对头部ct影像,利用部分卷积、局部自注意力机制和空间金字塔完成对颅内血肿的分割。
2、中国专利申请公布号为“cn 116152492 a”,名称为“基于多重注意力融合的医学图像分割方法”,该方法首先利用深度残差网络对输入图像进行特征提取得到不同尺度的特征图;然后利用不同感受野的空洞卷积对提取出的特征进行特征提取,得到不同尺度的信息;接着将多尺度信息送进金字塔扩充模块,进行特征融合;最后将融合好的信息送进双分支融合模块,利用前后背景掩码预测分支和类别预测掩码分支实现医学图像分割和分类。该方法虽然能够得到头部ct图像的分割结果,但计算复杂度较高不易于模型部署,过多的卷积操作会产生冗余信息降低模型的性能,同时还存在对非病灶区域进行分割的情况。因此,如何克服上述缺陷是需要解决的问题。
技术实现思路
1、为了解决现有技术中对形状不规则的血肿分割效率低和对颅骨周围的血肿分割精度低的问题,本发明实施例提供了一种基于fasternet并结合局部自注意力机制的颅内血肿分割方法。本发明提出的方法运行效率更高,分割精度更高,分割结果更符合人眼观察。
2、本发明解决技术问题的方案是:
3、为了实现上述目的,本发明提供如下技术方案:
4、一种基于fasternet和局部自注意力机制的颅内血肿分割方法,具体步骤为:
5、步骤1,构建网络模型:构建包括编码器和解码器的颅内血肿语义分割网络;
6、步骤2,准备数据集:选择cq500数据集和ct-ich2020数据集。筛选出含有硬膜外血肿、硬膜下血肿、蛛网膜下腔血肿、脑实质内血肿和脑室血肿的病例切片,转换成png格式并划分成训练集、验证集和测试集。
7、步骤3,训练网络模型:利用ct-ich2020数据集对颅内血肿分割网络进行预训练,利用cq500数据集对网络进行训练,直到达到预设阈值;
8、步骤4,评估模型性能:根据模型在训练过程中损失值的变化趋势以及得到的各项评估指标,评估数据的分布和模型的训练效果;
9、步骤5,微调模型:利用cq500数据集对模型进行再次训练和微调,得到稳定可用的模型参数;
10、步骤6,保存模型:将最终确定的模型参数固化并保存;
11、步骤7,预测结果:将未利用过的头部ct图像数据集输入到保存好的模型中,完成颅内血肿分割并可视化展示分割结果。
12、整个网络模型为端到端的模型,中间的所有操作都包含在网络模型的内部,由原始数据输入到最终的分割结果输出。
13、所述步骤1中编码器包括主干特征提取网络和加强特征提取网络,解码器包括分割层、卷积层和上采样层。整个网络包括嵌入层、合并层、卷积块、空间金字塔块、注意力层、卷积层、上采样层和分割层。
14、所述主干特征提取网络用于对原始图像进行初步的特征提取,提取出高层次的特征表示,利用不同大小和步长的卷积核对图像进行特征提取和下采样,凝聚语义信息;
15、所述嵌入层将输入数据切分成不重叠的相同大小的图像块后,对所有图像块进行特征提取并进行4倍下采样。利用卷积代替池化进行下采样,进行浅层特征提取;
16、所述卷积块由部分卷积、卷积层、归一化层、激活函数和残差连接组成。
17、所述合并层由卷积层和归一化层组成,用于提取图像特征、进行图像通道信息融合以及下采样;
18、所述空间金字塔块由空洞卷积、全局池化、1×1卷积、归一化层和激活函数组成,用于对初步提取的高级特征进行进一步的特征提取。利用不同扩张率的空洞卷积增加网络的感受野,加强模型对不规则形状区域内像素间关系的感知能力。
19、所述注意力层由局部自注意力模块、线性层和位置编码模块组成。在增加模型对语义信息的关注度的同时,通过引入邻域信息加强深层语义信息的获取;
20、所述解码器包括卷积层、上采样层和分割层。将提取的深层语义信息逐步恢复到原始的数据空间,最后通过分割层得到最终的图像分割结果。上采样层使用双线性插值,根据已知像素值对周围像素进行加权平均来估计未知像素的值,减小锯齿状边缘和失真现象,平滑图像的边缘。每经过一次上采样后都会通过卷积层进行通道信息的融合;
21、所述步骤3中,网络模型在训练时,会对训练集和验证集数据进行颜色空间转换、随机裁剪、扭曲、仿射变换等,并进行全监督训练;
22、所述步骤4中,训练时所使用的损失函数选择交叉熵损失函数和dice损失函数的组合形式。利用两个可学习参数分别控制两种损失函数的比例,随着训练的进行参数会不断调整,同时保证两个参数之和为1。
23、相对于现有技术而言,本发明具有以下有益效果:
24、1、采用的fasternet主干特征提取网络具有结构简单、参数量少、训练效率高,特征提取能力强的优点。在减少计算冗余的同时,能够更好地学习到关键的特征信息,提高网络模型的分割精度和分割效率。
25、2、本发明采用了局部自注意力机制,通过计算环形邻域的注意力,能够更好地使模型获取血肿区域与正常组织之间的边界信息,减少颅骨在网络进行特征提取时产生的负面影响,从而更准确地分割出血肿。模型中采用的空间金字塔块能够处理不同尺度的特征图,对于形状不规则的血肿,能够更好地使模型捕捉到血肿区域与周围区域以及背景区域之间的上下文信息,有助于模型更好地识别出病灶区域。
26、4、本发明通过添加特征校准网络,减少了特征图的信息损失,提高了网络的细节恢复能力。
1.一种基于fasternet和局部自注意力机制的颅内血肿分割方法,其特征在于,具体步骤为:
2.根据权利要求1所述的一种基于fasternet和局部自注意力机制的颅内血肿分割方法,其特征在于,整个网络包括主干特征提取网络、加强特征提取网络和解码器;
3.根据权利要求1所述的一种基于fasternet和局部自注意力机制的颅内血肿分割方法,其特征在于,分割网络包括多个卷积层、归一化层和relu函数、上采样层和分割层。
4.根据权利要求1所述的一种基于fasternet和局部自注意力机制的颅内血肿分割方法,其特征在于,空间金字塔块包括不同膨胀率的空洞卷积层、1×1卷积层和自适应全局池化层、归一化层和relu函数。
5.根据权利要求1所述的一种基于fasternet和局部自注意力机制的颅内血肿分割方法,其特征在于,注意力层中包括多头注意力、位置编码、softmax函数和在切片周围补原始数据操作。
6.根据权利要求1所述的一种基于fasternet和局部自注意力机制的颅内血肿分割方法,其特征在于,损失函数为复合损失函数,采用的损失函数为交叉熵损失函数与dice损失函数的组合。
7.根据权利要求1所述的一种基于fasternet和局部自注意力机制的颅内血肿分割方法,其特征在于,在网络训练过程中包括通过评价指标(dsc、tpr、map、miou、specificity)评估算法可视化分割结果的准确性和泛化能力。
8.根据权利要求1所述的一种基于fasternet和局部自注意力机制的颅内血肿分割方法,其特征在于,预训练时使用的数据集为ct-ich2020数据集,正式训练时所使用的像数据集为cq500数据集。
