基于多评分专家感知推理的眼底图像中视杯视盘分割方法

专利2025-10-21  2


本发明属于医学图像处理领域以及人工智能,涉及一种眼底图像中的视杯视盘分割方法。


背景技术:

1、目前在医学图像处理技术领域中,对于眼底图像中的视杯和视盘的分割,主要有以下:

2、1)基于传统图像的自动分割:这类方法通常包括阈值分割、区域生长、边缘检测等技术。它们依赖于图像的灰度、纹理等局部特征,通过设定特定的阈值或规则来区分目标区域和背景。这些方法依赖于眼底图像的局部特征提取和边缘检测,往往需要专家设定初始参数或者手动标记,容易受到眼底图像质量的影响,难以适应不同的图像条件,且复杂度较高。

3、2)基于机器学习的分割:这类方法包括支持向量机(svm)和决策树,这类方法还包括随机森林、k-近邻(k-nn)等。它们通过从训练数据中学习特征与标签之间的映射关系来进行分割。这些方法相比传统方法更具泛化能力,能够处理更复杂的图像特征。然而,它们的它们通常需要大量手工特征工程和调试超参数,且分割结果受限于所选特征的表征能力。

4、3)基于深度学习的语义分割:深度学习方法,尤其是卷积神经网络(cnns),通过端到端的方式自动学习图像特征,避免了复杂的特征工程。因其强大的特征学习能力而在眼底视杯视盘分割任务中获得了突破性进展。然而,这些方法通常需要大量标注数据,训练成本高,且在存在标注一致性问题的情况下,其性能会受到影响。此外,深度学习模型的解释性较差,模型决策过程不透明,这在医学应用中可能会带来一定的挑战。

5、在眼底医学图像分析中,通常会收集多个注释,每个注释来自于不同的临床专家或评估者,期望通过这种方式来减轻可能错误诊断。可是评估者之间的不一致性常常会导致分割高度不确定区域的挑战。在计算机视觉实践者的角度来看,目前常见做法来获得真实标签的做法是采用通过多数投票或仅从首选评估者那里获得。但是,这个过程中往往会忽略原始多个评估者注释中内在的一致性或者不一致性的丰富信息。


技术实现思路

1、为了克服在已有技术中获得的多评估者标签没有很好的利用评估者之间一致性或者不一致性的不足,本发明提供了一种基于多评分专家感知推理的眼底图像中视杯视盘分割方法,该网络命名为“vigmr_net”,利用计算机图像处理技术对医学图像进行处理,该方法融合了最新的图神经网络还有双关系感知注意力机制,通过利用多评估者间的一致性和不一致性建模,提高了该方法分割的准确性和鲁棒性;该模型能够更加直观和准确地反映眼底图像中的视杯视盘分割情况,辅助医生分析与诊断病情,术前方案规划及术后评估。总之,本发明提供了更加精确的分割结果和更直观的应用方式,能够进一步辅助提高医生的工作效率。

2、本发明解决其技术问题所采用的技术方案是:

3、一种基于多评分专家感知推理的眼底图像中视杯视盘分割方法,在第一阶段,使用预训练自imagenet的vig_ti作为u-net架构编码部分的基础,以捕捉全局上下文信息;通过编码部分后,获得特征向量{fi}5i=1;然后,在编码部分和解码部分之间嵌入一个专家感知推理模块eim,将专家矢量v嵌入到网络提取的高级语义特征中,得到增强的特征向量f5’;接着,嵌入一个双关系感知注意力模块dran来弥补细节捕捉的不足,获得特征向量f’5;最后,通过u-net的解码器模块生成多级解码特征{fi}5i=1,并通过1×1卷积操作和sigmoid激活处理生成粗略的分割预测p1;

4、在第二阶段,基于第一阶段的粗略分割预测结果进行细化,首先,将粗略分割结果p1输入到重构模块rm与给定的专家矢量v来重建评估者的标注,并基于重建的评估者标注生成反应评估者间不一致性的不确定性图umap;然后,设计了一个感知模块pm,通过多分支的注意力策略来更好地捕捉和强调分割的模糊区域;使用空间注意力策略来强调高度不确定的区域以提高分割性能,最终获得精细化的分割结果。

5、进一步,所述方法包括以下步骤:

6、步骤1、第一阶段通过广泛使用的u-net架构,来获得粗略的眼底图像视杯视盘分割结果,过程如下:

7、步骤1.1:编码部分采用了预训练自imagenet的vig_ti,其中ti表示tiny是vig中最轻量化的系列,使用vig_ti可以捕捉全局的上下文信息;通过该编码部分后得到特征向量{fi}5i=1;

8、步骤1.2:在u-net架构中的编码部分和解码部分间嵌入了一个专家感知推理模块eim,该模块将评估者间的专业知识信息即专家矢量v嵌入到网络提取的高级语义特征中,由编码部分最后一个编码器得到的特征向量f5通过专家感知推理模块eim后得到增强的特征向量f5’;

9、步骤1.3:在专家感知推理模块eim后嵌入了一个双关系感知注意力模块dran来弥补编码部分中vig_ti对于眼底图像中视杯视盘细节捕捉上所欠缺的不足,将得到的增强特征向量f5’通过dran获得特征向量f’5;

10、步骤1.4:由输入通过编码部分,嵌入的eim和dran后得到的特征向量f’5进一步传送给到u-net的解码器模块,生成多级解码特征{fi}5i=1,最终的解码特征f1经过一个1×1卷积操作还有一个非线性函数sigmoid激活处理,生成粗略的分割预测p1;

11、步骤2、基于第一阶段的粗略分割预测结果进行细化,过程如下:

12、步骤2.1:将第一阶段生成的粗略分割结果p1输入到重构模块rm与给定的专家矢量v来重建评估者的标注,基于重建的评估者标注来生成反应评估者间不一致性的不确定性图umap;

13、步骤2.2:通过多分支的注意力策略来更好的捕获和强调分割的模糊区域,设计了一个感知模块pm,通过步骤1中u-net主干网络获得的特征图f1和通过步骤2.1中rm模块获得的不确定性图umap,在pm模块中使用空间注意力策略来强调高度不确定的区域来提高分割性能,最后获得精细化的分割结果。

14、再进一步,所述步骤2.1中,将粗略分割结果p1和原始图像input串联起来输入到rm模块中的编码器中,该编码器网络是基于vgg16;专家矢量v也通过另一个eim模块嵌入在rm的瓶颈层上。通过rm的解码器最后一层中的多个1×1卷积来重建评估者的标注,最后获得评估者间不一致性的不确定性图umap。

15、本发明的有益效果主要表现在:利用计算机图像处理技术对医学图像进行处理,能够更加直观地反映病人的具体情况,帮助医生分析与诊断病情,术前方案规划及术后评估。对于青光眼等这样病症来说,利用医学图像处理技术对其进行精确的分割,能够辅助提高医生的工作效率。



技术特征:

1.一种基于多评分专家感知推理的眼底图像中视杯视盘分割方法,其特征在于,在第一阶段,使用预训练自imagenet的vig_ti作为u-net架构编码部分的基础,以捕捉全局上下文信息;通过编码部分后,获得特征向量{fi}5i=1;然后,在编码部分和解码部分之间嵌入一个专家感知推理模块eim,将专家矢量v嵌入到网络提取的高级语义特征中,得到增强的特征向量f5’;接着,嵌入一个双关系感知注意力模块dran来弥补细节捕捉的不足,获得特征向量f’5;最后,通过u-net的解码器模块生成多级解码特征{fi}5i=1,并通过1×1卷积操作和sigmoid激活处理生成粗略的分割预测p1;

2.如权利要求1所述的基于多评分专家感知推理的眼底图像中视杯视盘分割方法,其特征在于,所述方法包括以下步骤:

3.如权利要求2所述的基于多评分专家感知推理的眼底图像中视杯视盘分割方法,其特征在于,所述步骤2.1中,将粗略分割结果p1和原始图像input串联起来输入到rm模块中的编码器中,该编码器网络是基于vgg16;专家矢量v也通过另一个eim模块嵌入在rm的瓶颈层上,通过rm的解码器最后一层中的多个1×1卷积来重建评估者的标注,最后获得评估者间不一致性的不确定性图umap。


技术总结
一种基于多评分专家感知推理的眼底图像中视杯视盘分割方法,利用计算机图像处理技术对医学图像进行处理,该方法融合了最新的图神经网络还有双关系感知注意力机制,通过利用多评估者间的一致性和不一致性建模,提高了该方法分割的准确性和鲁棒性;该模型能够更加直观和准确地反映眼底图像中的视杯视盘分割情况,辅助医生分析与诊断病情,术前方案规划及术后评估。本发明提供了更加精确的分割结果和更直观的应用方式,能够进一步辅助提高医生的工作效率。

技术研发人员:汪晓妍,俞鉴豪,黄晓洁,夏明,沈晓艇,刘震杰
受保护的技术使用者:浙江工业大学
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1824212.html

最新回复(0)