基于红外与可见光图像融合的血管图像增强方法和系统与流程

专利2022-05-09  46



1.本发明涉及静脉机器人穿刺图像识别领域,尤其是涉及一种基于红外与可见光图像融合的血管图像增强方法和系统。


背景技术:

2.在静脉穿刺的血管成像过程中,近红外光成像技术是应用广泛的成像技术。其利用静脉血管中血红蛋白对近红外光的吸收作用,来获取静脉血管图像;其获取的图像再经过二值化、滤波、图像增强等一系列图像处理技术处理,红外图像可以根据辐射差异将目标与背景区分开来,这在全天候和全天/整夜的情况下效果很好;可见图像与人类视觉系统一致的方式可以提供具有高空间分辨率和清晰度的纹理细节。
3.因此,现有技术中已经存在将这两种类型的图像进行融合,从而得到更加详细的热辐射信息和纹理信息。但是,现有的融合方式存在以下问题:如公开号为cn106897986b的中国专利公开了一种基于多尺度分析的可见光图像与远红外图像融合方法,在图像多尺度分解过程中对远红外图像中的条纹噪声进行有效抑制,并根据人类视觉显著性特点结合可见光图像与远红外图像各自特点的方法,提供了有效信息更丰富、图像质量更好的融合结果。但此类图像融合方法对操作对象的距离有要求,对于近距离的图像无法做到细节的还原。


技术实现要素:

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于红外与可见光图像融合的血管图像增强方法和系统。
5.本发明的目的可以通过以下技术方案来实现:
6.一种基于红外与可见光图像融合的血管图像增强方法,其特征在于,包括以下步骤:
7.s1、通过近红外采集装置获得当前皮肤位置的血管近红外图像,并进行图像预处理;
8.s2、通过双目相机装置拍摄当前相同皮肤位置的血管可见光图像,并进行图像预处理;
9.s3、对所得的血管近红外图像和血管可见光图像通过滤波算法进行分解,得到血管近红外图像的基础层和细节层,以及血管可见光图的基础层和细节层;
10.s4、对所有基础层采用平均策略进行融合得到增强基础层,对所有细节层采用加权平均策略进行融合得到增强细节层;
11.s5、通过叠加法将增强基础层和增强细节层进行融合得到增强血管图像。
12.进一步地,对所得的血管近红外图像和血管可见光图像通过均值滤波器进行过滤,得到均值滤波图像α
u1
(x,y)和α
u2
(x,y);
13.对所得的血管近红外图像和血管可见光图像通过中值滤波器进行过滤,得到中值
滤波图像α
η1
(x,y)和α
η2
(x,y);
14.使用均值滤波图像减去中值滤波图像,并取绝对值,得到中间矩阵β1(x,y)和β1(x,y),其表达式为:
15.β1(x,y)=|α
u1
(x,y)

α
η1
(x,y)|
16.β2(x,y)=|α
u2
(x,y)

α
η2
(x,y)|
17.根据这两个中间矩阵得到细节层的加权系数矩阵:
[0018][0019][0020]
其中,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。
[0021]
进一步地,所述的步骤s4中,平均策略的计算表达式为:
[0022][0023]
其中,α
a
(x,y)为增强基础层,为血管近红外图像的基础层,为血管可见光图像的基础层。
[0024]
进一步地,所述的步骤s4中,加权平均策略的计算表达式为:
[0025][0026]
其中,α
b
(x,y)为增强细节层,为血管近红外图像的细节层,为血管可见光图像的细节层,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。
[0027]
进一步地,所述的步骤s5中,叠加法的计算表达式为:
[0028]
γ(x,y)=α
a
(x,y) α
b
(x,y)
[0029]
其中,γ(x,y)为增强血管图像,α
a
(x,y)为增强基础层,α
b
(x,y)为增强细节层。
[0030]
一种基于红外与可见光图像融合的血管图像增强系统,包括:
[0031]
采集模块:通过近红外采集装置获得当前皮肤位置的血管近红外图像,并进行图像预处理;通过双目相机装置拍摄当前相同皮肤位置的血管可见光图像,并进行图像预处理;
[0032]
处理模块:对所得的血管近红外图像和血管可见光图像通过滤波算法进行分解,得到血管近红外图像的基础层和细节层,以及血管可见光图的基础层和细节层;对所有基础层采用平均策略进行融合得到增强基础层,对所有细节层采用加权平均策略进行融合得到增强细节层;
[0033]
输出模块:通过叠加法将增强基础层和增强细节层进行融合得到增强血管图像。
[0034]
进一步地,所述处理模块中:
[0035]
对所得的血管近红外图像和血管可见光图像通过均值滤波器进行过滤,得到均值滤波图像α
u1
(x,y)和α
u2
(x,y);
[0036]
对所得的血管近红外图像和血管可见光图像通过中值滤波器进行过滤,得到中值滤波图像α
η1
(x,y)和α
η2
(x,y);
[0037]
使用均值滤波图像减去中值滤波图像,并取绝对值,得到中间矩阵,其表达式为:
[0038]
β1(x,y)=|α
u1
(x,y)

α
η1
(x,y)|
[0039]
β2(x,y)=|α
u2
(x,y)

α
η2
(x,y)|
[0040]
最后,根据这两个中间矩阵得到细节层的加权系数矩阵:
[0041][0042][0043]
其中,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。
[0044]
进一步地,所述处理模块中,平均策略的计算表达式为:
[0045][0046]
其中,α
a
(x,y)为增强基础层,为血管近红外图像的基础层,为血管可见光图像的基础层。
[0047]
进一步地,所述处理模块中,加权平均策略的计算表达式为:
[0048][0049]
其中,α
b
(x,y)为增强细节层,为血管近红外图像的细节层,为血管可见光图像的细节层,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。
[0050]
进一步地,所述处理模块中,叠加法的计算表达式为:
[0051]
γ(x,y)=α
a
(x,y) α
b
(x,y)
[0052]
其中,γ(x,y)为增强血管图像,α
a
(x,y)为增强基础层,α
b
(x,y)为增强细节层。
[0053]
与现有技术相比,本发明具有以下有益效果:
[0054]
1、本发明通过将同一部位的血管近红外图像和血管可见光图像进行细节层和基础层的分解,然后将细节层和基础层进行分别融合,实现了从可见光图像和血管近红外图像中分别加强血管部位的细节和轮廓,形成互补,使得到的图像血管轮廓更加清晰,可以满足静脉穿刺的高精度识别要求。
[0055]
2、本发明利用近红外成像技术中利用血管中血红蛋白对近红外光的吸收率与其他组织不同的机理克服了对操作对象的距离要求的问题,使得近距离血管细节的成像得以保持。
附图说明
[0056]
图1为本发明的流程示意图。
具体实施方式
[0057]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
[0058]
本实施例提供了一种基于红外与可见光图像融合的血管图像增强方法,包括以下步骤:
[0059]
步骤s1、通过近红外采集装置获得当前皮肤位置的血管近红外图像,并进行图像预处理。
[0060]
步骤s2、通过双目相机装置拍摄当前相同皮肤位置的血管可见光图像,并进行图像预处理。
[0061]
步骤s3、对所得的血管近红外图像和血管可见光图像通过滤波算法进行分解,得到血管近红外图像的基础层和细节层,以及血管可见光图的基础层和细节层。
[0062]
步骤s4、对所有基础层采用平均策略进行融合得到增强基础层,对所有细节层采用加权平均策略进行融合得到增强细节层。
[0063]
步骤s5、通过叠加法将增强基础层和增强细节层进行融合得到增强血管图像。
[0064]
在步骤s1和s2中,图像预处理采用高斯滤波去除噪点。
[0065]
在步骤s3中,血管近红外图像和血管可见光图像进行分解的滤波算法采用现有的常规分解算法,如均值滤波算法。由此,红外采集装置和双目相机装置的带的两幅小(宽高)的两幅图α1(x,y)和α2(x,y)可以分解表达为:、
[0066]
基础层:
[0067][0068][0069]
其中,为血管近红外图像的基础层,为血管可见光图像的基础层,μ(x,y)为均值滤波算法中窗口大小确定的系数矩阵。在得到基础层之后,通过原始图像与基础层图像得到细节层:
[0070]
细节层:
[0071][0072][0073]
其中,为血管近红外图像的基础层,为血管可见光图像的基础层。
[0074]
在步骤s4中,首先对所有基础层采用平均策略进行融合得到增强基础层,平均策略的计算表达式为:
[0075][0076]
其中,α
a
(x,y)为增强基础层,为血管近红外图像的基础层,为血管可见光图像的基础层。
[0077]
然后,对所有细节层采用加权平均策略进行融合得到增强细节层。加权平均策略的计算表达式为:
[0078][0079]
其中,α
b
(x,y)为增强细节层,为血管近红外图像的细节层,为血管可见光图像的细节层,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。
[0080]
加权系数ψ1(x,y)和ψ2(x,y)的具体过程如下:
[0081]
对所得的血管近红外图像和血管可见光图像通过均值滤波器进行过滤,得到均值滤波图像α
u1
(x,y)和α
u2
(x,y);
[0082]
对所得的血管近红外图像和血管可见光图像通过中值滤波器进行过滤,得到中值滤波图像α
η1
(x,y)和α
η2
(x,y);优选的中值窗口大小为3。
[0083]
使用均值滤波图像减去中值滤波图像,并取绝对值,得到中间矩阵,其表达式为:
[0084]
β1(x,y)=|α
u1
(x,y)

α
η1
(x,y)|
[0085]
β2(x,y)=|α
u2
(x,y)

α
η2
(x,y)|
[0086]
最后,根据这两个中间矩阵得到细节层的加权系数矩阵:
[0087][0088][0089]
其中,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。
[0090]
在步骤s5中,得到增强基础层和增强细节层后,通过简单的加法进行融合得到增强血管图像,叠加法的计算表达式为:
[0091]
γ(x,y)=α
a
(x,y) α
b
(x,y)
[0092]
其中,γ(x,y)为增强血管图像,α
a
(x,y)为增强基础层,α
b
(x,y)为增强细节层。
[0093]
最终得到的增强血管图像可以为静脉穿刺机器人提供更加精准的血管分布图像投影,显著提高其识别精度。
[0094]
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

技术特征:
1.一种基于红外与可见光图像融合的血管图像增强方法,其特征在于,包括以下步骤:s1、通过近红外采集装置获得当前皮肤位置的血管近红外图像,并进行图像预处理;s2、通过双目相机装置拍摄当前相同皮肤位置的血管可见光图像,并进行图像预处理;s3、对所得的血管近红外图像和血管可见光图像通过滤波算法进行分解,得到血管近红外图像的基础层和细节层,以及血管可见光图的基础层和细节层;s4、对所有基础层采用平均策略进行融合得到增强基础层,对所有细节层采用加权平均策略进行融合得到增强细节层;s5、通过叠加法将增强基础层和增强细节层进行融合得到增强血管图像。2.根据权利要求1所述的一种基于红外与可见光图像融合的血管图像增强方法,其特征在于,对所得的血管近红外图像和血管可见光图像通过均值滤波器进行过滤,得到均值滤波图像α
u1
(x,y)和α
u2
(x,y);对所得的血管近红外图像和血管可见光图像通过中值滤波器进行过滤,得到中值滤波图像α
η1
(x,y)和α
η2
(x,y);使用均值滤波图像减去中值滤波图像,并取绝对值,得到中间矩阵β1(x,y)和β1(x,y),其表达式为:β1(x,y)=|α
u1
(x,y)

α
η1
(x,y)|β2(x,y)=|α
u2
(x,y)

α
η2
(x,y)|根据这两个中间矩阵得到细节层的加权系数矩阵:根据这两个中间矩阵得到细节层的加权系数矩阵:其中,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。3.根据权利要求1所述的一种基于红外与可见光图像融合的血管图像增强方法,其特征在于,所述的步骤s4中,平均策略的计算表达式为:其中,α
a
(x,y)为增强基础层,为血管近红外图像的基础层,为血管可见光图像的基础层。4.根据权利要求1所述的一种基于红外与可见光图像融合的血管图像增强方法,其特征在于,所述的步骤s4中,加权平均策略的计算表达式为:其中,α
b
(x,y)为增强细节层,为血管近红外图像的细节层,为血管可见光图像的细节层,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。5.根据权利要求1所述的一种基于红外与可见光图像融合的血管图像增强方法,其特
征在于,所述的步骤s5中,叠加法的计算表达式为:γ(x,y)=α
a
(x,y) α
b
(x,y)其中,γ(x,y)为增强血管图像,α
a
(x,y)为增强基础层,α
b
(x,y)为增强细节层。6.一种基于红外与可见光图像融合的血管图像增强系统,其特征在于,包括:采集模块:通过近红外采集装置获得当前皮肤位置的血管近红外图像,并进行图像预处理;通过双目相机装置拍摄当前相同皮肤位置的血管可见光图像,并进行图像预处理;处理模块:对所得的血管近红外图像和血管可见光图像通过滤波算法进行分解,得到血管近红外图像的基础层和细节层,以及血管可见光图的基础层和细节层;对所有基础层采用平均策略进行融合得到增强基础层,对所有细节层采用加权平均策略进行融合得到增强细节层;输出模块:通过叠加法将增强基础层和增强细节层进行融合得到增强血管图像。7.根据权利要求1所述的一种基于红外与可见光图像融合的血管图像增强系统,其特征在于,所述处理模块:对所得的血管近红外图像和血管可见光图像通过均值滤波器进行过滤,得到均值滤波图像α
u1
(x,y)和α
u2
(x,y);对所得的血管近红外图像和血管可见光图像通过中值滤波器进行过滤,得到中值滤波图像α
η1
(x,y)和α
η2
(x,y);使用均值滤波图像减去中值滤波图像,并取绝对值,得到中间矩阵β1(x,y)和β1(x,y),其表达式为:β1(x,y)=|α
u1
(x,y)

α
η1
(x,y)|β2(x,y)=|α
u2
(x,y)

α
η2
(x,y)|根据这两个中间矩阵得到细节层的加权系数矩阵:根据这两个中间矩阵得到细节层的加权系数矩阵:其中,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。8.根据权利要求1所述的一种基于红外与可见光图像融合的血管图像增强系统,其特征在于,所述处理模块中,平均策略的计算表达式为:其中,α
a
(x,y)为增强基础层,为血管近红外图像的基础层,为血管可见光图像的基础层。9.根据权利要求1所述的一种基于红外与可见光图像融合的血管图像增强系统,其特征在于,所述处理模块中,加权平均策略的计算表达式为:其中,α
b
(x,y)为增强细节层,为血管近红外图像的细节层,为血管可
见光图像的细节层,ψ1(x,y)为血管近红外图像的加权系数,ψ2(x,y)为血管可见光图像的加权系数。10.根据权利要求1所述的一种基于红外与可见光图像融合的血管图像增强系统,其特征在于,所述处理模块中,叠加法的计算表达式为:γ(x,y)=α
a
(x,y) α
b
(x,y)其中,γ(x,y)为增强血管图像,α
a
(x,y)为增强基础层,α
b
(x,y)为增强细节层。
技术总结
本发明涉及一种基于红外与可见光图像融合的血管图像增强方法和系统,方法包括以下步骤:通过近红外采集装置获得当前皮肤位置的血管近红外图像;通过双目相机装置拍摄当前相同皮肤位置的血管可见光图像;对所得的血管近红外图像和血管可见光图像通过滤波算法进行分解,得到血管近红外图像的基础层和细节层,以及血管可见光图的基础层和细节层;对所有基础层采用平均策略进行融合得到增强基础层,对所有细节层采用加权平均策略进行融合得到增强细节层;通过叠加法将增强基础层和增强细节层进行融合得到增强血管图像。与现有技术相比,本发明具有融合可见光图像中血管细节纹理图和近红外成像技术中血管分布图使得血管医学成像更加清晰的优点。成像更加清晰的优点。成像更加清晰的优点。


技术研发人员:齐鹏 刘琪 葛坦谛
受保护的技术使用者:同济大学
技术研发日:2021.03.10
技术公布日:2021/7/15

转载请注明原文地址:https://doc.8miu.com/read-650000.html

最新回复(0)