基于多尺度变换的不同波段偏振角图像融合方法与流程

1.本发明涉及图像检测技术领域，尤其涉及一种基于多尺度变换的不同波段偏振角图像融合方法、目标检测方法、计算机设备及计算机可读存储介质。


背景技术：

2.偏振角图像主要通过目标的轮廓、边缘等细节特征来提高目标探测能力，但其能够提供的信息较为有限，特别是对于复杂场景，环境辐射可能影响探测器准确获取目标场景偏振角图像，进而影响到目标检测效果。
3.因此，针对以上不足，需要提供一种能够提高目标场景偏振角图像准确性的技术方案。


技术实现要素：

4.本发明的目的是针对上述至少一部分不足之处，提供一种提高目标及场景的偏振角图像准确性的偏振角图像融合方法。
5.为了实现上述目的，本发明提供了一种基于多尺度变换的不同波段偏振角图像融合方法，包括：
6.获取至少两组探测波长属于不同波段的图像组；其中，每组图像组包括探测波长相同，视场相同，探测器镜头前偏振线栅方向分别为0
°
、45
°
、90
°
和135
°
所采集的辐射强度图像；
7.对图像组进行配准，获得配准后的目标场景图像组；
8.基于配准后的目标场景图像组，分别计算不同探测波长对应的偏振角图像；
9.基于多尺度变换，对不同探测波长对应的偏振角图像进行融合，得到融合后的偏振角图像。
10.可选地，所述对图像组进行配准，获得配准后的目标场景图像组，包括：
11.比较各组探测波长不同的图像组的分辨率，以分辨率最高的图像组为基准，对其余的图像组进行插值处理，提高分辨率；
12.采用基于特征的配准方法提取不变特征，基于提取的不变特征完成图像之间的配准，获得配准后的目标场景图像组。
13.可选地，所述获取至少两组探测波长属于不同波段的图像组，包括：
14.至少获取一组探测波长属于中波波段的图像组与一组探测波长属于长波波段的图像组。
15.可选地，所述基于配准后的目标场景图像组，分别计算不同探测波长对应的偏振角图像，包括：
16.基于每一组配准后的目标场景图像组，分别计算对应的stokes参量，表达式为：
[0017][0018]
其中，s0、s1、s2和s3为stokes参量s的分量，{i
θ
，θ＝0
°
，45
°
，90
°
，135
°
}表示一组目标场景图像组，i
rcp
和i
lcp
分别表示右旋圆偏振辐射强度图像和左旋圆偏振辐射强度图像；
[0019]
基于stokes参量s，计算对应的偏振角图像α，表达式为：
[0020][0021]
可选地，所述基于多尺度变换，对不同探测波长对应的偏振角图像进行融合，得到融合后的偏振角图像，包括：
[0022]
基于图像的金字塔分解结构进行多尺度变换，将探测波长不同的偏振角图像分解为不同分辨率的子带图像；
[0023]
将探测波长不同的子带图像分别进行融合，得到不同分辨率的融合子带图像；
[0024]
基于不同分辨率的融合子带图像，最终合成得到融合后的偏振角图像。
[0025]
可选地，图像的金字塔分解结构采用高斯金字塔或拉普拉斯金字塔。
[0026]
可选地，若图像的金字塔分解结构采用拉普拉斯金字塔，将探测波长不同的子带图像分别进行融合时，采用邻域匹配的融合策略。
[0027]
本发明还提供了一种目标检测方法，包括：
[0028]
采用如上述任一项所述基于多尺度变换的不同波段偏振角图像融合方法获得偏振角图像；
[0029]
基于获得的偏振角图像，进行目标检测。
[0030]
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述基于多尺度变换的不同波段偏振角图像融合方法的步骤。
[0031]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述基于多尺度变换的不同波段偏振角图像融合方法的步骤。
[0032]
本发明的上述技术方案具有如下优点：本发明提供了一种基于多尺度变换的不同波段偏振角图像融合方法、目标检测方法、计算机设备及计算机可读存储介质，本发明的偏振角图像融合方法考虑到了复杂场景下的环境辐射对目标场景偏振角的影响，将探测波长属于不同波段的偏振角图像进行融合，增强目标轮廓边缘特征，进一步凸显目标轮廓、边缘等特征的相位信息，可为目标探测识别提供技术支持。
附图说明
[0033]
图1是本发明实施例中一种基于多尺度变换的不同波段偏振角图像融合方法步骤示意图；
[0034]
图2(a)示出了探测波长属于中波波段的偏振角图像；
[0035]
图2(b)示出了探测波长属于长波波段的偏振角图像；
[0036]
图3示出了本发明实施例中利用基于多尺度变换的不同波段偏振角图像融合方法得到的偏振角图像。
具体实施方式
[0037]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
如前所述，偏振角图像主要通过目标的轮廓、边缘等细节特征来提高目标探测能力。根据现有技术中对偏振角特征的理论分析，当图像中的目标及场景的表面满足平滑条件时，目标及场景的偏振角特征与获取图像的探测波长不相关，但是在实际情况下，目标及场景的表面并不能总是满足平滑条件，特别在复杂场景中进行目标探测识别时，目标表面的起伏、凹凸特征以及场景的复杂性，都会影响目标及场景的偏振角特征，即，在不同探测波长条件下，实际得到的、相同目标及场景的偏振角图像存在差异。因此，本发明提出了通过融合不同探测波长对应的偏振角图像，来提高识别目标场景偏振角特征的准确性，进而提高复杂场景下目标探测识别的准确度和有效性。
[0039]
如图1所示，本发明实施例提供的一种基于多尺度变换的不同波段偏振角图像融合方法，包括：
[0040]
步骤100、获取至少两组探测波长分属于不同波段的、用于求解偏振角的图像组；其中，每组用于求解偏振角的图像组包括探测波长相同，视场相同，而探测器镜头前偏振线栅(也称偏振片)方向分别为0
°
、45
°
、90
°
和135
°
的辐射强度图像。即，一组图像组包括4幅辐射强度图像，分别对应探测器镜头前偏振线栅的偏振方向为0
°
、45
°
、90
°
和135
°
的情况。
[0041]
本发明的方法通过不同探测波长的辐射强度图像，获取存在差异的偏振信息，若探测波长过于接近，偏振信息差异很小，则融合后提高的准确度非常有限。令不同的图像组的探测波长属于不同波段，例如第一个图像组的4幅辐射强度图像的探测波长均为λ1，属于第一个波段，第二个图像组的4幅辐射强度图像的探测波长均为λ2，属于第二个波段，第三个图像组的4幅辐射强度图像的探测波长均为λ3，属于第三个波段，以此类推，既能获得不同探测波长的偏振信息，又能够确保不同图像组的偏振信息存在一定差异。
[0042]
优选地，步骤100中，可通过不同波段偏振成像试验获得所需的图像组，对于同一探测波长，通过旋转调节探测器镜头前偏振线栅方向为0
°
、45
°
、90
°
和135
°
，即可获得相应的4幅图像。
[0043]
步骤102、对获取的各组图像组进行配准，获得分别对应不同探测波长的、配准后的目标场景图像组；
[0044]
其中，每组配准后的目标场景图像组包括探测波长相同，视场相同，而探测器镜头前偏振线栅方向分别为0
°
、45
°
、90
°
和135
°
的辐射强度图像，即一组目标场景图像组包括4幅(配准后的)辐射强度图像。配准后，所有的辐射强度图像均包含相同的目标及场景。对图像进行配准，能够消除探测波长不同的辐射强度图像之间由目标偏移、视角偏移等因素造成的差异信息。
[0045]
步骤104、基于各组配准后的目标场景图像组，分别计算不同探测波长对应的偏振角图像，得到至少两幅探测波长分属于不同波段的偏振角图像。
[0046]
此步骤104旨在通过计算获得相应的偏振角图像，以确定该探测波长下得到的偏振角特征。
[0047]
步骤106、基于多尺度变换，对不同探测波长对应的偏振角图像进行融合，得到融合后的偏振角图像。
[0048]
本发明的技术方案获取不同探测波长条件下相应的图像组，通过计算得到不同探测波长对应的偏振角图像，再对所得的偏振角图像进行融合，利用相同目标及场景下、探测波长不同的偏振角特征融合，获得更多的、更准确的偏振信息，从而提高目标场景偏振角图像的准确性。
[0049]
在一些可选的实施方式中，步骤100中，获取至少两组探测波长属于不同波段的图像组，包括：
[0050]
至少获取一组探测波长属于中波波段的图像组与一组探测波长属于长波波段的图像组。
[0051]
探测波长属于中波波段、长波波段都可获得红外辐射图像(即辐射强度图像)，融合这两个波段的偏振角图像，能够用于分析目标及场景的红外偏振特征，更贴合实际的应用需求。
[0052]
当探测波长分属于不同波段，在偏振成像试验时，若使用的探测器视场不同(例如在长波波段所采用的探测器与在中波波段所采用的探测器为不同的设备，即使拍摄同一片区域，设备的视场也会存在一定差异)，会导致探测波长不同的图像组之间，辐射强度图像的分辨率不同。在一些可选的实施方式中，步骤102包括：
[0053]
比较各组探测波长不同的图像组的分辨率，以分辨率最高的图像组为基准，对其余的图像组进行插值处理，提高分辨率；
[0054]
采用基于特征的配准方法，对来自不同图像组的、探测器镜头前偏振线栅方向相同的多幅图像(至少两幅图像)提取不变特征，不变特征对旋转、比例、平移和照度等保持不变；基于提取的不变特征，完成不同探测波长的多幅图像之间的配准，获得配准后的目标场景图像组。配准后，所有辐射强度图像包含相同的目标及场景，且尺寸、分辨率相同。具体的基于特征的配准方法步骤可参考现有技术，在此不再进一步赘述。
[0055]
偏振信息可凸显目标边缘轮廓特征，是非线性的，若直接对计算得出的偏振信息进行差值匹配，会导致在计算过程中引入偏振信息误差，使融合得出的偏振角图像不能有效反映目标表面的偏振角特征。考虑到不同探测波长的图像组实际上对应着同样的目标及场景表面辐射，该实施方式中，通过对分辨率偏低的图像组中的辐射强度图像进行插值处理，消除不同图像组之间的分辨率差异，且不会引入偏振信息误差，能够尽可能保留不同探测波长条件下得到的偏振信息，以获得准确度更高的偏振角图像。
[0056]
进一步地，对图像组进行插值处理时，可采用最邻近插值、双线性插值、双立方插值等方法，以改善低分辨率的辐射强度图像。
[0057]
在一些可选的实施方式中，步骤104进一步包括：
[0058]
基于每一组配准后的目标场景图像组，分别计算对应的stokes参量，表达式为：
[0059][0060]
其中，s0、s1、s2和s3均为stokes参量s的分量，{i
θ
，θ＝0
°
，45
°
，90
°
，135
°
}表示一组探测波长相同的、配准后的目标场景图像组，{i
θ
，θ＝0
°
，45
°
，90
°
，135
°
}包括4幅辐射强度图像，i
rcp
和i
lcp
分别表示右旋圆偏振图像和左旋圆偏振图像；
[0061]
基于stokes参量s，计算对应的偏振角图像α，表达式为：
[0062][0063]
通过上述方式对探测波长不同的目标场景图像组分别进行计算，即可得到探测波长不同的偏振角图像。
[0064]
在一些可选的实施方式中，步骤106进一步包括：
[0065]
基于图像的金字塔分解结构进行多尺度变换，将探测波长不同的偏振角图像分解为不同分辨率的子带图像；
[0066]
将探测波长不同的子带图像分别进行融合，得到不同分辨率的融合子带图像；
[0067]
基于不同分辨率的融合子带图像，最终合成得到融合后的偏振角图像。
[0068]
多尺度变换通过大尺度空间观察事物概貌特征，小尺度空间观察事物的细节特征，其分析和处理过程符合人眼由粗到细观察事物的视觉特性。参考现有技术，多尺度变换有多种分解结构可选。
[0069]
进一步地，步骤106中，图像的金字塔分解结构可采用高斯金字塔或拉普拉斯金字塔，本发明优选采用拉普拉斯金字塔。
[0070]
高斯金字塔是最基本的图像塔，在高斯金字塔的运算过程中，图像经过卷积和下采样操作会丢失部分高频细节信息。而拉普拉斯金字塔通过对比高斯金字塔g0，g1，...，g
n
相邻两层间的差异，将高斯金字塔中第k 1层图像g
k 1
的行列进行插值膨胀，得到新的图像e
k
，再计算g
k
与e
k
的差，得到新的图像lp
k
，lp
k
包含第k层高斯金字塔的高频空间细节。拉普拉斯金字塔lp0，lp1，...，lp
n
(lp
n
＝g
n
)通过上述方式得到表示不同分辨率下显著信息的带通子带图像，从而保留了高频细节信息，能够在多尺度变换融合过程中更加完整有效地融合偏振信息。
[0071]
更进一步地，步骤106中，若图像的金字塔分解结构采用拉普拉斯金字塔，将探测波长不同的子带图像分别进行融合时，采用邻域匹配的融合策略。
[0072]
根据金字塔分解结构多分辨率分解的特点，融合策略主要分为带通子带、高通子带的融合与低通子带的融合。在基于金字塔分解结构的灰度级融合中，为获得尽可能多的信息，通常在高通子带图像和带通子带图像中选取绝对值最大的系数作为合成图像的系数，即“选取最大值”策略，低通子带则使用线性加权的方法进行融合。这种方式通常可以提供较好的融合效果，但不适用于具有相近显著性、而灰度变化相反的图像。为了提高融合策略的通用性，本发明在多分辨率分解下采用基于邻域匹配的融合策略，以解决“选取最大值”策略带来的问题。
[0073]
设i(m，n)为高通或带通子带图像的系数，定义邻域(2m' 1)
×
(2n' 1)内的局部能量s(m,n)为：
[0074][0075]
其中，(m,n)为子带图像坐标位置，m'∈{
‑
m',
‑
m' 1,...,m'
‑
1,m'}，n'∈{
‑
n',
‑
n' 1,...,n'
‑
1，n'}，m'、n'分别为定义邻域窗口选取值。局部能量s(m,n)是邻域窗口中子带图像的系数的平方和，s(m，n)越大，表示原图像对应位置的灰度变化越明显，显著性也越高。在邻域窗口内计算局部能量，与“选取最大值”策略相比，是局域与单点的区别，因此局部能量对图像的显著性表示效果要比单点更加突出。同时，采用邻域匹配的融合策略还在一定程度上削弱了噪声的影响，也降低了因局域灰度变化相反又存在纹理特征时对融合系数选择造成的干扰，因此，采用邻域匹配的融合策略比“选取最大值”策略更为稳定。
[0076]
请参阅图2(a)至图3，本发明还针对某目标及场景进行了试验，将本发明提出的不同波段偏振角图像融合方法(简称本发明方法)与现有技术进行对比。图2(a)示出了根据现有技术由图像组直接计算得到的、探测波长属于中波波段的偏振角图像，图2(b)示出了根据现有技术由图像组直接计算得到的、探测波长属于长波波段的偏振角图像。如图2(a)至图3所示，本发明方法得到的(红外)偏振角图像的边缘细节比较丰富，整体较清晰，目标的边缘轮廓信息等细节都比较分明，有利于场景的感知与目标的识别。具体数据如下表1所示，较中波、长波波段的偏振角图像，本发明方法得到的偏振角图像(图像的金字塔分解结构采用拉普拉斯金字塔)的均值μ、方差μ均有较大提升，信息熵e也有明显提升。
[0077]
表1现有技术及本发明方法得到的偏振角图像数据
[0078][0079]
特别地，本发明还提供了一种目标检测方法，包括：
[0080]
采用如上述任一项所述基于多尺度变换的不同波段偏振角图像融合方法获得偏振角图像；
[0081]
基于获得的偏振角图像，进行目标检测。
[0082]
通过上述任一项所述基于多尺度变换的不同波段偏振角图像融合方法，能够获得偏振信息更为准确、丰富的偏振角图像，进而提高目标检测的效率与准确性。
[0083]
特别地，在本发明一些优选的实施方式中，还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式中所述基于多尺度变换的不同波段偏振角图像融合方法的步骤。
[0084]
在本发明另一些优选的实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施方式中所述基于多尺度变换的不同波段偏振角图像融合方法的步骤。
[0085]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以
通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述基于多尺度变换的不同波段偏振角图像融合方法实施例的流程，在此不再重复说明。
[0086]
综上所述，本发明提供了一种基于多尺度变换的不同波段偏振角图像融合方法、目标检测方法、计算机设备及计算机可读存储介质，本发明通过多尺度变换融合不同波段偏振角特征，增加反映目标及场景的相位信息，能够提高目标场景偏振角图像准确性，以提高复杂场景下目标探测识别的准确度和有效性，且填补了现有技术未见不同波段偏振信息统合方法的空白。
[0087]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。