一种基于改进NSCT变换的汽车抗晕光方法与流程

一种基于改进nsct变换的汽车抗晕光方法
技术领域
1.本发明属于红外与可见光图像融合技术领域，涉及一种基于改进非下采样轮廓波变换(non
‑
subsampled contourlet transform，nsct)的汽车抗晕光方法。


背景技术：

2.随着信息科技与多传感器技术的发展，基于红外与可见光图像的融合技术已经广泛用于医学、军事、交通等领域。鲜少见应用在夜间交通辅助驾驶以及交通违法监控抓拍上。随着我国居民汽车保有量的普及，所造成的交通事故也日益频发，其中有一半的交通事故是发生在夜间，而在这一半的交通事故中，有大约30％左右事故是由于汽车前大灯的不合理使用所造成。尤其是在夜晚无隔离带的道路上会车时，强烈的远光灯会使对方驾驶员产生瞬间致盲，也就是晕光现象，而这种致盲时间最快也会持续2s左右，在这2s左右的致盲时间内，驾驶员正常的视觉能力会完全丧失，由此会产生严重的交通安全隐患。另外一种情况是在夜晚行车过程中容易发生一些交通违章违法现象，由于汽车前大灯的灯光作用，或导致一些监控抓拍瞬间致盲，看不清楚车的外观特征以及车牌号等信息，造成一些交通违法违章证据不足。基于以上这两种情况，目前有必要进行汽车抗晕光方法研究。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种基于改进nsct变换的汽车抗晕光方法，解决目前传统红外与可见光图像融合方法在消除汽车晕光的同时，导致图像纹理细节信息丢失，车辆人物目标信息模糊的问题。该方法不仅能够自适应判断图像晕光信息以及背景信息的灰度差值，从而有效消除晕光；还能够在消除图像汽车晕光后保持图像纹理细节信息基本不受影响。
4.为达到上述目的，本发明提供如下技术方案：
5.一种基于改进nsct变换的汽车抗晕光方法，具体包括以下步骤：
6.s1：获取含有汽车晕光的红外与可见光图像；
7.s2：利用nsct变换将步骤s1获取的红外与可见光汽车晕光图像分别进行多尺度和多方向分解，分别分解为红外低频子带与高频子带图像，可见光低频子带与高频子带图像；
8.s3：采用改进的低频融合策略来融合分解后的红外低频子带与可见光低频子带图像；采用改进的高频融合策略来融合红外高频子带与可见光高频子带图像；
9.s4：将步骤s3中融合后的低频子带图像与高频子带图像进行nsct逆变换得到融合后的图像。
10.进一步，步骤s1中，获取含有汽车晕光的红外与可见光图像的方法之一是：采用车载红外与可见光双目摄像头，对不同程度晕光行车场景进行图像采集，包括严重晕光情况下的行车数据集与轻微晕光情况下的行车数据集，在该情况下获取的数据集，在图像融合前要进行严格图像配准。
11.进一步，步骤s1中，获取含有汽车晕光的红外与可见光图像的方法之二是：采用网
络上已严格配准好的红外与可见光汽车晕光数据集，所采用的数据集要至少包含严重晕光的行车场景以及轻微晕光的行车场景。
12.进一步，步骤s3中，对于分解的汽车晕光红外与可见光低频子带图像，采用区域方差自适应加权的融合策略，具体包括：对分解后的低频分量进行一个3
×
3邻域划分，其低频分量区域方差为：
[0013][0014]
其中，m
×
n为邻域划分大小，为低频子带系数，x＝vori，i为红外图像，v表示可见光图像，x、y表示x方向和y方向上的像素点，m、n表示对应x方向和y方向添加的像素值。
[0015]
则低频子带融合系数为：
[0016][0017]
其中，表示红外图像低频子带区域方差，表示可见光低频子带区域方差，表示分解的红外低频子带系数，表示分解的可见光低频子带系数，表示融合后的低频子带系数，α,β为自适应调节因子；当时，α＝1，当时，β＝1。
[0018]
进一步，步骤s3中，对于分解的汽车晕光红外与可见光高频子带图像，采用基于像素点绝对值选大与平均梯度取大相结合的融合策略，具体包括：对于分解尺度j≥4的高层高频子带系数采用像素点绝对值选大的融合策略，其高频子带融合系数为：
[0019][0020]
其中，为融合后高频子带系数，分别为分解后的红外高频子带系数与可见光高频子带系数；
[0021]
对于分解尺度j<4的低层高频子带系数采用区域平均梯度取大的融合策略，其区域平均梯度为：
[0022][0023]
其中，x＝i or v，i和v分别表示红外图像与可见光图像，表示红外或可见光图像在x，y方向上的增量；
[0024]
则高频子带融合系数为：
[0025][0026]
本发明的有益效果在于：本发明为了能够自适应判断图像晕光区域与背景区域灰度差值，在低频融合策略方面引入表示图像灰度值分散程度的方差，采用区域方差自适应加权的融合策略。为了在消除汽车晕光的同时有效保持图像纹理细节信息不受影响，在高频融合策略方面采用基于像素点绝对值取大与平均梯度选大相结合的融合策略，不仅能够最大程度保留图像中细节信息，而且还能够有效消除对清晰度的影响。本发明相对于传统的nsct变换图像融合方法能够更加有效消除汽车晕光与保留图像纹理细节信息，为夜间安全行车提供了有力保障。
[0027]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0028]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0029]
图1为汽车抗晕光的总技术方案图；
[0030]
图2为本发明基于改进nsct变换的汽车抗晕光流程图；
[0031]
图3为nsct分解结构图。
具体实施方式
[0032]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0033]
请参阅图1～3，图1所示为红外与可见光图像融合的汽车抗晕光总技术方案图，包括以下步骤：
[0034]
步骤1：首先进行汽车晕光数据集的获取，具体有以下两种方式：
[0035]
方式(1)：可采用车载红外与可见光双目摄像头，对不同程度晕光行车场景进行实际图像采集，包括严重晕光情况下的行车晕光数据集与轻微晕光情况下的行车晕光数据集，在该情况下获取的数据集，在图像融合前要进行相应的图像预处理(包括图像配准、图像增强、图像去噪)，其中最重要的是图像配准，如果两幅图像没有进行严格配准，就无法进行图像融合步骤；
[0036]
方式(2)：可采用网络上已严格配准好的红外与可见光汽车晕光数据集，所采用的数据集要至少包含严重晕光的行车场景以及轻微晕光的行车场景，该方式下获取的汽车晕
光数据集，可以视数据集对比度，噪声程度等情况进行相应图像预处理。
[0037]
步骤2：对获取到的红外与可见光汽车晕光数据集进行nsct分解，如图3所示，分别分解为红外低频子带与高频子带图像、可见光低频子带与高频子带图像。
[0038]
步骤3：采用改进的低频融合策略来融合分解后的红外低频子带与可见光低频子带图像，采用改进的高频融合策略来融合红外高频子带与可见光高频子带图像。
[0039]
对于分解的汽车晕光红外与可见光低频子带图像采用区域方差自适应加权的融合策略，对于分解的高频子带图像采用基于像素点绝对值选大与平均梯度选大相结合的融合策略，具体如下：
[0040]
(1)低频融合策略：
[0041]
首先对分解后的低频分量进行一个3
×
3邻域划分，其低频分量区域方差为：
[0042][0043]
式中，m
×
n为邻域划分大小，为低频子带系数，x＝vori，i为红外图像，v为可见光图像，x、y表示x方向和y方向上的像素点，m、n表示对应x方向和y方向添加的像素值。
[0044]
则低频融合子带系数为：
[0045][0046]
式中，表示红外图像低频子带区域方差，表示可见光低频子带区域方差，表示分解的红外低频子带系数，表示分解的可见光低频子带系数，表示融合后的低频子带系数。当时，α＝1，当时，β＝1；α,β为自适应调节因子。
[0047]
(2)高频融合策略：
[0048]
对于分解尺度j≥4的高层高频子带系数采用像素点绝对值选大的融合策略，其高频子带融合系数为：
[0049][0050]
式中，为融合后高频子带系数，分别为分解后的红外高频子带系数与可见光高频子带系数；
[0051]
对于分解尺度j＜4的低层高频子带系数采用区域平均梯度取大的融合策略：
[0052]
其区域平均梯度为：
[0053][0054]
式中，x＝i or v，i和v分别表示红外图像与可见光图像，表示红外或可见光图像在x，y方向上的增量；
[0055]
其高频子带融合系数为：
[0056][0057]
步骤4：将融合后的低频子带图像与高频子带图像进行nsct逆变换，得到融合后汽车晕光相对减少的图像；具体是：将融合后的红外与可见光汽车晕光图像低频与高频子带系数进行nsct逆变换，得到融合后消除汽车晕光的图像。
[0058]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种基于改进nsct变换的汽车抗晕光方法，其特征在于，该方法具体包括以下步骤：s1：获取含有汽车晕光的红外与可见光图像；s2：利用nsct变换将步骤s1获取的红外与可见光汽车晕光图像分别进行多尺度和多方向分解，分别分解为红外低频子带与高频子带图像，可见光低频子带与高频子带图像；s3：采用改进的低频融合策略来融合分解后的红外低频子带与可见光低频子带图像；采用改进的高频融合策略来融合红外高频子带与可见光高频子带图像；s4：将步骤s3中融合后的低频子带图像与高频子带图像进行nsct逆变换得到融合后的图像。2.根据权利要求1所述的汽车抗晕光方法，其特征在于，步骤s1中，获取含有汽车晕光的红外与可见光图像的方法是：采用车载红外与可见光双目摄像头，对不同程度晕光行车场景进行图像采集，包括严重晕光情况下的行车数据集与轻微晕光情况下的行车数据集。3.根据权利要求1所述的汽车抗晕光方法，其特征在于，步骤s1中，获取含有汽车晕光的红外与可见光图像的方法是：采用网络上已严格配准好的红外与可见光汽车晕光数据集，所采用的数据集包含严重晕光的行车场景以及轻微晕光的行车场景。4.根据权利要求1所述的汽车抗晕光方法，其特征在于，步骤s3中，对于分解的汽车晕光红外与可见光低频子带图像，采用区域方差自适应加权的融合策略，具体包括：对分解后的低频分量进行邻域划分，其低频分量区域方差为：其中，m
×
n为邻域划分大小，为低频子带系数，x＝vori，i为红外图像，v表示可见光图像，(x、y)表示x方向和y方向上的像素点，m、n表示对应x方向和y方向添加的像素值；则低频子带融合系数为：其中，表示红外图像低频子带区域方差，表示可见光低频子带区域方差，表示分解的红外低频子带系数，表示分解的可见光低频子带系数，表示融合后的低频子带系数，α,β为自适应调节因子；当时，α＝1，当时，β＝1。5.根据权利要求1所述的汽车抗晕光方法，其特征在于，步骤s3中，对于分解的汽车晕光红外与可见光高频子带图像，采用基于像素点绝对值选大与平均梯度取大相结合的融合策略，具体包括：对于分解尺度j≥4的高层高频子带系数采用像素点绝对值选大的融合策略，其高频子带融合系数为：
其中，为融合后高频子带系数，分别为分解后的红外高频子带系数与可见光高频子带系数；对于分解尺度j<4的低层高频子带系数采用区域平均梯度取大的融合策略，其区域平均梯度为：其中，x＝i or v，i和v分别表示红外图像与可见光图像，表示红外或可见光图像在x，y方向上的增量，m
×
n为邻域划分大小；则高频子带融合系数为：
技术总结
本发明涉及一种基于改进NSCT变换的汽车抗晕光方法，属于红外与可见光图像融合技术领域。该方法首先采用NSCT变换将已配准好的图像进行多尺度，多方向分解为高、低频分量；对于低频分量，采用基于区域方差自适应加权的融合方式；对于高频分量，采用平均梯度取大与像素点绝对值选大相结合的融合策略。本发明不仅能够有效消除图像中汽车晕光，而且在消除晕光后还能够保持图像纹理细节信息基本不受影响，为夜间安全行车提供了有力保障。间安全行车提供了有力保障。间安全行车提供了有力保障。


技术研发人员：罗萍 张晓晓 常峥 杨波
受保护的技术使用者：重庆邮电大学
技术研发日：2021.03.26
技术公布日：2021/6/29