本发明属于图像处理方法，具体涉及基于边缘增强的卷积神经网络图像去雾方法。
背景技术：
1、图像去雾是指从一个雾气图像中去除雾气获取干净图像的过程。作为计算机视觉领域中的基本问题，图像去雾可以提高后续图像处理任务的准确性，比如目标检测，视频监控等。
2、目前，国内外对于图像去雾的方法有两种，一种是传统的图像去雾方法，另一种是基于深度学习的图像去雾方法。其中，基于深度学习的图像去雾方法利用卷积神经网络，对雾气图像进行去雾。虽然现有的基于深度学习的图像去雾方法已经取得了成功，但是它们没有对高频方向子带专门进行边缘增强处理，从而导致图像边缘细节信息丢失继而影响去雾效果。
技术实现思路
1、本发明的目的是提供基于边缘增强的卷积神经网络图像去雾方法，该方法解决了现有技术中丢失图像边缘细节信息继而影响去雾效果的问题。
2、本发明所采用的技术方案是，基于边缘增强的卷积神经网络图像去雾方法，具体如下：
3、步骤1，对数据集进行预处理：从数据集中选取n张图像作为训练样本，对样本进行处理得到一个低频子带和八个高频方向子带；
4、步骤2，构建基于残差密集块和注意力机制的去雾网络(dehazing network basedon residual dense blocks and attention mechanism,rdadn)，将步骤1得到的低频子带输入到rdadn网络中进行训练学习，获得干净的低频子带；
5、步骤3，对步骤1得到的每个高频方向子带系数进行分类，对边缘细节系数进行保留或放大处理，对噪声系数抑制处理；
6、步骤4，将步骤2获得的干净的低频子带和步骤3获得的边缘系数被增强及噪声系数被抑制的方向子带进行nsct逆变换，得到新的y分量，然后，将yuv格式的图像变换为rgb格式，得到去雾后边缘细节清晰的干净图像。
7、本发明的特征还在于：
8、步骤1具体如下：
9、步骤1.1，从数据集中选取n张图像作为训练样本，将样本裁剪为400×400×3大小，并转换为yuv格式的图像；
10、步骤1.2，对每张图像的y分量(亮度分量)进行非下采样轮廓波变换(nonsubsampled contourlet transform,nsct)一级分解，得到它的低频子带il(x)和八个高频方向子带，所得低频子带il(x)的大小为400×400×1；其中，低频子带il(x)包含图像的轮廓以及雾气信息，而高频方向子带包含图像边缘细节信息及噪声信息；
11、步骤1中，所用数据集为真实的含雾图像(来源于realistic single imagedehazing,reside)。
12、步骤2具体为：
13、步骤2.1，构建带有残差密集块的去雾网络即rdadn网络(dehazing networkbased on residual dense blocks and attention mechanism,rdadn)，该网络对步骤1得到的低频子带il(x)进行雾气密度图像学习；如图2所示，rdadn网络包括编码模块、多尺度特征提取模块、特征融合模块和解码模块；
14、其中，rdadn网络的编码模块由两个卷积层即conv1及conv2组成，conv1的卷积核大小为3×3，个数为64，步长为1，填充为1；conv2的卷积核大小为3×3，个数为64，步长为2；
15、多尺度特征提取模块包含四组不同扩张率的特征提取块(feature extractionblock,feb)，分别记为feb1，feb2，feb3，feb4，且它们内部扩张卷积层的扩张率依次为1，2，3，4；如图3所示，每个feb块均包含一个残差扩张卷积块即rdcb块(residual dilatedconvolutional block,rdcb)，两个残差密集块即rdb块(residual dense block，rdb)以及跳跃连接；其中，如图4所示，rdcb块的结构依次为：两个组合层，一个跳跃连接，每个组合层由扩张卷积层(dilated convolution，dconv)、批归一化层(bn)及relu激活层组成，扩张卷积层的卷积核大小为3×3，个数为64，步长为1；如图5所示，rdb块的结构依次为：四个密集层，一个卷积层以及一个跳跃连接，每个密集层是由conv(卷积核大小为3×3，个数为32，步长为1)，bn，relu组成；在经过四个密集层之后，接下来这个卷积层所使用的卷积核大小为1×1，个数为64，步长为1；
16、特征融合模块包含一个拼接层(concatenate，concat)，一个卷积层conv3和一个通道注意力层；其中，concat操作将feb1，feb2，feb3，feb4块输出的特征进行维度上的叠加；conv3的卷积核大小为1×1，个数为128，步长为1；如图6所示，通道注意力机制层(channel attention mechanism，cam)的结构依次为：一个全局平均池化层(globalaveragepooling,gap)，一个卷积层(卷积核大小为1×1，个数为64，步长为1)，一个relu激活层，一个卷积层(卷积核大小为1×1，个数为128，步长为1)，一个sigmoid激活函数，一个按元素相乘层；
17、解码模块与编码模块对称，解码模块包含一个反卷积层(deconvolution，deconv)和一个卷积层conv4；其中deconv的卷积核大小为4×4，个数为64步长为2；conv4的卷积核大小1×1，个数为1，步长为1；
18、步骤2.2，首先将步骤1中400×400×1大小的低频子带il(x)输入到rdadn网络，通过编码模块进行两次卷积操作后，得到大小为200×200×64特征图f0(x)；
19、步骤2.3，将步骤2.2得到的特征图f0(x)输入到多尺度特征提取模块中的feb1块，先通过feb1块中的rdcb块(扩张卷积的扩张率为1)提取雾气特征，为了进一步提取当前尺度的特征，将通过rdcb块得到的特征输入到后续的两个rdb中，尽可能保证当前尺度特征的完整性，得到大小200×200×64的特征图f1(x)；
20、步骤2.4，将步骤2.3得到的特征图f1(x)输入到多尺度特征提取模块中的feb2块，先通过feb2块中的rdcb块(扩张卷积的扩张率为2)提取雾气特征，为了进一步提取当前尺度的特征，将通过rdcb块得到的特征输入到后续的两个rdb中，尽可能保证当前尺度特征的完整性，得到大小200×200×64的特征图f2(x)；
21、步骤2.5，将步骤2.4得到的特征图f2(x)输入到多尺度特征提取模块中的feb3块，先通过feb3块中的rdcb块(扩张卷积的扩张率为3)提取雾气特征，为了进一步提取当前尺度的特征，将通过rdcb块得到的特征输入到后续的两个rdb中，尽可能保证当前尺度特征的完整性，得到大小200×200×64的特征图f3(x)；
22、步骤2.6，将步骤2.5得到的特征图f3(x)输入到多尺度特征提取模块中的feb4块，先通过feb4块中的rdcb块(扩张卷积的扩张率为4)提取雾气特征，为了进一步提取当前尺度的特征，将通过rdcb块得到的特征输入到后续的两个rdb中，尽可能保证当前尺度特征的完整性，得到大小200×200×64的特征图f4(x)；
23、步骤2.7，由于步骤2.4～2.6中每个feb的扩张率不同，f1(x)，f2(x)，f3(x)，f4(x)都是不同尺度下的特征，为了将多尺度特征进行有效融合，首先通过特征融合模块中的concat操作将不同尺度的特征f1(x)，f2(x)，f3(x)，f4(x)堆叠，得到大小200×200×256的特征图fcat(x)，再使用一个卷积核大小为1×1的卷积层对fcat(x)进行降维，得到大小200×200×128的特征图fd(x)；然后将fd(x)输入到cam中，利用cam动态地调整fd(x)每个通道的权重，使rdadn网络关注重要特征并抑制冗余特征，得到大小200×200×128的特征图ffusion(x)；
24、步骤2.8，将步骤2.7得到的特征图ffusion(x)输入到rdadn网络的解码模块中，对200×200×128的特征图ffusion(x)进行非线性映射，得到400×400×1的雾气密度图像id(x)；
25、步骤2.9，将步骤1得到的低频子带il(x)与步骤2.5得到的雾气密度图像id(x)进行差值计算，得到不含雾气的低频子带ol(x)，表示为：
26、ol(x)＝ix(x)-id(x) (2-1)
27、步骤2.10，采用均方误差(mean square error，mse)损失函数衡量步骤2.8中rdadn网络预测的雾气密度图像id(x)与真实雾气密度图像hd(x)之间的差异，损失函数lmse(x)表示为：
28、lmse(x)＝||id(x)-hd(x)||2 (2-2)
29、上式中，hd(x)＝il(x)-gl(x)；il(x)代表含有雾气的低频子带；hd(x)为真正的雾气密度图像；gl(x)为清晰低频子带；
30、步骤2.11，通过步骤2.10设定的损失函数对构建的rdadn网络进行训练，经过若干次迭代，当损失函数值达到最小时，低频子带呈现出良好的去雾效果。
31、步骤3具体为：
32、步骤3.1，分别计算出步骤1中每一个高频方向子带中系数的平均值记为averagel，k，l为分解尺度，k为方向分解尺度，本方法中l＝1，k∈{1，2，3，4，5，6，7，8}；
33、步骤3.2，分别计算出每个高频方向子带的阈值tl，k，计算公式为：
34、σl，k＝medianl，k/0.6475 (3-1)
35、
36、其中，σl，k代表l尺度k方向下高频方向子带的噪声标准差；medianl，k代表l尺度k方向下高频方向子带系数的中值；n代表当前高频方向子带系数的数量；
37、步骤3.3，根据步骤3.1得到的系数平均值averagel，k和步骤3.2得到的阈值tl，k对每个高频方向子带中的系数进行分类：
38、步骤3.3.1，如果高频方向子带(l尺度k方向)在像素点(i，j)的系数大于或等于该高频方向子带系数的平均值averagel，k，则将像素点(i，j)的系数记为强边缘；
39、步骤3.3.2，如果高频方向子带(l尺度k方向)在像素点(i，j)的系数小于该高频方向子带系数的平均值averagel，k，但是大于该高频方向子带的阈值tl，k，则将像素点(i，j)的系数记为弱边缘；
40、步骤3.3.3，如果高频方向子带(l尺度k方向)在像素点(i，j)的系数小于该高频方向子带系数的平均值averagel，k，并且小于该高频方向子带的阈值tl，k，则将像素点(i，j)的系数记为噪声；
41、步骤3.4，根据步骤3.3中的系数分类原理，设置一个非线性函数即高频方向子带的增强函数，对噪声系数进行去除，对弱边缘系数进行适度增强，强边缘系数不做处理，避免过度增强；高频方向子带的增强函数表示为：
42、
43、其中，f(l，k)(i，j)代表高频方向子带在像素点(i，j)的原始系数，e(l，k)(i，j)代表增强后的系数。
44、步骤4具体为：
45、将步骤2.11获得的不含雾气的低频子带和步骤3.4获得的边缘系数被增强及噪声系数被抑制的方向子带进行nsct逆变换，得到新的y分量，然后，将yuv格式的图像变换为rgb格式，最终得到去雾后边缘细节清晰的干净图像。
46、本发明的有益效果为：
47、(1)本发明方法相较于一些深度学习去雾方法来说，首先将雾气图像从rgb格式转换为yuv格式，对y分量进行非下采样轮廓波变换(nonsubsampled contourlet transform,nsct)分解，得到包含雾气信息的低频子带，以及包含图像边缘细节信息，噪声信息的高频方向子带。然后设计了一个基于残差密集块和注意力机制的去雾网络(dehazing networkbased on residual dense blocks and attention mechanism,rdadn)，用来去除低频子带中的雾气。在对高频方向子带处理时，设计了一个非线性增强函数，实现边缘细节增强以及抑制噪声。最后将不含雾气的低频子带和边缘被增强，噪声得到抑制的高频方向子带进行nsct逆变换，得到新的y分量，再将yuv格式的图像变换为rgb格式，得到去雾后边缘细节清晰的干净图像。本方法得到的图像不但去雾效果得到了很大的提升，而且图像细节丰富清晰。该方法解决了现有技术中丢失图像边缘细节信息继而影响去雾效果的问题。
48、(2)本发明方法中rdadn网络相较于一些其他的去雾网络来说，其中多尺度特征提取模块通过扩大感受野，可以提取到不同尺度的雾气特征，然后使用特征融合模块对多尺度特征进行有效融合，同时利用通道注意力机制，动态调整不同尺度特征的通道权重，使网络能够学习到重要信息并抑制冗余信息，从而提高网络去雾的能力。
49、(3)本发明方法相较于一般的图像去雾方法来说，本发明通过设计一个非线性增强函数，用来保留或放大边缘细节系数，抑制噪声系数。这一方法实现了图像边缘细节信息的增强，使最终产生的去雾图像具有清晰的边缘。
1.基于边缘增强的卷积神经网络图像去雾方法，其特征在于，具体如下：
2.根据权利要求1所述的基于边缘增强的卷积神经网络图像去雾方法，其特征在于，步骤1具体如下：
3.根据权利要求2所述的基于边缘增强的卷积神经网络图像去雾方法，其特征在于，步骤2具体为：
4.根据权利要求3所述的基于边缘增强的卷积神经网络图像去雾方法，其特征在于，步骤3具体为：
5.根据权利要求4所述的基于边缘增强的卷积神经网络图像去雾方法，其特征在于，步骤4具体为：
