本发明涉及图像处理，尤其涉及一种低照度图像增强网络及图像增强方法。
背景技术：
1、随着深度学习的飞速发展，数字图像处理技术已广泛应用于工业生产、视频监控、日常生活、军事应用等领域。然而，在图像采集过程中往往会存在一些客观因素导致图像缺陷。如在夜间或阴天等光照条件较差的情况下，物体表面反射的光线一般较弱，导致获得的图像往往呈现出亮度低、对比度低、颜色失真以及噪声较大等特点。另外，对于彩色的低照度图像而言，其像素值主要集中在较低的范围内，且各个通道之间相应像素的灰度差也很有限，图像的最大和最小灰度之间只有很小的差距，整体颜色层出现偏差，边缘信息较弱，导致人类观察或计算机处理时很难分辨出图像的细节。这些特点严重降低了低照度图像的主观视觉效果，导致其可用性大大降低。对低照度图像进行增强处理，转化为高质量的清晰图像，可以有效提高目标检测、多目标跟踪、语义分割、人脸识别等高级视觉任务的性能。因此，低照度图像增强作为改善后续高级视觉任务的预处理，具有重要的研究意义和广阔的应用前景。
2、低照度图像增强的目的是提高其可见性，将图像转化为更适合人类观察或计算机处理的形式，同时抑制噪声和伪影。现阶段，为了弱化低照度图像对视觉任务的影响，研究人员提出两种解决思路，一种是提升图像采集设备的性能，另一种对采集到的低照度图像进行光照增强处理。作为一种替代方法，使用算法对低照度图像进行光照增强处理提供了较强的灵活性。最早由pizer等人[1]提出使用直方图均衡化(histogram equalization，he)来拉伸图像的动态范围，对低照度图像进行增强处理，该方法计算简单但无法抑制噪声，对低照度图像增强的效果有限。jobson等人[2]最先将retinex理论[3]应用于低照度图像增强领域，提出将图像分解为照明与反射率图，然后进行增强处理，该方法在噪声抑制和细节恢复方面取得了不错的效果，但是由于算法计算量较大，无法快速处理批量低照度图像。基于此，chen等人[4]将卷积神经网络cnn与retinex理论相结合，提出retinex-net，该网络包含分解与光照增强两个模块，分解模块将低照度图像分解为照明图与反射率图；光照增强模块负责对低照度图像进行增强，并在输出重建图像，对反射率图进行去噪。由于深度神经网络强大的非线性拟合能力，近年来被广泛应用于图像增强领域，并取得了不错的效果[5]。jiang hai等人[6]基于retinex理论提出一种真实低-正常的低照度图像增强网络(r2r)，结合图像的空间信息与频率信息进行光照增强，并提出一种新的频率损失函数来恢复更多的图像细节。guo等人[7]提出零参考深度曲线估计法(zero-dce)，将低照度图像增强作为一种基于深度网络的图像特定曲线估计任务，该方法以低照度图像为输入，并产生高阶曲线作为其输出，然后根据输出曲线对原始图像的动态范围进行逐像素调整，通过直观、简单的非线性曲线映射实现低照度图像增强。xu等人[8]设计了一种具有新自注意力模块的信噪比(snr)感知转换器，并将其与卷积模型通过空间变化来实现具有信噪比先验的低照度图像动态增强。wang等人[9]提出一种基于流的低照度图像增强方法(llflow)，通过对正常曝光图像的分布建模，将其映射为高斯分布的可逆网络，并以此学习从低照度图像到正常曝光图像分布的一对多映射，该方法可以更好地调节光照以及抑制噪声和伪影。ma等人[10]提出一种新的自校准照明(sci)学习框架，该方法采用一个级联的照明学习过程与权重共享来处理低照度图像增强任务，其中，自校准模块可以大大降低级联模式的计算负担，实现在真实低光照场景下快速、灵活、稳定的增亮图像。
3、目前，基于深度学习的低照度图像增强方法总体上优于传统方法，但是仍有较大的提升空间，如增强过程中引起的噪声放大导致增强结果存在细节模糊以及色彩偏差；在提升对比度时，未考虑到图像颜色、视觉效果与信息熵等因素之间的适当平衡等问题。且上述问题单纯依靠不同网络层的叠加并不能有效解决。综上，本文研究了一种低照度图像增强网络，简称mtie-net。
4、参考文献：
5、[1]pizer s m,mburn e p,ustin j d,t al.adaptive histogram equalizationand its variations[j].computer vision,raphics,and image processing,1987,39(3):355-368.
6、[2]jobson d j,rahman z,woodell g a.properties and performance of acenter/surround retinex[j].ieee transactions on image processing,1997,6(3):451-462.
7、[3]land e h.the retinex theory of color vision[j].scientificamerican,1977,237(6):108-129.
8、[4]wei c,wang w,yang w,et al.deep retinex decomposition for low-lightenhancement[j].arxiv preprint arxiv:1808.04560,2018.
9、[5]刘光辉,杨琦,孟月波,赵敏华,杨华.一种并行混合注意力的渐进融合图像增强方法[j].光电工程,2023,50(04):53-65.
10、[6]hai j,xuan z,yang r,et al.r2rnet:low-light image enhancement viareal-low to real-normal network[j].journal of visual communication and imagerepresentation,2023,90:103712.
11、[7]guo c,li c,guo j,et al.zero-reference deep curve estimation forlow-light image enhancement[c]//proceedings of the ieee/cvf conference oncomputer vision and pattern recognition.2020:1780-1789.
12、[8]xu x,wang r,fu c w,et al.snr-aware low-light image enhancement[c]//proceedings of the ieee/cvf conference on computer vision and patternrecognition.2022:17714-17724.
13、[9]wang y,wan r,yang w,et al.low-light image enhancement withnormalizing flow[c]//proceedings ofthe aaai conference onartificialintelligence.2022,36(3):2604-2612.
14、[10]ma l,ma t,liu r,et al.toward fast,flexible,and robust low-lightimage enhancement[c]//proceedings of the ieee/cvf conference on computervision and pattern recognition.2022:5637-5646.
技术实现思路
1、为解决现有技术不足，本发明提供一种低照度图像增强网络及图像增强方法，提升去噪性能和细节恢复性能，提升图像视觉质量。
2、为了实现本发明的目的，拟采用以下方案：
3、一种低照度图像增强网络，包括：
4、分解网络，由密集残差块rdb与retinex理论结合而成，用于将输入的低照度图像分解为照明图与反射率图，其中，rdb由普通卷积与递归门控卷积gnconv组成，采用leakyrelu作为激活函数；
5、去噪网络，基于编码-解码结构，用于处理反射率图中的噪声，最后将照明图与去噪后的反射率图融合，作为增强网络的输入；基于通道的transformer模块ctrans，用于传递在池化层丢失的空间信息，通过编码-解码过程恢复完整的空间分辨率，ctrans由通道交叉融合transformer和通道交叉注意力模块组成，前者用于对编码结构中的特征进行多尺度融合，后者用于融合编码结构与解码结构之间语义不一致的特征；
6、增强网络，基于混合注意力模块pma，pma由通道注意力模块cam与空间注意力模块sam的并行结构融合像素注意力模块pam而成，用于同时关注图像的通道信息、空间信息与像素信息；增强网络利用傅里叶变换将输入图像从空间域转换至频域，得到图像的频率分量信息，用于进行照度增强与细节恢复。
7、进一步的，rdb构建有2个1×1卷积、3个连续的gnconv和1个扩张卷积，第一个1×1卷积用于提取浅层特征，自适应地控制输出信息进行局部特征融合，通过局部残差学习进一步改善信息流；以浅层特征作为输入，3个连续的gnconv用于提取深层特征，利用其递归设计改善浅层特征与深层特征的空间交互能力，之后通过密集连接产生连续的特征传递，充分利用前面所有层的特征进行密集特征融合；第二个1×1卷积用于进行全局特征融合；扩张卷积，其扩张系数为2，用于通过跳跃连接将rdb的输出特征图与原始输入图像的浅层特征进行融合。
8、进一步的，去噪网络包含4个尺度，通道数分别为512、256、128、64，通过4个连续的rdb来实现上/下采样，且每个上/下采样操作之间通过额外的跳跃连接来绕过冗余的低频信息，使网络专注于学习高频信息，其中，下采样过程使用步长卷积，用于将含噪图像由高分辨率尺度转换为低分辨率尺度；上采样过程使用亚像素卷积，用于将低分辨率尺度转回高分辨率尺度，从而去除噪声并保留输入图像的重要特征。
9、进一步的，增强网络通过自校准模块g进行自校准，用于对输入图像持续校准，使各阶段的结果快速收敛至同一水平，表示为：
10、
11、式中，i表示低照度图像，zt表示第t阶段期望的清晰图像，lt第t阶段的光照，表示按元素除法，κθ为参数可学习的算子，st为t阶段的自校正映射，vt为校准后用于下一阶段的输入。
12、进一步的，损失函数由重建损失lr、去噪损失ld、照度损失li三部分组成，表示为：
13、l＝lr+ld+li；
14、重建损失lr表示为：
15、
16、式中，i为输入图像，r为反射率图，l为照明图，l0为照明图的初始估计的r、g、b通道强度最大值；
17、去噪损失ld表示为：
18、
19、式中，j表示索引，n为样本数量，为参考图像的反射率图，为低照度图像增强后的反射率图，ε2为平滑参数；
20、照度损失li表示为：
21、li＝lfre+lvgg
22、式中，频率损失lfre表示为：
23、
24、式中，j表示索引，n为样本数量，fγ～表示联合分布；e(x,y)～表示使用wasserstein距离来最小化增强结果的实部与虚部和频域中真实值的差异；表示去噪的低照度图像，表示去噪的参考图像；
25、vgg损失lvgg表示为：
26、
27、式中，j表示索引，n为样本数量，φj表示损失网络，为参考图像的反射率图，为低照度图像增强后的反射率图。
28、一种低照度图像增强方法，采用所述低照度图像增强网络，包括以下步骤：
29、s1、分解：将输入的低照度图像分解为照明图与反射率图，以使图像特征和噪声有效分离；
30、s2、去噪：对反射率图进行去噪，然后将去噪后的反射率图与照明图逐元素相乘，得到的结果作为增强网络的输入；
31、s3、增强：利用傅里叶变换在频域中进行照度增强与细节恢复。
32、进一步的，步骤s1分解时，首先使用第一个1×1卷积提取浅层特征，自适应地控制输出信息进行局部特征融合，通过局部残差学习进一步改善信息流；其次以浅层特征作为输入，采用3个连续的gnconv提取深层特征，利用其递归设计改善浅层特征与深层特征的空间交互能力，之后通过密集连接产生连续的特征传递，充分利用前面所有层的特征进行密集特征融合；然后使用第二个1×1卷积进行全局特征融合；最后通过跳跃连接将rdb的输出特征图与原始输入图像的浅层特征通过一个扩张卷积进行融合。
33、进一步的，步骤s2去噪时，利用编码-解码结构处理反射率图中的噪声，最后将照明图与去噪后的反射率图融合，作为增强网络的输入；利用ctrans传递在池化层丢失的空间信息，并通过编码-解码过程恢复完整的空间分辨率。
34、进一步的，步骤s2去噪时，通过4个连续的rdb来实现上/下采样，且每个上/下采样操作之间通过额外的跳跃连接来绕过冗余的低频信息，使网络专注于学习高频信息，其中，下采样过程使用步长卷积将含噪图像由高分辨率尺度转换为低分辨率尺度；上采样过程使用亚像素卷积将低分辨率尺度转回高分辨率尺度，从而去除噪声并保留输入图像的重要特征。
35、进一步的，步骤s3增强时，通过pma对所有输入特征进行逐通道、逐像素地调整，在提高低照度图像像素信息的表征强度的同时加强相邻像素点间的特征联系；还通过自校准模块g进行自校准，对输入图像持续校准，使各阶段的结果快速收敛至同一水平。
36、本发明的有益效果在于：
37、1、提出一种低照度图像增强网络，该网络将增强任务模块化，即分解网络、去噪网络与增强网络，其中，分解网络结合密集残差块进行全局残差学习，用于将低照度图像分解为照明图与反射率图；去噪网络采用编码-解码结构，并使用基于通道的transformer模块代替简单的跳跃连接传递特征信息以提高网络的去噪性能，最后将照明图与反射率图融合，作为增强网络的输入；增强网络利用图像的频率信息，进行照度增强与细节恢复。
38、2、利用密集残差网络强大的特征提取能力促进通道之间的特征信息传递，构建效率更高的密集残差分解网络。在去噪网络的设计中，使用亚像素卷积进行上采样，在去噪的同时增加图像的分辨率，并恢复丢失的细节信息；使用通道transformer来代替传统编码-解码结构网络中的跳跃连接，更好地捕获远程依赖关系并加强上下文理解。此外，提出了一种新的注意力机制，使得增强网络能够自适应地对图像中的不同区域进行加权融合，从而提升增强效果。
39、3、大量实验结果表明，mtie-net在图像视觉质量增强提升、去噪与细节恢复等方面均优于对比方法。将mtie-net作为预处理手段应用于夜间人脸检测进一步验证了其提升高级视觉任务性能的应用价值。
1.一种低照度图像增强网络，其特征在于，包括：
2.根据权利要求1所述的低照度图像增强网络，其特征在于，rdb构建有2个1×1卷积、3个连续的gnconv和1个扩张卷积，第一个1×1卷积用于提取浅层特征，自适应地控制输出信息进行局部特征融合，通过局部残差学习改善信息流；以浅层特征作为输入，3个连续的gnconv用于提取深层特征，利用其递归设计改善浅层特征与深层特征的空间交互能力，之后通过密集连接产生连续的特征传递，利用前面所有层的特征进行密集特征融合；第二个1×1卷积用于进行全局特征融合；扩张卷积，其扩张系数为2，用于通过跳跃连接将rdb的输出特征图与原始输入图像的浅层特征进行融合。
3.根据权利要求2所述的低照度图像增强网络，其特征在于，去噪网络包含4个尺度，通道数分别为512、256、128、64，通过4个连续的rdb来实现上/下采样，且每个上/下采样操作之间通过额外的跳跃连接来绕过冗余的低频信息，使网络专注于学习高频信息，其中，下采样过程使用步长卷积，用于将含噪图像由高分辨率尺度转换为低分辨率尺度；上采样过程使用亚像素卷积，用于将低分辨率尺度转回高分辨率尺度，去除噪声并保留输入图像的重要特征。
4.根据权利要求3所述的低照度图像增强网络，其特征在于，增强网络通过自校准模块g进行自校准，用于对输入图像持续校准，使各阶段的结果快速收敛至同一水平，表示为：
5.根据权利要求4所述的低照度图像增强网络，其特征在于，损失函数由重建损失lr、去噪损失ld、照度损失li三部分组成，表示为：
6.一种低照度图像增强方法，其特征在于，采用权利要求5所述低照度图像增强网络，包括以下步骤：
7.根据权利要求6所述的低照度图像增强方法，其特征在于，步骤s1分解时，首先使用第一个1×1卷积提取浅层特征，自适应地控制输出信息进行局部特征融合，通过局部残差学习改善信息流；其次以浅层特征作为输入，采用3个连续的gnconv提取深层特征，利用其递归设计改善浅层特征与深层特征的空间交互能力，之后通过密集连接产生连续的特征传递，利用前面所有层的特征进行密集特征融合；然后使用第二个1×1卷积进行全局特征融合；最后通过跳跃连接将rdb的输出特征图与原始输入图像的浅层特征通过一个扩张卷积进行融合。
8.根据权利要求6所述的低照度图像增强方法，其特征在于，步骤s2去噪时，利用编码-解码结构处理反射率图中的噪声，最后将照明图与去噪后的反射率图融合，作为增强网络的输入；利用ctrans传递在池化层丢失的空间信息，并通过编码-解码过程恢复完整的空间分辨率。
9.根据权利要求8所述的低照度图像增强方法，其特征在于，步骤s2去噪时，通过4个连续的rdb来实现上/下采样，且每个上/下采样操作之间通过额外的跳跃连接来绕过冗余的低频信息，使网络专注于学习高频信息，其中，下采样过程使用步长卷积将含噪图像由高分辨率尺度转换为低分辨率尺度；上采样过程使用亚像素卷积将低分辨率尺度转回高分辨率尺度，去除噪声并保留输入图像的重要特征。
10.根据权利要求1所述的低照度图像增强方法，其特征在于，步骤s3增强时，通过pma对所有输入特征进行逐通道、逐像素地调整，在提高低照度图像像素信息的表征强度的同时加强相邻像素点间的特征联系；还通过自校准模块g进行自校准，对输入图像持续校准，使各阶段的结果快速收敛至同一水平。
