本发明属于图像处理技术及计算机视觉领域，具体涉及一种基于hsv和transformer的无监督低照度图像增强方法。
背景技术：
1、低照度图像增强是将低照度图像转化为具有完整结构和细节、视觉效果自然、清晰的正常光照图像的过程。
2、近年来，随着计算机视觉领域的进步，学者们提出了很多低照度图像增强算法。主要包括两类：传统的低照度图像增强方法和基于深度学习的低照度图像增强方法。
3、具有代表性的传统低照度图像增强方法主要包括：直方图均衡化和基retinex理论的方法等。直方图均衡化是利用图像像素灰度级分布进行图像对比度增强的方法，此类方法会导致图像部分区域过度增强出现细节过度突出、过曝以及放大噪声等问题。基于retinex理论的方法以三色理论和颜色恒定性为基础，通过对图像进行分解并引入不同先验正则化来构建照明和反射图像。然而，这些人工设计的先验和约束无法有效适应各种照明条件，容易导致图像细节信息缺失、颜色出现偏差等问题。
4、与传统方法相比，基于深度学习的低照度图像增强方法具有更好的准确性、鲁棒性和运行速度，因此，受到学者们的广泛关注。根据是否需要标签，这些方法主要分为两类：基于监督学习的低照度图像增强和基于无监督学习的低照度图像增强。
5、基于监督学习的低照度图像增强通过从大量样本中(成对的低照度图像和正常照度图像)训练获得先验知识用于图像增强，获得了较好的增强效果。例如：lore等人首次提出了基于深度学习的低照度图像增强方法llnet，该方法使用编解码网络来去噪和提高图像对比度。然而，llnet在图像增强过程中并未考虑到低照度图像的性质，增强后的图像依旧存在降噪效果差、亮度提升不明显等问题。wei等人将深度学习与retinex理论结合，提出了retinexnet。该网络包括分解模块和光照调整模块，并对反射分量使用bm3d去噪。然而，retinexnet对极暗图像中噪声的处理能力有限，此外，retinexnet生成的图像还存在全局色彩偏移和颜色失真的问题。为了解决上述问题，zhang等人提出了kind和kind++，其中，kind和retinexnet结构相似，由分解、恢复反射分量和调整光照三个子网络组成。kind可以有效地去除黑暗中的噪声并对色彩进行校正。而kind++通过多尺度照明注意力模块改善了kind增强结果中出现的过曝、光晕等视觉缺陷。然而，上述方法过于依赖手工设计先验，而且优化过程费时。为了解决该问题，wu等人提出深度展开网络uretinexnet，该网络包括三个基于学习的模块：数据初始化模块、展开优化模块和光照增强模块。展开优化模块通过数据驱动的方式自适应拟合隐式先验，从而实现对分解结果的噪声抑制和细节保留。然而，uretinexnet具有大量参数，导致训练和推理过程中时间与计算成本较高。另一方面，fu等人抛弃了手工设计的先验，提出了rfr。该方法隐式估计反射分量和光照分量的特征，利用对比学习和知识蒸馏对retinex分解做约束，同时引入渐进学习来降低蒸馏的难度。然而，上述方法都需要大量的成对数据进行训练，但真实的成对数据集难以获取，收集成对的低照度图像和正常光图像耗时。此外，如果使用从正常光照数据集合成的低照度图像数据集训练，会导致模型泛化能力受到限制。
6、基于无监督学习的低照度图像增强方法无需配对标签数据且泛化性更为出色，因此很快成为当前的研究热点。例如：jiang等人提出了一种基于无监督学习的生成对抗网络enlightengan，该网络使用未配对的图像进行训练，通过全局和局部鉴别器提高图像的整体和局部亮度。但是，该方法降噪效果较差。此外，enlightengan不能均匀地恢复暗区照明，增强后的图像仍然存在部分阴影，泛化性能有待提高。为了解决无监督低照度图像增强方法忽略噪声的问题，学者们提出了rrdnet、udcn、u2ienet和mea等。这些方法均不同程度地消除了图像中的噪声，提高了图像质量。为了提高无监督低照度图像增强方法的泛化性，guo等人提出了zero dce和zero dce++。zero dce引入照明曲线并使用高阶曲线实现像素级图像增强，并且训练参数仅与输入图像相关。zero dce++在zero dce的基础上将普通卷积替换为深度可分离卷积，使得zero dce++变得更加轻量。然而，这两种方法都存在颜色偏差的问题，容易导致增强后的图像整体偏紫。ma等人提出一种新的自校准照明学习框架sci，该方法通过构建自校准模块的权重共享光照学习过程。该方法虽然简单有效且鲁棒性强，但对于图像的暗区照度提升不足，在图像的亮区会出现颜色失真等问题。为了解决生成图像出现色差或颜色失真的问题，qu等人提出了ddnet，该方法通过粗增强模块和基于对数的梯度增强模块使网络能够同时增强颜色和边缘特征。然而，ddnet会忽略图像的局部区域，导致增强后图像的部分区域仍然曝光不足。
7、除了上述提到的问题，基于深度学习低照度图像增强方法大多采用卷积神经网络，在捕获远程依赖关系和建模非局部特征方面存在局限性，而这对图像恢复至关重要。
8、为了解决该问题，基于transformer的低照度图像增强方法引起了关注。例如：cui等人提出的iat，该方法包含两个独立分支，其中局部分支增强特征信息，全局分支则预测并控制图像的色彩和光照，但是该方法增强的图像照度不够均匀，无法很好的增强图像暗区，模型泛化能力较差。xu等人提出snr-net，该方法通过信噪比优先策略引导特征融合，利用信噪比图确定局部和全局信息的贡献，以实现动态增强。然而，snr-net在计算成本上较为昂贵，而且增强的图像存在较为严重的棋盘效应。为了降低计算复杂度，wang等人提出llformer，该方法采用基于轴的转换器块和跨层注意力融合块来实现低照度图像增强，但是llformer会导致细微的棋盘效应，且增强后的图像缺乏细节信息、出现颜色失真等问题。此外，以上方法都需要成对图像进行训练，因此，研究基于无监督学习的低照度图像增强方法具有重要的意义。
技术实现思路
1、针对现有技术存在的不足，本发明的目的在于提供一种基于hsv和transformer的无监督低照度图像增强方法，在保留颜色信息的同时，有效地去除了隐藏在黑暗中的噪声，并增强了图像暗区的亮度，更高效、精确的增强低照度图像。
2、为了实现上述目的，本发明采用以下技术方案予以实现：
3、一种基于hsv和transformer的无监督低照度图像增强方法，包括以下步骤：
4、步骤1、对需要增强的低照度图像先从rgb图像通过颜色空间转换分成h、s、v三个子空间，转换为hsv图像；
5、步骤2、将步骤1处理后的低照度图像保留颜色空间，即h和s子空间，同时将v子空间送入亮度估计网络估计亮度信息，得到得到亮度特征图和亮度图
6、步骤3、将步骤2得到的得到亮度特征图和亮度图送入亮度引导vgt，亮度图作为vgt的输入，并用亮度特征图中不同区域的亮度信息作为关键线索来引导长距离依赖关系捕获和指导非局部区域建模；
7、步骤4、使用随机干扰亮度函数来生成同一场景的另一个异常亮度图v’，并将其与原始亮度图v相结合，估计出相同的反射率，从而构建出反射分量r和亮度v的损失函数来优化模型；
8、步骤5、将步骤1得到的h和s子空间与步骤3得到的增强后的v子空间进行重新组合并将增强图像转换为rgb图像，得到最终的增强图像。
9、本发明还具有以下技术特征：
10、优选的，所述的步骤2的具体步骤包括：
11、a)亮度估计网络将v子空间和它每个像素的平均值拼接出扰动图
12、b)经过1×1卷积将拼接好的扰动图v-up进行融合；
13、c)使用9×9深度可分离卷积估计出亮度特征图的编码信息；
14、d)通过1×1卷积得到亮度图
15、优选的，所述步骤3的具体步骤包括：
16、a)亮度图mv-up经过一个3×3卷积的输入投影层，接着经过一次亮度引导注意力块vgab；此外，将亮度特征图送入vgab中亮度引导的多重通道自注意力vg-mcsa，然后通过两次下采样进行降尺度特征操作，每次下采样由一次4×4卷积和一次vgab组成；
17、b)下采样操作后进入与下采样呈对称结构的上采样操作，再使用步长为2的2×2反卷积对这些特征进行尺寸提升，并与并行编码器的跳跃连接拼接得到上采样的输入；此外，亮度估计网络估计的亮度特征图fv-up被输入到每个vgab中，用来帮助图像暗区去噪、恢复细节信息与亮度；
18、c)最后输出光照的逆l，并与v子空间进行像素的逐级相乘，得到最终的增强结果r。
19、进一步的，所述步骤3第a)步中vg-mcsa的具体步骤包括：
20、1)将输入特征图重塑为令牌x，然后沿特征通道维度将令牌x分成k个头，表示为：
21、x＝[x1,x2,...,xk]
22、其中，
23、2)通过全连接层得到每个xi的查询元素q、键元素k和值元素v的线性投影，表示为：
24、
25、
26、
27、其中，和表示全连接层的可学习参数，t表示转置；
28、3)将亮度特征图的大小重塑为y，并将其分成k个头，表示为：
29、y＝[y1,y2,...,yk]
30、其中，
31、4)将重构的亮度特征图与值元素v进行像素的逐级相乘；
32、5)将k个头连接起来，对输出特征进行重构，得到输出特征
33、优选的，所述步骤4中的损失函数lloss由四部分组成：反射一致性损失lrc、曝光控制损失lec、空间结构损失lss和光照损失lis，表示为：
34、lloss＝lrc+lec+lss+wislis。
35、进一步的，所述的反射一致性损失lrc公式如下：
36、
37、其中，r和r'表示产生的反射分量。
38、进一步的，所述的曝光控制损失lec公式如下：
39、
40、其中，rn表示n×n生成的反射分量的平均池化，e表示rgb颜色空间中的灰度。
41、进一步的，所述的空间结构损失lss公式如下：
42、
43、其中，rm和vm表示生成的反射分量和输入的m×m平均池化的结果，表示一阶差分运算。
44、进一步的，所述的照明平滑度损失lis公式如下：
45、
46、其中，nm和n'm表示生成光照的逆，wis表示照明平滑度损失的权重。
47、本发明与现有技术相比，具有如下技术效果：
48、本发明首次将hsv理论和transformer相结合，在保留颜色信息的同时，有效地去除了隐藏在黑暗中的噪声，并增强了图像暗区的亮度，能更高效、精确的增强低照度图像；
49、本发明设计了一个基于v子空间和改进retinex的无监督亮度增强网络，该网络引入扰动亮度来模拟v子空间中噪声和伪影等退化，并将其与v子空间拼接，避免单一目标亮度值降低图像高光区域的亮度，增强了模型的可解释性并使其更符合真实世界的低照度场景；此外，通过设计了由v子空间引导的多头通道自注意力，将v子空间中不同区域的亮度信息作为关键线索来引导长距离依赖关系的捕获和指导非局部区域的建模，进一步帮助暗区去噪、恢复细节与亮度。
1.一种基于hsv和transformer的无监督低照度图像增强方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于hsv和transformer的无监督低照度图像增强方法，其特征在于，所述的步骤2的具体步骤包括：
3.如权利要求1所述的基于hsv和transformer的无监督低照度图像增强方法，其特征在于，所述步骤3的具体步骤包括：
4.如权利要求3所述的基于hsv和transformer的无监督低照度图像增强方法，其特征在于，所述步骤3第a)步中vg-mcsa的具体步骤包括：
5.如权利要求1所述的基于hsv和transformer的无监督低照度图像增强方法，其特征在于，所述步骤4中的损失函数lloss由四部分组成：反射一致性损失lrc、曝光控制损失lec、空间结构损失lss和光照损失lis，表示为：
6.如权利要求5所述的基于hsv和transformer的无监督低照度图像增强方法，其特征在于，所述的反射一致性损失lrc公式如下：
7.如权利要求5所述的基于hsv和transformer的无监督低照度图像增强方法，其特征在于，所述的曝光控制损失lec公式如下：
8.如权利要求5所述的基于hsv和transformer的无监督低照度图像增强方法，其特征在于，所述的空间结构损失lss公式如下：
9.如权利要求5所述的基于hsv和transformer的无监督低照度图像增强方法，其特征在于，所述的照明平滑度损失lis公式如下：
