本发明属于图像处理，涉及一种高光谱图像超分辨率重建方法及其系统。
背景技术：
1、高光谱图像(hsi)提供了来自目标场景的各种连续光谱波段的丰富光谱信息。与传统成像技术在有限的通道中捕获颜色信息不同，它们具有显著的诊断能力，可以区分细微的光谱差异和各种材料的固有特征。因此，高光谱图像在目标检测、地质勘探、医学诊断等领域得到了广泛的应用。然而，由于硬件的限制，在获得的高光谱图像中存在固有的空间分辨率和光谱分辨率之间的权衡。因此，他们经常面临低的空间分辨率，研究人员希望解决这些挑战而不依赖硬件的进步。
2、超分辨率(sr)旨在从低分辨率(lr)图像中重建高分辨率(hr)图像。最近，sr技术的发展已扩展到高光谱图像。根据是否使用辅助图像，高光谱图像sr可分为基于融合的高光谱图像超分辨率和单高光谱图像超分辨率(shsr)。基于融合的方法将lr高光谱图像与多光谱、全色图像等hr辅助图像融合，重建hr高光谱图像。目前，这些方法往往表现出优于shsr的性能，并已成为主流方法。然而，比如在文章《nonregsrnet:anonrigidregistration hyperspectral super-re solution network》中提到这些hr辅助图像通常难以获得，并且需要与目标高光谱图像精确配准。这些挑战阻碍了基于融合的方法在实际场景中的实施。
3、在没有额外辅助信息的情况下，shsr具有非常有利的前景，最近得到了广泛的研究。在过去，传统的方法通常采用手工先验，如稀疏表示、低秩矩阵近似和字典学习来重建高分辨率高光谱图像。然而，这些技术是复杂和不灵活的，导致有限的性能。随着深度学习的快速发展，卷积神经网络在计算机视觉领域展现出惊人的表现。通过考虑自然图像的深度sr网络，高光谱图像sr已经取得了显著的发展。然而，这些rgb方法并不直接适用于高光谱图像。一些研究者将高光谱图像视为不同光谱的组合，然后采用深度sr网络逐带处理，忽略了高光谱图像固有的高维光谱特性。另一种直观的方法是将整个高光谱图像直接输入到三通道rgb图像的深度模型中，这将成倍增加网络的参数和计算成本。
4、虽然研究人员通过设计专门的模块来努力加强相邻光谱组之间的联系，但他们并没有充分利用全局光谱之间的远程光谱相关性。
技术实现思路
1、本发明的目的是针对现有技术的不足，提出一种高光谱图像超分辨率重建方法及其系统。
2、第一方面，本发明提供一种高光谱图像超分辨率重建方法，包括以下步骤：
3、步骤s1：获取低分辨率的高光谱图像，并将对应的高分辨率的高光谱图像作为标签，构建得到数据集；将数据集按照比例分为训练集，验证集和测试集；
4、步骤s2：构建基于全尺度连接transformer和离散小波变换的高光谱图像超分网络，并利用训练集，验证集和测试集分别进行训练、验证和测试；
5、步骤s3：利用训练、验证和测试好的基于全尺度连接transformer和离散小波变换的高光谱图像超分网络实现对低分辨率高光谱图像的超分辨率重建；
6、所述基于全尺度连接transformer和离散小波变换的高光谱图像超分网络包括浅层特征提取模块、深层特征提取模块、图像重建模块；
7、所述浅层特征提取模块包括3×3的卷积层，将输入的b×h×w的低分辨率lr高光谱图像通过一次卷积操作，提取浅层特征，扩展光谱维数，得到浅层特征图像f1；
8、所述深层特征提取模块包括第一至第四transformer stage层、小波变换模块、第一融合层、残差连接、卷积层；第一transformer stage层接收所述浅层特征提取模块输出的浅层特征图像f1，将提取到的深层特征fs1输入至第二tran sformer stage层和第一融合层；第二transformer stage层接收深层特征fs1，将提取到的深层特征fs2输入至第三transformer stage层和第一融合层；第三trans former stage层接收深层特征fs2，将提取到的深层特征fs3输入至第四transform er stage层和第一融合层；第四transformerstage层接收深层特征fs3，将提取到的深层特征fs4输入至第一融合层；所述第一融合层将不同层次的深层特征fs1至fs4按通道维度拼接，然后通过一个1×1的卷积进行特征融合，得到深层特征fq；所述残差连接将接收到的深层特征fq和浅层特征图像f1通过跳跃连接进行相加；所述卷积层用于将所述残差连接输出的结果进行卷积操作，输出深层特征f2；
9、离散小波变换(discrete wavelet transform，dwt)是一种信号处理技术，用于将信号分解成不同频率的子信号；它是一种多分辨率分析方法，可以提供时间和频率上的局部信息；离散小波变换的过程包括两个主要步骤：分解和重构；多分辨率分析：通过分解信号，可以获取不同频率范围的子信号，从而实现对信号的多尺度分析；局部信息：小波变换可以提供信号在时间和频率上的局部信息，使得对信号的分析更加精细和准确；能量集中：相比于傅里叶变换，小波变换可以更好地集中信号的能量，使得信号的特征更加明显；
10、所述小波变换模块使用dwt(离散小波变换)对浅层特征图像f1进行处理，分解为四个频率子带，分别表示原始图像的低频信息，水平高频信息，垂直高平信息和对角高频信息；然后，通过卷积恢复相应的频率子带；最后利用idw t(离散小波逆变换)将恢复的频率子带重构为输出特征f3；引入小波变换可以充分提取高光谱图像的光谱信息和频域信息。在之前的很多方法中只关注了图像在空域的信息，忽视了频域信息。引入小波变换有利于高频纹理细节的恢复。离散小波变换将图像分解为低频子图和高频子图，能够提供优异的时频局部化特征信息，具有提取图像的边缘、细节信息的优势,可以在特征提取过程中全面地利用图像的信息。
11、第一至第四transformer stage层结构相同，均包括三个并行分支和第二融合层，第一个分支依次包含4个串联的transformer layer和一个3×3的卷积层，第二个分支采用直接连接，第三个分支依次包括两个串联的卷积和光谱注意力模块，所述光谱注意力模块实质上就是通道注意力机制，通过学习每个通道的权重，可以自适应地调整不同通道的重要性；所述第二融合层用于将三个并联分支的结果进行相加；
12、所述图像重建模块包括三个并行的分支、第三融合层、卷积层：
13、第一条分支是bicubic上采样，将输入的b×h×w的低分辨率lr高光谱图像上采样成c×sh×sw；
14、第二条分支由深度特征f2通过上采样模块中的pixelshuffle操作后输出；
15、第三条分支由所述小波变换模块输出特征f3通过上采样模块中的pixelshuffl e操作后输出；
16、所述第三融合层将三个并行的分支的输出结果进行相加，得到c×sh×sw的超分辨率sr高光谱图像，s为超分的倍数；然后通过一个卷积层恢复通道数，最终输出的是b×sh×sw的超分辨率sr高光谱图像；
17、所述transformer layer包括layernorm(ln)模块、独特的跨范围多头自关注模块和改进前馈神经网络(ffn)；transformer layer的输出xl表示为：
18、
19、
20、式中，表示独特的跨范围多头自关注模块的输出，cmsa()表示跨范围多头自注意，ln()表示层归一化函数，ffn()表示改进前馈神经网络；
21、所述独特的跨范围多头自关注模块包括跨范围的空间交叉注意和跨范围的光谱注意；
22、空间交叉注意csa在基于窗口的注意机制中整合了局部和全局信息，目的是在保持线性计算复杂度的同时建立全面的全局空间依赖关系；
23、对于层归一化后的输入特征x∈rh×w×c，空间交叉注意csa首先沿着光谱维将其分成两段，其中和然后将x1和x2分别送入水平和垂直跨范围空间多头自注意机制；最后，将水平和垂直两个维度的结果拼接计算出csa的输出x*，可以表示为：
24、x1,x2＝split(x) (3)
25、
26、
27、其中，h-csa()和w-csa()分别代表多头自注意在水平和垂直维度上的函数；split表示分段操作；cat表示拼接；
28、所述改进前馈神经网络(ffn)包括两个并行分支、上下文学习模块，来处理输入的空间光谱特征；第一分支包括逐点卷积pconv、深度卷积dconv；第二分支包括pconv、dconv、gelu激活函数；上下文学习模块用于将两个并行分支利用哈达玛积来学习有用的上下文，并通过projection投影，进行特征维度变换；给定一个输入特征z∈rc×h×w,ffn的过程可以表示为：
29、
30、其中，为逐点卷积函数，为深度卷积函数；
31、所述基于全尺度连接transformer和离散小波变换的高光谱图像超分网络的总损失可以表述为：
32、像素损失
33、光谱角映射(sam)损失
34、空间域和光谱域的梯度损失
35、总损失ltotal(θ)＝l1+λslsam+λglgra (10)
36、式中，n为训练批次中输入的个数，和分别表示第n张高分辨率高分辨率高分辨率hr和超分辨率sr高光谱图像，m()表示输入的水平梯度、垂直梯度和光谱梯度；λs和λg表示控制不同损失之间平衡的超参数，以获得优异的超分辨率sr性能；根据经验，将λs设为0.3，λg设为0.1。
37、第二方面，本发明提供基于wtt的高光谱图像超分辨率重建系统，包括：
38、数据获取模块，获取低分辨率的高光谱图像；
39、超分辨率重建模块，利用训练、验证和测试好的基于全尺度连接transfor mer和离散小波变换的高光谱图像超分模型对低分辨率的高光谱图像进行超分辨率重建。
40、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。
41、第四方面，本发明提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。
42、本发明的有益效果：
43、本发明将小波变换和空间光谱维度上的交叉注意力机制引入基于transform er的深度学习算法并用于高光谱图像超分辨率，提高了模型对于不同倍数超分辨率的鲁棒性，从而提高超分辨率的重建效果；本发明利用transformer提取多层次特征信息，再将多层次特征输入到融合层中，得到深层特征信息；在trans former模块中，在空间和光谱维度上设计了交叉注意力机制，来全面建模长程空间光谱特征。通过将全局信息整合到矩形窗口的自注意中，首先设计了一个跨范围的空间自注意力，以促进长程空间交互。然后，通过适当利用空间光谱特征，构建一个跨范围光谱自注意力，以有效地捕获全局光谱波段之间的内在相关性，即在空间维度上，利用csa促进基于窗口的自注意力的长期空间依赖性。csa不仅保留了基于窗口的注意力机制的线性复杂性，而且建立了全局依赖关系。在光谱维度上，利用cse减轻冗余高维光谱的负面影响。cse可以有效地减轻计算高维光谱间远程光谱依赖关系的负担。本发明利用离散小波变换可以充分提取高光谱图像的光谱信息和频域信息。在之前的很多方法中只关注了图像在空域的信息，忽视了频域信息。引入小波变换有利于高频纹理细节的恢复，能够提供优异的时频局部化特征信息，具有提取图像的边缘、细节信息的优势，可以在特征提取过程中全面地利用图像的信息。
44、综上，本发明充分捕捉光谱和空间维度的长期依赖性，达到最佳重建效果。
1.一种高光谱图像超分辨率重建方法，包括以下步骤：
2.根据权利要求1所述方法，其特征在于所述深层特征提取模块中，第一transformerstage层接收所述浅层特征提取模块输出的浅层特征图像f1，将提取到的深层特征fs1输入至第二transformer stage层和第一融合层；第二transformer stage层接收深层特征fs1，将提取到的深层特征fs2输入至第三transformer stage层和第一融合层；第三transformerstage层接收深层特征fs2，将提取到的深层特征fs3输入至第四transformer stage层和第一融合层；第四transformer stage层接收深层特征fs3，将提取到的深层特征fs4输入至第一融合层；所述第一融合层将不同层次的深层特征fs1至fs4按通道维度拼接，然后通过一个1×1的卷积进行特征融合，得到深层特征fq；所述残差连接将接收到的深层特征fq和浅层特征图像f1通过跳跃连接进行相加；所述卷积层用于将所述残差连接输出的结果进行卷积操作，输出深层特征f2；
3.根据权利要求2所述方法，其特征在于所述深层特征提取模块中，第一至第四transformer stage层结构相同，均包括三个并联分支和第二融合层，第一个分支依次包含4个串联的transformer layer和一个3×3的卷积层，第二个分支采用直接连接，第三个分支依次包括两个串联的卷积和光谱注意力模块，所述光谱注意力模块通过学习每个通道的权重，自适应地调整不同通道的重要性；所述第二融合层用于将三个并联分支的结果进行相加。
4.根据权利要求3所述方法，其特征在于所述transformer layer包括layernorm模块、独特的跨范围多头自关注模块和改进前馈神经网络；transformer layer的输出xl表示为：
5.根据权利要求4所述方法，其特征在于所述独特的跨范围多头自关注模块包括跨范围的空间交叉注意和跨范围的光谱注意；
6.根据权利要求1所述方法，其特征在于所述图像重建模块中，第一条分支是bicubic上采样，将输入的b×h×w的低分辨率lr高光谱图像上采样成c×sh×sw；
7.根据权利要求1所述方法，其特征在于所述基于全尺度连接transformer和离散小波变换的高光谱图像超分网络的总损失表述为：
8.实现权利要求1-7任一项所述方法的高光谱图像超分辨率重建系统，其特征在于包括
9.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。
10.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
