本发明涉及图像生成，具体涉及一种基于残差潜扩散模型的遥感超分辨率图像生成方法。
背景技术：
1、图像生成是计算机视觉领域近年来发展最引人注目的技术之一，但也是计算需求最大的技术之一，实现图像超分辨率(image super-resolution，sr)是图像生成需要解决的基本问题，其目标是从低分辨率图像(low resolution，lr)中恢复高分辨率图像(highresolution，hr)。细粒度遥感应用需求的不断增长，需要获取高分辨率遥感图像，相比低分辨率遥感图像，确定高分辨率遥感图像有利于建筑物提取和小目标检测等下游任务的完成，同时在目标检测分类、精细尺度土地覆盖检测、高光谱应用等应用中发挥着相当重要的作用。然而，由于光学和传感器技术的限制、以及传感器和设备更新成本较高的影响，观测卫星的光谱和空间分辨率可能达不到预期的要求，因此，遥感超分辨率图像成为重要的研究方向之一。
2、目前的遥感超分辨率图像是基于深度学习获取的，具体是通过学习低分辨率和高分辨率的图像空间映射来节省时间，以便于高效预测低分辨率图像中缺失的高频信息，例如，生成对抗网络提出的基于生成模型的超分辨率方法，该方法主要以生成对抗网络驱动的方式为主，但是生成对抗网络的训练困难，容易陷入模式崩溃、梯度爆炸等问题。为了克服生成对抗网络表现的模式崩溃和训练不稳定的特性，提出了基于扩散模型的图像生成方法，扩散模型是一种概率模型，它所表现的模式覆盖行为，倾向于对数据中难以察觉的细节进行过度建模，最终导致计算资源过多。
3、为了解决扩散模型的计算资源过多的缺陷，提出了一种重新加权的变分目标方法，该方法通过对初始去噪步骤进行欠采样处理来减少计算负担，但由于训练和评估模型涉及到rgb图像的高维空间中的重复函数的评估和梯度计算，导致扩散模型仍然需要大量的计算资源；同时，遥感图像具有覆盖范围广、分辨率高、多光谱信息、时间动态和数字处理能特点，此时的高分辨率遥感图像具有复杂的高频特征，导致扩散模型采样期间的计算资源呈现指数级增加，进一步促使遥感超分辨率图像生成效率低下。
技术实现思路
1、为了解决上述扩散模型采样期间的计算资源呈现指数级增加，导致遥感超分辨率图像生成效率低下的技术问题，本发明的目的在于提供一种基于残差潜扩散模型的遥感超分辨率图像生成方法，所采用的技术方案具体如下：
2、本发明一个实施例提供了一种基于残差潜扩散模型的遥感超分辨率图像生成方法，该方法包括以下步骤：
3、步骤s1：获取遥感影像公共数据集，对所述遥感影像公共数据集中的每个原始遥感图像进行下采样处理，得到每个原始遥感图像的低分辨率图像；
4、步骤s2：将每个原始遥感图像及其低分辨率图像按批量输入到自动编码器中，获得每个原始遥感图像及其低分辨率图像在潜在空间的数据特征；
5、步骤s3：构建残差扩散模型，利用每个低分辨率图像在潜在空间的数据特征，对残差扩散模型的数据输入进行图像数据对接，在潜在空间中训练残差扩散模型，获得训练好的残差潜扩散模型；其中，将原始遥感图像及其对应的低分辨率图像之间的残差作为学习空间，训练残差扩散模型的概率分布；
6、步骤s4，获取待生成遥感图像在潜在空间中的数据特征，并输入到训练好的残差潜扩散模型中，生成潜在空间的超分辨遥感图像；其中，所述潜在空间的超分辨遥感图像通过自动编码器中的解码器进行可视化处理。
7、进一步地，所述步骤s2包括：
8、自动编码器由编码器和解码器两个子模块组成，通过感知损失和基于补丁的对抗目标的组合进行训练。
9、进一步地，所述步骤s3包括：
10、残差扩散模型的结构为基于马尔可夫链的有效条件扩散模型；
11、将每个低分辨率图像在潜在空间的数据特征作为残差扩散模型的输入数据；
12、在不同步长下将同一低分辨率图像进行像素信号建模，融合残差扩散模型的概率分布；
13、设计多尺度注意力机制模块，强化学习低分辨率图像的高频信息编码特征，辅助残差扩散模型对高频信息对分布概率进行建模。
14、进一步地，所述将原始遥感图像及其对应的低分辨率图像之间的残差作为学习空间，训练残差扩散模型的概率分布，包括：
15、一个长度为t的马尔可夫链移动马尔可夫链的残差e0从原始遥感图像的潜在图像x0过渡到对应的低分辨率图像的潜在图像y0，移动序列满足η1→0,ηt→1；
16、其中，前向过程中原始遥感图像的潜在图像x0和低分辨率图像的潜在图像y0之间的残差概率分布表示公式为：
17、q(xt∣xt-1,y0)＝n(xt；xt-1+αte0,k2αti),t∈[1,t]；式中，e0＝y0-x0，αt＝ηt-
18、ηt-1,t>1，α1＝η1，q(xt∣xt-1,y0)表示前向过程中原始遥感图像的潜在图像x0和低分辨率图像的潜在图像y0之间的残差概率，xt表示第t次移动时的原始遥感图像，xt-1表示第t-1次移动时的原始遥感图像，y0为原始遥感图像的低分辨率图像的潜在图像，n表示高斯分布函数，ηt表示第t次移动时的噪声强度，ηt-1表示第t-1次移动时的噪声强度，αt表示相邻两次移动对应的噪声强度差异，k表示控制噪声强度的超参数，i表示单位矩阵，t表示马尔可夫链的长度；
19、边际公布公式为：q(xt∣x0,y0)＝n(xt；x0+ηte0,κ2ηti),t∈[1,t]；式中，q(xt∣x0,y0)表示给定条件x0,y0情况下xt的概率分布。进一步地，所述将原始遥感图像及其对应的低分辨率图像之间的残差作为学习空间，训练残差扩散模型的概率分布，还包括：
20、反向过程估计后验分布公式为：
21、式中，pθ(x0∣y0)表示给定条件y0情况下估计x0的后验分布，p(xt∣y0)≈n(xt∣y0,κ2i)，p(xt∣y0)表示给定条件y0情况下xt的概率分布，n表示高斯分布函数，xt表示第t次移动时的原始遥感图像，θ表示学习参数，pθ(xt-1∣xt,y0)表示学习参数从xt到xt-1的逆跃迁核；
22、通过最小化负证据下界优化学习参数θ，表示式为：
23、式中，min表示求最小值函数，dkl[∥]表示kullback-leibler散度，q(xt-1∣xt,x0,y0)表示目标分布；
24、目标分布的后验分布的表达式为：
25、
26、进一步地，所述步骤s2还包括：
27、编码器将原始遥感图像及其低分辨率图像编码为潜在表示，获得原始遥感图像及其低分辨率图像的潜在图像，而解码器基于所述潜在表示重构图像。
28、本发明具有如下有益效果：
29、本发明提供了一种基于残差潜扩散模型的遥感超分辨率图像生成方法，该方法涉及扩散模型，扩散模型定义了条件图像生成和超分辨率的最新进展，与其他类型的生成模型相比，可以很容易地应用于诸如修复、着色、以及基于笔划的合成的任务，可以对自然图像的高度复杂分布进行建模，有助于提高图像生成的准确性；该方法通过应用于预训练自动编码器的潜在空间减少了gpu耗费，通过在高分辨率图像和低分辨率图像之间移动残差，能够显著减少扩散步骤的数量，保证其质量和灵活性的同时，大大提高了转移效率，有助于消除推理过程中需要的后加速及其相关的性能，进一步提升了遥感超分辨率图像的生成效率。
1.一种基于残差潜扩散模型的遥感超分辨率图像生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于残差潜扩散模型的遥感超分辨率图像生成方法，其特征在于，所述步骤s2包括：
3.根据权利要求1所述的一种基于残差潜扩散模型的遥感超分辨率图像生成方法，其特征在于，所述步骤s3包括：
4.根据权利要求3所述的一种基于残差潜扩散模型的遥感超分辨率图像生成方法，其特征在于，所述将原始遥感图像及其对应的低分辨率图像之间的残差作为学习空间，训练残差扩散模型的概率分布，包括：
5.根据权利要求4所述的一种基于残差潜扩散模型的遥感超分辨率图像生成方法，其特征在于，所述将原始遥感图像及其对应的低分辨率图像之间的残差作为学习空间，训练残差扩散模型的概率分布，还包括：
6.根据权利要求2所述的一种基于残差潜扩散模型的遥感超分辨率图像生成方法，其特征在于，所述步骤s2还包括：
