本发明属于图像处理领域，具体涉及一种基于多特征融合网络的连续遥感图像超分辨率方法。
背景技术：
1、图像超分辨率是计算机视觉领域中非常重要的内容，其通过使用神经网络等手段从低分辨率图像中重建具有更多细节信息的高分辨率图像。
2、随着遥感技术的发展，人们对高分辨率遥感图像的需求日益提升，但获取和传输这些图像却较为困难。因此，超分辨率技术对于提高遥感图像质量至关重要，并在土地覆盖场景分类、目标检测与识别、语义分割和变化检测等应用中发挥了关键作用。然而，由于相同的低分辨率图像可能对应数个合理的高分辨率图像，因此超分辨率技术是一个不适定问题。
3、最近，基于深度学习和卷积神经网络的超分辨率方法取得了巨大成功，被广泛应用于遥感图像超分辨率任务中：神经网络通过学习低分辨率和高分辨率图像之间的映射函数来完成超分辨率任务；随着研究的进一步深入，人们引入了拥有更强学习能力的卷积神经网络，使得所生成的高分辨率图像质量显著提升。此后，研究人员设计了许多基于卷积神经网络的超分辨率方法，利用其强大的特征表示能力和非线性拟合能力取得了许多成果。
4、然而，这些方法只关注了低分辨率图像的低频特征或只关注了低分辨率图像的高频特征，而没有兼顾任意频率的遥感图像特征，这使得在通过卷积神经网络进行特征提取的过程中容易丢失图像中的大量有效信息，严重影响超分辨率任务的结果。
5、此外，现有的基于神经网络的超分辨率方法往往只能针对某一固定尺度对低分辨率图像进行放大，且一经训练完成后便不能再修改，无法满足人们生活中对低分辨率图像进行连续尺度放大的实际需要。
6、为此，人们迫切需要一种新的遥感图像超分辨率方法，以满足对遥感图像实现高精度连续尺度超分辨率的需求。
技术实现思路
1、针对上述问题，本发明提供了一种基于多特征融合网络的连续尺度遥感图像超分辨率方法，利用多特征融合网络对卷积神经网络的多层次特征图进行有效融合，提升网络的信息获取能力，获得低分辨率融合特征图；采用连续上采样模块有效结合低分辨率遥感图像中的高、低频细节信息，从低分辨率融合特征图中生成高分辨遥感图像。相比于现有的遥感图像超分辨率方法，能生成连续尺度的超分辨率遥感图像，并具有更高的精度。
2、所述基于多特征融合网络的连续遥感图像超分辨率方法，具体步骤如下：
3、步骤一、从现有数据集中采集图像作为原始数据集，并进行处理得到带标签的高分辨率图像和对应的原始低分辨率图像；
4、步骤二、将原始低分辨率图像输入通道数为64的常规卷积层，得到尺寸为48×48×64的第一特征图；
5、步骤三、将第一特征图输入到由32层卷积层构成的特征提取网络，生成四种包含不同深度特征信息的中间特征图；
6、具体为：
7、步骤3-1：将第一特征图输入由8层大小为3×3、步长为1，填充为1的卷积层构成的卷积器，得到尺寸为48×48×64的第二特征图；
8、步骤3-2：将第二特征图输入由8层大小为3×3、步长为1，填充为1的卷积层构成的卷积器，得到尺寸为48×48×64的第三特征图；
9、步骤3-3：将第三特征图输入由8层大小为3×3、步长为1，填充为1的卷积层构成的卷积器，得到尺寸为48×48×64的第四特征图；
10、步骤3-4：将第四特征图输入由8层大小为3×3、步长为1，填充为1的卷积层构成的卷积器，得到尺寸为48×48×64的第五特征图；
11、步骤四、将四种不同深度信息的中间特征图划分为两组，使用包含两个特征融合模块的特征融合网络，分别对两组特征图进行融合；
12、所述两个特征融合模块结构一致，将第二特征图和第三特征图作为一组，输入特征融合模块一中，将第四特征图和第五特征图作为一组，输入特征融合模块二中；
13、每个特征融合模块的融合过程为：
14、步骤401、将每个特征图分别按照通道拆分，均得到四个通道数为16的特征图；
15、步骤402、将一组中对应的四通道特征图分别进行连接，形成四个连接特征图；
16、步骤403、对第一个连接特征图进行扩张值为1，大小为3×3、步长为1，填充为1的空洞卷积，对第二个连接特征图进行扩张值为5，大小为3×3、步长为1，填充为5的空洞卷积，并将卷积所得的两个特征图进行通道连接，并再次通过卷积核大小为1，步长为1，填充为0的卷积得到第一融合特征图；
17、步骤404、对第三个连接特征图进行扩张值为2，大小为3×3、步长为1，填充为2的空洞卷积，对第四个连接特征图进行扩张值为3，大小为3×3、步长为1，填充为3的空洞卷积，并将卷积所得的两个特征图进行通道连接，并在此通过卷积核大小为1，步长为1，填充为0的卷积得到第二融合特征图；
18、步骤405、将两个融合特征图进行像素级的均值计算，得到该组的融合特征图；
19、步骤五、对两组融合特征图进行通道连接，后通过卷积核大小为1，步长为1，填充为0，输出通道数为64的卷积，得到融合了不同深度信息的第六特征图；
20、步骤六：将第六特征图与第一特征图逐像素相加，得到尺寸为48×48×64的第七特征图；
21、步骤七、使用连续上采样模块，对融合的第七特征图进行连续上采样，生成高分辨率图像
22、连续上采样模块包含两条路径，将第七特征图分别作为两条路径的输入，用于生成表示频率信息的高分辨率特征图f1和表示相位信息的高分辨率特征图f2。
23、f1为从第一条路径中所生成的表示频率信息的高分辨率特征图，其生成公式如下：
24、
25、在上式中，hf()为卷积核大小为3×3、步长为1，填充为1的卷积层。hp()表示一个输出通道数为64全连接层。near表示最近邻插值上采样操作。coord代表低分辨率特征图中各点与其经过最近邻插值上采样生成的高分辨率特征图中各点的相对坐标差。s表示进行上采样时的尺度倍数，可为任意实数。fm为包含多层次融合特征的第七特征图。
26、第一条路径的频率表征信息的具体生成过程为：
27、步骤701、将第七特征图经过卷积层，并依据人为设定的上采样倍数执行最近邻上采样，获得高分辨率特征图fn1；
28、步骤702、记录高分辨率特征图fn1中每一个特征点与其在第七特征图中的来源点之间的相对位置差，得到位置差矩阵，将位置差矩阵与高分辨率特征图fn1相乘，获得包含相对位置信息的高分辨率特征图fn1′。
29、步骤703、将上采样长、宽的倍数输入通道数为32的全连接层，得到尺度矩阵ms；
30、步骤704、将高分辨率特征图fn1′按照通道拆分，得到两个通道数为32的高分辨率特征图，将两个高分辨率特征图分别通过cos和sin变换以转移至傅里叶空间中，得到不同频率特征的高分辨率特征图ff1与ff2；
31、步骤705、将高分辨率特征图ff1，ff2分别与尺度矩阵ms相加，再进行通道连接，最终得到通道数为64的包含频率表征信息的高分辨率特征图f1。
32、f2为从第二条路径中所生成的表示相位信息的高分辨率特征图，其生成公式如下：
33、f2＝near(ha(fm))
34、ha()为大小为3×3、步长为1，填充为1的卷积核的卷积层。
35、第二条路径的相位表征信息的具体生成过程为：
36、步骤706、将第七特征图经过卷积层，并依据上采样倍数执行最近邻上采样，获得通道数为64表示相位信息的高分辨率特征图f2；
37、步骤707、将高分辨率特征图f1与高分辨率特征图f2逐像素相乘，获得融合后的高分辨率特征图fd；
38、融合公式如下：
39、
40、代表特征图特征点间的逐点乘法操作。
41、步骤708、将高分辨率特征图fd通过由4层全连接层组成的多层感知机，其中前3层全连接层融合高分辨率特征图并提取深层信息，第4层全连接层输出符合上采样倍数尺度的高分辨率rgb三通道图像
42、步骤八：将原始低分辨率图像经过双三次插值进行上采样，得到常规高分辨率图像并与高分辨率图像逐像素相加，得到最终的高分辨率图像。
43、步骤九、将最终得到的高分辨率图像与保存的训练标签的高分辨率图像进行对比，通过损失函数计算损失；
44、损失函数计算公式如下：
45、
46、其中，sr()为最终的高分辨率图像，hr()代表训练标签的高分辨率图像，n和m分别为最终的高分辨率图像的长和宽。
47、步骤十、对损失函数求导，将导数作为输出层的梯度，后沿着连续上采样模块、特征融合网络和特征提取网络的顺序反向传播，得到每层全连接层和卷积层的权重梯度值；使用梯度下降法对每一层全连接层和卷积层的权重梯度进行更新，从而不断降低损失函数，最终保存损失函数最小值对应的各层网络参数；
48、步骤十一、设定任意的超分辨率上采样倍数，将新采集的低分辨率遥感图像，依次输入到训练好网络参数的特征提取网络、特征融合网络和连续上采样模块中，输出超分辨率图像，即可实现对遥感图像连续尺寸的超分辨率。
49、本发明与现有技术相比，其有益效果为：
50、(1)本发明在多个行业基准数据集上进行了广泛的训练与测试，有效提升了模型的泛化能力，提升了网络在处理来自不同来源的卫星遥感图像时的效果。
51、(2)相对于现有技术只针对固定比例的超分辨率模型进行训练，本发明适应连续尺寸比例的遥感图像超分辨率任务需求，在训练完成后可以对任何需要的放大比例实现遥感超分辨率任务。
52、(3)相对于现有技术，本发明通过对不同层次的特征进行提取与融合，能够更加有效地将低分辨率遥感图像重建为高分辨率图像，显著提升了超分辨率图像的分辨率，并使得重建后的图像能够呈现更多的细节，提升了输出图像的质量。
1.一种基于多特征融合网络的连续遥感图像超分辨率方法，其特征在于，具体步骤如下：
2.如权利要求1所述的一种基于多特征融合网络的连续遥感图像超分辨率方法，其特征在于，所述步骤一中，选用的现有数据集为geoeye-1数据集和google earth数据集；
3.如权利要求1所述的一种基于多特征融合网络的连续遥感图像超分辨率方法，其特征在于，所述步骤三具体为：
4.如权利要求1所述的一种基于多特征融合网络的连续遥感图像超分辨率方法，其特征在于，所述步骤四每个特征融合模块的融合过程为：
5.如权利要求1所述的一种基于多特征融合网络的连续遥感图像超分辨率方法，其特征在于，所述步骤七中，第七特征图输入第一条路径中所生成的表示频率信息的高分辨率特征图f1，其生成公式如下：
6.如权利要求5所述的一种基于多特征融合网络的连续遥感图像超分辨率方法，其特征在于，所述高分辨率特征图f1具体生成过程为：
7.如权利要求5所述的一种基于多特征融合网络的连续遥感图像超分辨率方法，其特征在于，所述高分辨率特征图f2具体生成过程为：
8.如权利要求1所述的一种基于多特征融合网络的连续遥感图像超分辨率方法，其特征在于，所述步骤九中，损失函数计算公式如下：
