本发明属于图像处理领域，具体涉及一种基于自适应二值卷积网络的遥感图像超分辨率方法。
背景技术：
1、遥感图像是通过航天器、飞机以及卫星等平台上的传感器远距离收集到的图像；这些传感器可以捕捉到从可见光到红外线乃至微波等不同波长的电磁波辐射，因此遥感图像能够提供大范围、多尺度的观测视角。
2、由于遥感技术通常涉及从高空或太空对地球进行观测，因此它能够覆盖广阔的地理区域，这对于需要进行大区域地表监测和分析的应用尤为重要。此外，遥感图像还具有高效性和经济性的特点。与传统的地面调查方法相比，遥感技术能够更快速、更经济地获取大范围的地表信息，尤其在难以接近或人迹罕至的地区。遥感图像的作用广泛而深远，在环境监测、资源管理、农林业评估城市规划、灾害预警与应对、气候变化研究等领域中发挥着重要作用。例如，通过遥感图像，科学家可以监测森林覆盖变化、城市扩张、冰川融化等现象。
3、随着遥感技术的发展，人们对高分辨率遥感图像的需求日益提升，但获取和传输这些图像却较为困难。这是由于在遥感领域，人造卫星等设备的存储和计算能力有限。为此，常见的方法是在卫星等终端设备上获取与传输低分辨率的图像至地面，并使用超分辨率技术将低分辨率图像还原成高分辨率图像。
4、超分辨率技术是数字图像处理中的一个重要环节，它在保持图像物理尺寸不变的前提下，通过增加图像的像素数量来提高图像的分辨率，进而改善图像的视觉质量。这一过程在多个领域内都有着广泛的应用，包括图像恢复、医学成像和卫星图像处理等领域。通过上采样技术，可以使得图像在放大查看时细节更加清晰，边缘更加平滑，从而在不同的应用场景中提供更高质量的视觉体验。
5、尽管超分辨率技术在实际应用中具有巨大的价值，但其实现过程也面临着许多困难和挑战：
6、首先，超分辨率过程中最大的挑战之一是如何在增加像素的同时，有效地重建图像中的高频细节，避免图像出现模糊或失真。此外，上采样过程在处理大规模图像或进行实时图像处理时，往往需要大量的计算资源，而在卫星，无人机等小型终端设备上，存储和计算能力往往十分有限。因此，人们迫切需要设计一种轻量级的超分辨率方法。
7、在探索轻量级超分辨率技术的过程中，二值卷积网络作为一种特殊类型的深度学习模型，引起了人们的关注。二值卷积网络的核心思想是在网络中使用二值化的权重和激活函数，即网络中的参数和激活值只能取0或1。这种设计极大地减少了模型的计算复杂度和内存需求，使得二值卷积网络特别适合部署在上述计算资源受限的终端设备中。
8、通过利用二值卷积网络，可以在保证超分辨率质量的同时，显著降低计算成本和提高处理速度；因此，人们迫切需要一种使用二值卷积神经网络的超分辨率方法，以获得能部署在边缘设备上的遥感图像超分辨率方法。
技术实现思路
1、本发明提供了一种基于自适应二值卷积网络的遥感图像超分辨率方法，采用连续二值卷积网络对低分辨率图像进行特征提取，特征融合模块对提取到的多尺度特征进行融合，利用上采样层处理融合后的特征图，还原出高分辨率遥感图像。相比于现有方法，本发明的计算开销与占用内存较少，能满足部署在嵌入式系统等边缘设备上的需求，且能被用于生成高分辨率的遥感图像。
2、所述基于自适应二值卷积网络的遥感图像超分辨率方法，具体步骤如下：
3、步骤一、从现有数据集中采集图像作为原始数据集，并进行处理；
4、选用的现有数据集为geoeye-1数据集和google earth数据集；
5、具体处理包括：
6、首先，对原始数据集中的图片像素值归一化到[0,1]范围，作为训练标签的高分辨率图像保存；
7、然后，将高分辨率图像通过双三次插值下采样获得低分辨率图像，并将低分辨率遥感图像裁剪成48×48大小的图片；
8、步骤二、将裁剪后的低分辨率图像输入通道数为64的常规卷积层，得到尺寸为48×48×64的第一特征图；
9、步骤三、将第一特征图输入到由32层连续二值卷积层构成的特征提取网络，对其进行特征提取；
10、具体为：
11、将第一特征图输入到8层二值卷积层构成的卷积器，得到尺寸48×48×64的第二特征图；
12、将第二特征图输入由8层二值卷积层构成的卷积器，得到尺寸为48×48×64的第三特征图；
13、将第三特征图输入由8层二值卷积层构成的卷积器，得到尺寸为48×48×64的第四特征图；
14、将第四特征图输入由8层二值卷积层构成的卷积器，得到尺寸为48×48×64的第五特征图；
15、每层二值卷积层的前向传播部分，具体步骤为:
16、步骤301、将输入的低分辨率遥感图像通过二维批归一化函数进行标准化；
17、批归一化函数对卷积权重的计算公式如下：
18、w为每一层卷积层的权重，βw和αw分别是实值权重的平均值和方差；
19、批归一化函数对输入图像的计算公式如下：
20、其中，x为每一层卷积层的输入特征图；αx和βx为每一层输入特征图采用的可学习参数，用于学习特征图中各特征值的分布范围与偏置；初始设置βx＝0，αx＝1；
21、步骤302：将标准化后的特征图与卷积权重，输入二值符号函数提取二值特征信息；
22、二值符号函数如下式所示：
23、
24、步骤303：将提取到的二值特征图与二值权重，输入反归一化函数用于还原数据的原始分布；
25、用于特征图的反归一化函数如下式所示：
26、xb＝αxsign(x)+βx
27、用于卷积权重的反归一化函数如下式所示：
28、wb＝αwsign(w)+βw
29、步骤304：将反归一化后的特征图与权重进行二进制异或运算，并对运算结果进行位计数操作，将所得结果作为前向传播的输出；
30、步骤四、将二值卷积网络中第二至第五的特征图，输入到特征融合网络中，分别进行卷积核大小为1的二值卷积，并在卷积后的特征图逐点求平均值，得到第六特征图；
31、步骤五、将第六特征图输入上采样层进行上采样，后将输出通道重新排列，得到高分辨率的遥感图像
32、步骤六、将裁剪后的低分辨率图像经过双三次插值进行上采样，得到常规高分辨率图像与高分辨率的遥感图像逐像素相加，得到最终的高分辨率图像。
33、步骤七、将最终得到的高分辨率图像与保存的训练标签的高分辨率图像进行对比，通过损失函数计算损失；
34、损失函数计算公式如下：
35、
36、其中，sr()为最终的高分辨率图像，hr()代表训练标签的高分辨率图像，n和m分别为最终的高分辨率图像的长和宽。
37、步骤八、对损失函数求导，将导数作为输出层的梯度，后沿着上采样层、特征融合网络和特征提取网络的顺序反向传播，得到每层二值卷积层的权重梯度值；使用梯度下降法对每一层卷积的权重梯度进行更新，从而不断降低损失函数，最终保存损失函数最小值对应的各层网络参数；
38、反向传播使用含有自适应因子γx和γw的tanh函数计算，公式如下：
39、
40、其中，γx和γw会在每轮训练过程中自动更新，初始值为1。
41、步骤九、将新采集的低分辨率遥感图像，依次输入到训练好网络参数的特征提取网络、特征融合网络和上采样层中，输出超分辨率图像，即可实现对遥感图像的超分辨率。
42、本发明与现有技术相比，其有益效果为：
43、(1)本发明将特征提取网络、特征融合网络和上采样层组合在一起，形成超分辨网络模型，通过在多个行业基准数据集上进行广泛的训练与测试，有效提升了模型的泛化能力，提升了网络在处理来自不同来源的卫星遥感图像时的效果。
44、(2)本发明改进了二值卷积网络的训练效率：相对于现有二值卷积网络只针对前向传播过程进行优化，本发明提出的连续二维卷积网络在保证网络前向传播的特征提取能力的同时，通过自适应比例因子γx和γw显著提高了训练效率，在减少训练所需时间的同时优化了网络的特征提取能力。
45、(3)本发明通过对连续二值卷积网络进行改进，能够更加有效地提取图像特征，显著提升了超分辨率图像的分辨率，并使得重建后的图像能够呈现更多的细节。
1.一种基于自适应二值卷积网络的遥感图像超分辨率方法，其特征在于，具体步骤如下：
2.如权利要求1所述的一种基于自适应二值卷积网络的遥感图像超分辨率方法，其特征在于，所述步骤一中，选用的现有数据集为geoeye-1数据集和google earth数据集；
3.如权利要求1所述的一种基于自适应二值卷积网络的遥感图像超分辨率方法，其特征在于，所述步骤二中，特征提取网络具体为：
4.如权利要求1所述的一种基于自适应二值卷积网络的遥感图像超分辨率方法，其特征在于，所述步骤六中，损失函数计算公式如下：
5.如权利要求1所述的一种基于自适应二值卷积网络的遥感图像超分辨率方法，其特征在于，所述步骤七中，反向传播使用含有自适应因子γx和γw的tanh函数计算，公式如下：
