本发明属于卫星图像处理领域，尤其涉及一种基于深度学习的卫星图像低相干区域识别方法及装置。
背景技术：
合成孔径雷达干涉测量(insar)是利用相位信息提取地面高程的空间对地观测技术，具有全天时、全天候、高精度、大面积的特点，在海洋、自然灾害、极地、测绘、军事等方面得到广泛的应用，为国民经济的发展和国家的安全作出突出贡献。
天绘-2卫星是我国自主研制的首颗基于编队体制的微波型、地形类测绘卫星，它利用insar技术可以高效的获取高精度dem数据，但是由于insar技术的复杂性，仍然有许多问题没有得到本质性解决，比如insar单视复影像对(slc)的回波信号失相干问题，造成一定区域的低相干数据即是其中之一。长期以来，低相干区域的识别与漏洞填补需要人工去进行判断与手动编辑，在天绘-2卫星每天最大接收数据达1300景的需求前提下，靠人工进行低相干区域的标注与漏洞填补，生产效率低下，显然难以满足实际生产的需要，无法保障全球测绘的实际生产任务需求。近年来，随着深层神经网络在多种计算机视觉任务中取得的惊人进展，已有许多研究将其应用于光学遥感影像分析，并在路网提取、植被分类、遥感变化检测等方向取得了超越传统方法的成绩。然而，针对sar影像本身成像特性造成的雷达阴影、叠掩、光滑平面(水面)等形成的低相干区域，加上因重复轨道以及编队飞行问题造成的时间-距离的失相干，各种复杂因素叠加在一起，给天绘-2卫星的低相干区域识别增加了困难，另外，深度学习与sar影像识别技术进行结合在如下几个方面还面临挑战：1.sar低相干区域的类内差异性和类间相似性增加了提取的难度；2.不同季节、不同地区的sar图像差异显著，模型预测能力在不同时相数据集间波动很大；3.因天绘-2卫星需保障全球测绘任务，数据是海量的，但可用于监督训练的样本十分有限。
技术实现要素：
本发明旨在解决上述问题，提供一种基于深度学习的卫星图像低相干区域识别方法及装置。
第一方面，本发明提供一种基于深度学习的卫星图像低相干区域识别方法，包括如下步骤：
步骤1、亚像元级配准；对sar图像通过测度函数进行对准，得到匹配点集合；
步骤2、粗差探测与剔除；剔除步骤1所得匹配点集合中存在的误匹配点；
步骤3、辅图像重采样；根据步骤2中所得经剔除处理后的匹配点集，对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
步骤4、质量图生成；根据主图像、辅图像生成相关系数矩阵，即质量图；
步骤5、提取质量图特征；使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；
步骤6、对象粗分割；以图像特征图为输入，将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
步骤7、类别对象表示；在粗分割基础上通过计算得到各个像素的加权量化表示；
步骤8、像素特征增强表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；
步骤9、像素语义标签生成；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述亚像元级配准中对sar图像通过测度函数进行对准或者直接对测度函数的结果进行插值处理，得到匹配点集合。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述对测度函数的结果进行插值处理过程为：以参考点为中心在主图像上开辟m×m的目标窗口，辅图像上对应位置开辟n×n的搜索窗口，其中n>m，目标窗口在搜索窗口中滑动，计算所有的配准测度函数值，然后用双三次样条插值法以0.1个像元间隔插值测度函数获取参考点的精确偏移量以及配准位置。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述粗差探测与剔除中采用均值方差法，具体包括：
步骤21、计算某一列有效参考点方位向和距离向偏移量的均值和方差；
步骤22、逐点计算每一个参考点和均值的偏移量，如果大于方差的β倍(β取值为1.6)，则将该点剔除；
步骤23、重复执行步骤21和步骤22，直至计算完成。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述图像特征提取采用具有残差连接的、同时加入多个通道注意力模块和密集跳层的卷积神经网络，该卷积神经网络的基本组成单元为残差卷积模块，公式为：xl 1＝f(xl,wl) xl。
其中xl 1为残差卷积模块输出特征图，xl为输入特征图，wl为卷积计算参数，f为一系列嵌套的卷积算子。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述类别对象表示中通过下式在粗分割的基础上计算对象表示：
fk＝∑i∈imkixi；
其中，fk为对象k的表示，mki为像素i对对象k的隶属度，由粗分割结果获取，xi为i的像素表示，即位置i处的图像特征。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述像素特征增强表示，该特征被用于像素语义分割；通过下式表示：
其中，像素特征xi与类别对象表示yi拼接后通过函数g(·)得到像素特征增强表示zi，g(·)通过带有批归一化和非线性激活函数的1×1卷积实现。
第二方面，本发明提供一种基于深度学习的卫星图像低相干区域识别装置，包括：
图像预处理模块，用于对sar图像通过测度函数进行对准，得到匹配点集合；剔除匹配点集合中存在的误匹配点；对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
质量图处理模块，用于根据主图像、辅图像生成相关系数矩阵，即质量图；然后使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
识别处理模块，用于在粗分割基础上通过计算得到各个像素的加权量化表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
第三方面，本发明提供一种基于深度学习的卫星图像低相干区域识别电子装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如第一方面所述的基于深度学习的卫星图像低相干区域识别方法。
第四方面，本发明提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面所述的基于深度学习的卫星图像低相干区域识别方法。
本发明所述基于深度学习的卫星图像低相干区域识别方法及装置，通过基于对sar图像处理得到的质量图与语义分割结合成一个流程化学习框架，并引入深度卷积网络进行识别，相较于人工判读和传统机器学习算法，本发明所述的基于深度学习的低相干区识别方法大大减少了对人工特征工程和样本数据的依赖，且基于卷积计算的高效性能够快速处理大范围区域；同时在引入全局注意力的基础上，进一步描述各像素位置与语义类别间的关系表示，缓解sar影像固有的高噪声区域的识别效果，并在不显著增加计算量的前提下提升识别精度准确提取低相干区域。
附图说明
图1为本发明实施例所述基于深度学习的卫星图像低相干区域识别方法示意图；
图2为本发明实施例所述图形特征提取网络结构示意图；
图3为本发明实施例所述基于深度学习的卫星图像低相干区域识别装置结构示意图。
具体实施方式
下面通过附图及实施例对本发明所述基于深度学习的卫星图像低相干区域识别方法及装置进行详细说明。
实施例一
本实施例所述基于深度学习的卫星图像低相干区域识别方法，如图1所示，包括如下具体步骤：步骤1、亚像元级配准；通过测度函数将两幅insar单视复影像对进行对准，得到匹配点集合；
步骤2、粗差探测与剔除；剔除步骤1所得匹配点集合中存在的误匹配点；
步骤3、辅图像重采样；根据步骤2中所得经剔除处理后的匹配点集，对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
步骤4、质量图生成；根据主图像、辅图像生成相关系数矩阵，即质量图；
步骤5、提取质量图特征；使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；
步骤6、对象粗分割；以图像特征图为输入，将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
步骤7、类别对象表示；在粗分割基础上通过计算得到各个像素的加权量化表示；
步骤8、像素特征增强表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；
步骤9、像素语义标签生成；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
在本公开实施例中，为了提高算法的效率，采用插值测度函数的方法，以参考点为中心在主图像上开辟m×m的目标窗口，辅图像上对应位置开辟n×n的搜索窗口(n>m)，目标窗口在搜索窗口中滑动，计算所有的配准测度函数值，然后用双三次样条插值法以0.1个像元间隔插值测度函数获取参考点的精确偏移量以及配准位置。
为引入影像中隐含的相位信息，在本公开实施例中采用频谱极大值法作为测度函数，频谱极大值测度以寻求两幅复数图像的频谱极大值作为配准测度，当两幅复图像精确配准时，形成的干涉条纹质量最高；
f＝fft(r·s*)(1)
公式(1)中r和s为主图像和辅图像，*表示复共轭，fft表示二维傅里叶变换。由此得到二维干涉条纹频谱，公式(2)中f表示图像的频谱值，fmax为频谱中最大值，代表最亮条纹的空间频率。最亮条纹的相对质量可以由频率信噪比snr来确定，如果两幅复图像配准得好，则信噪比就高，反之则低。
在进行粗差探测与剔除时，受相干斑噪声和透视收缩、叠掩、阴影等现象的影响，配准结果中某些点会存在误匹配现象，必须将这些误匹配点探测出来，保障影像配准的可靠性。粗差剔除方法采用均值方差法，具体过程为：
步骤21、计算某一列有效参考点方位向和距离向偏移量的均值和方差；
步骤22、逐点计算每一个参考点和均值的偏移量，如果大于方差的β倍(β取值为1.6)，则将该点剔除；
步骤23、重复执行步骤21和步骤23，直至计算完成。
建立配准模型时对主、辅图像之间的配准偏移量进行多项式拟合。利用该模型可以计算出图像重叠区域每一个像元的配准偏移量。从而获得主图像中每一个像元在辅图像中所对应的同名像元，从而建立复图像对的坐标转换关系。这里采用二次多项式配准模型，即：
主图像所有像元坐标通过配准模型可以计算出对应偏移量，由此可以在辅图像中找到主图像对应的配准位置，该位置上的值需要按照双线性插值函数对辅图像进行重采样，具体应用中可选用双线性插值法、三次卷积内插法等。
生成质量图即相关系数图，相关系数的定义为：
公式(4)中，γc是相关系数，m是主影像，s是辅影像，*是复影像共轭相乘；e{.}是数学期望。基于上述公式，得到主辅影像质量图离散表达式为：
进行图像特征提取，本公开实施例将低相干区识别问题视为语义分割问题，输入为生成的质量图，通过神经网络算法获取每个像素位置属于低相干区的概率。针对sar低相干区域在地物覆盖语义层级上的复杂性，使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，由浅及深逐步获取图像浅层和抽象特征，其基本组成单元为残差卷积模块，公式为：xl 1＝f(xl,wl) xl；(6)。
在本公开实施例中图像特征提取采用具有残差连接的卷积神经网络，通过加入多个通道注意力模块和密集跳层连接改善sar影像固有的高噪声区域的识别效果，同时，针对输入影像特征，采用分组卷积和深窄的网络结构，该网络根据特征图大小可分为4个阶段，每个阶段下图像尺寸皆为上一阶段的0.5倍，每个特征图对应图像在网络某层级下的某项特征，网络结构如图2所示。
以图像特征图为输入，将其分为k个区域，每个区域对应一类，描述特征图中各像素属于该类的概率。该过程通过一个简单的卷积神经网络实现，网络输出经插值得到与输入图像等尺寸的粗分割图，通过真值标签训练。
通过下式在粗分割的基础上计算对象表示：fk＝∑i∈imkixi；(7)
其中，fk为对象k的表示，mki为像素i对对对象k的隶属度，由粗分割结果获取，xi为i的像素表示，即位置i处的图像特征。
得到对象表示fk后，计算对象与像素的相关性：
κ(x,f)＝φ(x)tψ(f)(9)
最后，通过下式计算每个像素位置处类别对象的加权表示：
公式(8)、(9)、(10)中，φ(·)、ψ(·)、δ(·)、ρ(·)为非线性函数，通过带有批归一化和非线性激活函数的1×1卷积实现。
对象关系表示描述了每个像素位置处语义类别的相关关系，将之与像素特征进行融合可获得增强的像素特征，该特征被用于像素语义分割：
公式(11)中，像素特征xi与类别对象表示yi拼接后通过函数g(·)得到像素特征增强表示zi，g(·)通过带有批归一化和非线性激活函数的1×1卷积实现。
在像素增强表示的基础上，通过一个浅层卷积网络将每个像素映射到一个语义类别，网络参数通过真值标签优化。本算法将低相干区识别视为语义分割问题，属于监督学习算法，需要通过反向传播优化神经网络参数，优化完成后即可将参数固化用于推理预测。训练过程中损失函数定义为crossentropyloss与diceloss之和。
公式(12)为crossentropyloss公式，其中yi为真值标签，fi(x)为网络预测类别；公式(13)为diceloss公式，其中pi和yi分别为某类的网络预测值和真值。
实施例二
在本公开另一实施例所述基于深度学习的卫星图像低相干区域识别装置，如图3所示，包括图像预处理模块、质量图处理模块和识别处理模块。
图像预处理模块，用于对sar图像通过测度函数进行对准，得到匹配点集合；剔除匹配点集合中存在的误匹配点；对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样。
质量图处理模块，用于根据主图像、辅图像生成相关系数矩阵，即质量图；然后使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率。
识别处理模块，用于在粗分割基础上通过计算得到各个像素的加权量化表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
实施例三
本公开另一具体实施例所述基于深度学习的卫星图像低相干区域识别电子装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，使得计算机执行上述实施例一所述的基于深度学习的卫星图像低相干区域识别方法，具体识别步骤与前述实施例一相同，不再赘述。
实施例五
本公开另一具体实施例所述计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使计算机执行上述实施例一所述的基于深度学习的卫星图像低相干区域识别方法，具体识别步骤与前述实施例一相同，不再赘述。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(dvd))或者半导体介质(例如，固态硬盘(ssd))等。计算机存储代码所形成软件可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
1.一种基于深度学习的卫星图像低相干区域识别方法，其特征在于，包括如下步骤：
步骤1、亚像元级配准；对sar图像通过测度函数进行对准，得到匹配点集合；
步骤2、粗差探测与剔除；剔除步骤1所得匹配点集合中存在的误匹配点；
步骤3、辅图像重采样；根据步骤2中所得经剔除处理后的匹配点集，对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
步骤4、质量图生成；根据主图像、辅图像生成相关系数矩阵，即质量图；
步骤5、提取质量图特征；使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；
步骤6、对象粗分割；以图像特征图为输入，将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
步骤7、类别对象表示；在粗分割基础上通过计算得到各个像素的加权量化表示；
步骤8、像素特征增强表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；
步骤9、像素语义标签生成；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
2.根据权利要求1所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述亚像元级配准中对sar图像通过测度函数进行对准或者直接对测度函数的结果进行插值处理，得到匹配点集合。
3.根据权利要求1或2所述基于深度学习的卫星图像低相干区域识别方法，其特征在于，所述对测度函数的结果进行插值处理过程为：以参考点为中心在主图像上开辟m×m的目标窗口，辅图像上对应位置开辟n×n的搜索窗口，其中n>m，目标窗口在搜索窗口中滑动，计算所有的配准测度函数值，然后用双三次样条插值法以0.1个像元间隔插值测度函数获取参考点的精确偏移量以及配准位置。
4.根据权利要求3所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述粗差探测与剔除中采用均值方差法，具体包括：
步骤21、计算某一列有效参考点方位向和距离向偏移量的均值和方差；
步骤22、逐点计算每一个参考点和均值的偏移量，如果大于方差的β倍，则将该点剔除；
步骤23、重复执行步骤21和步骤22，直至计算完成。
5.根据权利要求4所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述图像特征提取采用具有残差连接的、同时加入多个通道注意力模块和密集跳层的卷积神经网络，该卷积神经网络的基本组成单元为残差卷积模块，公式为：xl 1＝f(xl,wl) xl。
6.根据权利要求5所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述类别对象表示中通过下式在粗分割的基础上计算对象表示：
fk＝∑i∈imkixi；
其中，fk为对象k的表示，mki为像素i对对象k的隶属度，由粗分割结果获取，xi为i的像素表示，即位置i处的图像特征。
7.根据权利要求6所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述像素特征增强表示，该特征被用于像素语义分割；通过下式表示：
其中，像素特征xi与类别对象表示yi拼接后通过函数g(·)得到像素特征增强表示zi，g(·)通过带有批归一化和非线性激活函数的1×1卷积实现。
8.一种基于深度学习的卫星图像低相干区域识别装置，其特征在于，包括：
图像预处理模块，用于对sar图像通过测度函数进行对准，得到匹配点集合；剔除匹配点集合中存在的误匹配点；对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
质量图处理模块，用于根据主图像、辅图像生成相关系数矩阵，即质量图；然后使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
识别处理模块，用于在粗分割基础上通过计算得到各个像素的加权量化表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
9.一种基于深度学习的卫星图像低相干区域识别电子装置，其特征在于：包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-7任一项所述的基于深度学习的卫星图像低相干区域识别方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的基于深度学习的卫星图像低相干区域识别方法。
技术总结