本发明属于遥感技术与计算机视觉技术交叉领域,涉及一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法。
背景技术:
河湖岸线作为河流与湖泊自然生态空间的重要组成部分,对岸线周边区域生态文明建设与经济发展具有重要作用。随着遥感技术的不断发展,遥感影像空间分辨率不断提高,使利用遥感影像进行河湖岸线变化检测成为了可能,并将成为河湖岸线变化检测的重要技术手段,然而,由于遥感影像的复杂性,目前,河湖岸线变化检测难度较大、精度有待提高。
技术实现要素:
本发明针对河湖岸线变化检测研究领域存在的问题,提供一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法。
本发明的技术方案为一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,基于深度卷积网络与遥感水体指数,包含以下步骤:
步骤1,获取不同时期多光谱遥感影像后,进行恒等残差型unet网络建筑物提取;
步骤2,利用遥感水体指数进行水体提取;
步骤3,利用步骤1、2处理后获取的不同时期河湖岸线地物识别结果进行河湖岸线变化检测,获取河湖岸线变化检测结果,实现方式如下,
在得到经步骤1、2处理后得到的不同时期河湖岸线地物识别结果后,进行影像变化检测,再进行影像变化检测结果渲染,获取河湖岸线变化检测结果;
进一步的,步骤1中利用不同时期多光谱遥感影像进行恒等残差型unet网络建筑物提取具体实现方式如下,
以u-net为基础网络架构进行优化改进,获得恒等残差型unet网络,并进行训练相关参数设计;
所述恒等残差型unet为编码解码结构,在编码过程中,输入图像首先进行多次卷积处理,然后进行最大池化操作完成下采样,再输入到恒等残差模块中进行处理,所述恒等残差模块包含n次卷积操作,设输入特征为input,首先将输入特征input进n-1次卷积操作、批标准化及relu函数激活操作得到特征x,再将输入特征input与x进行相加操作,最后对相加后的特征进行卷积操作、批标准化及relu函数激活操作;
输入图像重复m次最大池化下采样及恒等残差模块处理后,得到底层输出特征,再对输出特征与上一层下采样的图像特征进行concat拼接操作,并进行上采样,重复m次特征拼接与上采样过程,然后进行多次卷积核操作、批归一化以及relu函数激活操作,最后进行一次卷积核大小为1×1,卷积层数为1的卷积操作及sigmoid函数激活操作,得到恒等残差型unet最终概率输出结果;
进行训练影像样本选择及预处理,将训练影像和标签,统一缩放到n×n像素大小,获得适配网络架构的训练样本;
输入训练样本进行恒等残差型unet网络训练,获得训练好的恒等残差型unet网络;
对多光谱遥感影像进行遥感影像预处理,将处理后的遥感影像分块输入训练好的网络中,再进行拼接得到建筑物提取概率图;
设定灰度阈值t1,进行建筑物提取概率图的二值化,灰度大于等于t1的像素被识别为建筑物用1表示,小于t1为非建筑物,用0表示,从而获取遥感影像建筑物提取结果。
进一步的,所述训练影像样本选择及预处理中,影像缩放插值方式为双线性插值,n的取值为128。
进一步的,所述恒等残差型unet输入特征维度为128×128×3,分别对应训练影像的rgb三波段,输出特征维度为128×128×1。
进一步的,所述恒等残差型unet采取三层网络架构设计,即进行3次下采样及3次上采样过程。
进一步的,所述恒等残差型unet在编码过程中采用3次卷积恒等残差模块,设输入特征为input,首先将输入特征input进行2次卷积核大小为3×3的卷积操作、批标准化及relu函数激活操作得到特征x,再将输入特征input与x进行相加操作,最后对相加后的特征进行卷积核大小为3×3的卷积操作、批标准化及relu函数激活操作。
进一步的,所述恒等残差型unet网络采用如下损失函数,
pi为图像第i个像素的预测概率值,gi为图像第i个像素的真实值,n为图像的像素总数。
进一步的,所述恒等残差型unet训练过程中采用adam作为优化器,以准确率accuracy作为评价标准。
进一步的,所述恒等残差型unet在训练过程中的batchsize(批训练量)设置为4,eopchs(迭代次数)设置为12。
进一步的,所述多光谱遥感影像预处理包含图像归一化操作,归一化方公式为:x_normalization=x/255。
进一步的,步骤1中所述建筑物提取概率图二值化中灰度阈值t1取值为0.5。
进一步的,步骤2中利用遥感水体指数进行水体提取的具体实现方式如下,
根据多光谱遥感影像计算ndwi水体指数,ndwi水体指数计算公式为:ndwi=(green-nir)/(green nir),其中green代表遥感影像的绿色波段,nir代表近红外波段;
设定阈值t2对ndwi影像进行影像二值化,获得遥感影像水体识别结果。
进一步的,步骤2中所述ndwi影像二值化中阈值t2取值为0.45。
本发明利用河湖岸线建筑物及水体的空间形态特性及光谱特性,联合恒等残差型unet深度学习网络与遥感水体指数ndwi,经过多个步骤对河湖岸线变化进行了有效检测,取得了理想的河湖岸线变化检测效果。
附图说明
图1是本发明实施例的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法流程图。
图2是本发明实施例的恒等残差型unet网络建筑物提取步骤流程图。
图3是本发明实施例的遥感水体指数水体提取步骤流程图。
图4是本发明实施例的河湖岸线变化检测步骤流程图。
图5是本发明实施例的恒等残差型unet网络总体架构图。
图6是本发明实施例的恒等残差型unet中恒等残差模块示意图。
具体实施方式
本发明主要基于遥感技术与计算机视觉技术,考虑到河湖岸线建筑物及水体形态及光谱特性,提出的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测实验方法及系统。本方法充分考虑了河湖岸线变化检测过程中的各种问题,通过联合恒等残差型unet深度神经网络与遥感水体指数ndwi以及相关影像处理技术进行河湖岸线变化的检测。本发明中所述河湖岸线是包含河湖岸线线状目标的带状区域,包含建筑物、水体及其他地物,通过本发明方法可以获得更为精确完整的河湖岸线变化检测结果。
本发明提供的方法能利用计算机软件技术进行编程实现。参见图1,实施例以珠江流域河湖岸线变化检测为例对本发明流程进行具体说明,如下:
步骤1,获取不同时期多光谱遥感影像后,进行恒等残差型unet架构及相关训练参数的设计,再进行训练影像样本选择及预处理,并将训练样本输入到网络架构及训练相关参数已经设计好的恒等残差型unet深度卷积神经网络中进行训练,得到训练好的恒等残差型unet深度神经网络,再对建筑待提取的多光谱遥感影像进行遥感影像预处理,将处理后的遥感影像分块输入训练好的网络中,再进行拼接得到建筑物提取概率图,最后设定灰度阈值进行影像二值化,获得遥感影像建筑物提取结果;
实施例的具体过程说明如下:
以珠江流域河湖岸线变化检测为例,首先对所选择的训练影像样本利用双线性插值方式进行图像缩放处理,将训练影像样本统一缩放至128×128的图像尺寸,再将处理后的训练影像样本输入到网络架构及训练相关参数已经设计好的恒等残差型unet深度神经网络中进行训练,得到训练好的恒等残差型unet深度神经网络,再将珠江流域待进行建筑物提取的遥感影像进行预处理,其中包含图像归一化操作,归一化操作方式为:x_normalization=x/255,进行影像归一化之后,通过128×128分块方式将处理后的遥感影像输入到训练好的恒等残差型unet网络中,再将所有分块进行拼接得到完整建筑物提取概率结果图,再设置灰度阈值t1,灰度大于t1被识别为建筑物用1表示,小于t1则为非建筑物用0表示,进行建筑物提取结果二值化,获取珠江流域建筑物提取结果,本发明中阈值t1取值为0.5,所述恒等残差型unet深度神经网络总体架构如图5所示。
在网络架构设计方面,所述恒等残差型unet深度神经网络输入特征维度为128×128×3,分别对应训练影像的rgb三波段,输出特征维度为128×128×1,对应于训练影像标签图像尺寸,采取三层网络架构设计,输入图像在网络中首先进行两次2次卷积核大小为3×3,卷积层数都为32的卷积、批归一化及relu函数激活操作,再进行pool_size=2步长为2的最大池化操作,再进行恒等残差模块处理,所述恒等残差型unet中恒等残差模块包含3次卷积操作,设输入特征为input,首先将输入特征input进行2次卷积核大小为3×3的卷积操作、批标准化及relu函数激活操作得到特征x,再将输入特征input与x进行相加操作,最后对相加后的特征进行卷积核大小为3×3的卷积操作、批标准化及relu函数激活操作,从而完成恒等残差模块处理操作。恒等残差模块能够有效的解决梯度弥散及网络退化的问题,其具体架构如图6所示。
输入图像重复3次最大池化下采样及恒等残差模块处理后,得到底层输出特征,再对输出特征与上一层下采样的图像特征进行concat拼接操作,并进行上采样,重复3次特征拼接与上采样过程,最后进行2次卷积核大小为3×3,卷积层数分别为32和2的卷积操作、批归一化以及relu函数激活操作,最后进行一次卷积核大小为1×1,卷积层数为1的卷积操作及sigmoid函数激活操作,得到恒等残差型unet最终概率输出结果。
在网络训练相关参数设置方面,由于遥感影像中建筑物目标与非建筑物目标数量不均衡,故在训练过程中采用如下损失函数,
pi为图像第i个像素的预测概率值,gi为图像第i个像素的真实值,n为图像的像素总数。其中前两项有利于解决数据平衡的问题,第三项用于分类。
另外adam优化器具有收敛速度快的优势,故采用adam作为优化器,以准确率accuracy作为评价标准,batchsize(批训练量)=4,eopchs(迭代次数)=12。
如图2所示,具体流程为,恒等残差型unet架构及训练相关参数设计,再进行训练影像选择及预处理,之后输入训练样本进行恒等残差型unet网络训练,获取训练好的恒等残差型unet深度学习网络,再对珠江流域多光谱遥感影像进行预处理,再进行恒等残差型unet建筑物提取,最后设定灰度阈值进行影像二值化,获得珠江流域遥感影像建筑物提取结果。
步骤2,首先根据多光谱遥感影像计算ndwi水体指数,再设定阈值t2对ndwi影像进行影像二值化,获得遥感影像水体识别结果;
实施例的具体过程说明如下:
以珠江流域河湖岸线变化检测为例,首先在读取珠江流域遥感影像后利用影像的绿色波段和近红外波段进行进行ndwi水体指数影像的计算,ndwi利用植被及其他地物与水体之间的波谱差异,采用创造波段差及比值的方式对水体信息进行强调,经实验验证具有较高的水体提取精度,能够有效的对水体目标进行提取,因此选用ndwi水体指数进行水体提取,ndwi水体指数计算公式为:ndwi=(green-nir)/(green nir),其中green代表遥感影像的绿色波段,nir代表近红外波段。
再设定阈值t2进行ndwi水体指数影像的二值化操作,像素灰度大于t2被识别为水体用1表示,小于t2则为非水体用0表示,从而获得遥感影像水体识别结果,本发明中阈值t2取值为0.45。
如图3所示,具体流程为,首先利用珠江流域多光谱遥感影像计算ndwi遥感水体指数,再设定阈值进行影像二值化,最终获得遥感影像水体识别结果。
步骤3,在获取步骤1、2处理后得到的不同时期河湖岸线地物识别结果后,进行影像变化检测,再对影像变化检测结果进行渲染,获得河湖岸线变化检测结果;
实施例的具体过程说明如下:
以珠江流域河湖岸线变化检测为例,在获取步骤1、2处理后得到的不同时期河湖岸线地物识别结果后,通过图像遍历操作获取变化像素,并对不同种类变化像素以不同颜色进行渲染,最终获取河湖岸线变化检测结果;
如图4所示,具体流程为,对珠江流域不同时期河湖岸线地物识别结果进行影像变化检测,再进行影像变化检测结果渲染,最终获得珠江流域河湖岸线变化检测结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
1.一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,其特征在于,包含以下步骤:
步骤1,获取不同时期多光谱遥感影像后,进行恒等残差型unet网络建筑物提取;
步骤2,利用遥感水体指数进行水体提取;
步骤3,利用步骤1、2处理后获取的不同时期河湖岸线地物识别结果进行河湖岸线变化检测,获取河湖岸线变化检测结果,实现方式如下,
所述河湖岸线是包含河湖岸线线状目标的带状区域,包含建筑物和水体,在得到经步骤1、2处理后得到的不同时期河湖岸线地物识别结果后,进行影像变化检测,再进行影像变化检测结果渲染,获取河湖岸线变化检测结果。
2.如权利要求1所述的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,其特征在于:步骤1的具体实现方式如下,
以u-net为基础网络架构进行优化改进,获得恒等残差型unet网络,并进行训练相关参数设计;
所述恒等残差型unet为编码解码结构,在编码过程中,输入图像首先进行多次卷积处理,然后进行最大池化操作完成下采样,再输入到恒等残差模块中进行处理,所述恒等残差模块包含n次卷积操作,设输入特征为input,首先将输入特征input进n-1次卷积操作、批标准化及relu函数激活操作得到特征x,再将输入特征input与x进行相加操作,最后对相加后的特征进行卷积操作、批标准化及relu函数激活操作;
输入图像重复m次最大池化下采样及恒等残差模块处理后,得到底层输出特征,再对输出特征与上一层下采样的图像特征进行concat拼接操作,并进行上采样,重复m次特征拼接与上采样过程,然后进行多次卷积核操作、批归一化以及relu函数激活操作,最后进行一次卷积核大小为1×1,卷积层数为1的卷积操作及sigmoid函数激活操作,得到恒等残差型unet最终概率输出结果;
进行训练影像样本选择及预处理,将训练影像和标签,统一缩放到n×n像素大小,获得适配网络架构的训练样本;
输入训练样本进行恒等残差型unet网络训练,获得训练好的恒等残差型unet网络;
对多光谱遥感影像进行遥感影像预处理,将处理后的遥感影像分块输入训练好的网络中,再进行拼接得到建筑物提取概率图;
设定灰度阈值t1,进行建筑物提取概率图的二值化,灰度大于等于t1的像素被识别为建筑物用1表示,小于t1为非建筑物,用0表示,从而获取遥感影像建筑物提取结果。
3.如权利要求2所述的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,其特征在于:训练影像样本选择及预处理中,影像缩放插值方式为双线性插值,n的取值为128。
4.如权利要求2所述的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,其特征在于:所述恒等残差型unet网络的输入特征维度为128×128×3,分别对应训练影像的rgb三波段,输出特征维度为128×128×1。
5.如权利要求2所述的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,其特征在于:所述恒等残差型unet网络采用如下损失函数,
pi为图像第i个像素的预测概率值,gi为图像第i个像素的真实值,n为图像的像素总数。
6.如权利要求2所述的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,其特征在于:所述恒等残差型unet网络训练过程中采用adam作为优化器,以准确率accuracy作为评价标准。
7.如权利要求1所述的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,其特征在于:步骤2中利用遥感水体指数进行水体提取的具体实现方式如下,
根据多光谱遥感影像计算ndwi水体指数,ndwi水体指数计算公式为:ndwi=(green-nir)/(green nir),其中green代表遥感影像的绿色波段,nir代表近红外波段;
设定阈值t2对ndwi影像进行影像二值化,获得遥感影像水体识别结果。
8.如权利要求7所述的一种基于恒等残差型unet与遥感水体指数的河湖岸线变化检测方法,其特征在于:步骤2中所述ndwi影像二值化中阈值t2取值为0.45。
技术总结