基于CNN与超像素结合的组合核遥感影像目标检测方法与流程

基于cnn与超像素结合的组合核遥感影像目标检测方法
技术领域
1.本发明涉及遥感影像处理技术领域，尤其涉及一种基于超像素分割、深度空谱特征提取的组合核支持向量机分类的遥感影像目标检测方法。


背景技术：

2.随着光谱技术的快速发展，极大地促进的遥感领域的发展，但是目前由于遥感影像具有“图谱合一”，空间分辨率低，光谱信息冗余等特点，对光谱遥感影像的处理技术仍有很大的发展空间，例如遥感影像的分类、解混、融合、去噪、目标检测等。为了解决这些问题，需要对遥感影像有深刻的了解，以及对机器学习方法有熟练的掌握。
3.作为遥感影像处理中焦点，遥感影像目标检测逐渐被重视起来。如何节省训练时间，在训练样本不足的情况下得到较高的检测精度，这是一个很广阔的课题。


技术实现要素：

4.本发明的目的是克服现有技术存在的不足。本发明公开了一种基于cnn与超像素结合的组合核遥感影像目标检测方法，首先，通过熵率超像素分割算法将原始的遥感影像分割成多个超像素，其次，在基于超像素索引的遥感影像上，直接提取光谱信息得到光谱核，采用深度神经网络以及加权平均滤波分别得到超像素内的深度空间核和超像素间的空间核。最后，将这三个核加权组合，采用核支持向量机分类器，来对遥感影像进行目标检测。此方法能够用于军事、农业、城乡规划等目标检测，快速有效，方法巧妙，构思新颖，具有良好的应用前景。
5.为了达到上述目的，本发明所采用的技术方案是：
6.基于cnn与超像素结合的组合核遥感影像目标检测方法，包括以下步骤：
7.步骤1，将原始的遥感影像进行超像素分割，将超像素分割图与所述原始的遥感影像结合生成带有超像素索引的遥感影像；
8.步骤2，获得超像素分割后的遥感影像的光谱核；
9.步骤3，利用深度神经网络对超像素分割后的遥感影像超像素内的空间特征进行提取，得到超像素内的深度空间核；
10.步骤4，利用加权平均算法提取超像素间的空间特征，得到超像素间的空间核；
11.步骤5，将所得的光谱核、超像素内深度空间核和超像素间空间核进行组合，形成多核支持向量机分类器，将遥感影像数据集分成训练集和测试集，利用分类器对所述训练集进行训练得到模后，通过所述模型对遥感影像测试集进行目标检测。
12.进一步地，在一种实现方式中，所述步骤1，包括以下步骤，
13.步骤1
‑
1，将所述原始的遥感影像进行主成分分析(principal component analysis，pca)处理，生成主成分分析降维后的特征；
14.步骤1
‑
2，选择主成分分析降维后特征的前三个主成分，生成三个各不相关的主成分图像，根据选择出的所述主成分图像计算超像素数l，所述超像素数l根据纹理的复杂程
度来进行选择，所述超像素数l的计算公式如下：
15.l＝l
base
×
r
texture
[0016][0017]
其中，l
base
是基超像素数，r
texture
是纹理比率，n表示经过sobel滤波后的主成分图像中的非零元素数量，n表示经过sobel滤波前的主成分图像中非零元素的数量；
[0018]
步骤1
‑
3，根据所述超像素数l进行超像素分割，在所述主成分图像上应用熵率超像素算法生成二维超像素地图，即生成超像素数为l的超像素分割图像；
[0019]
步骤1
‑
4，将所述超像素分割图像与所述原始的遥感影像结合，即生成所述带有超像素索引的遥感影像。
[0020]
进一步地，在一种实现方式中，所述步骤1
‑
3，包括：
[0021]
步骤1
‑3‑
1，在所述主成分图像上构造一个图g＝(v，e)；
[0022]
其中，v为主成分图像像素对应的顶点集，e为相邻像素之间成对相似点的边缘集；
[0023]
步骤1
‑3‑
2，通过选择边的子集，将所述图分成l个连通的子图，每个所述子图对应一个超像素；
[0024]
步骤1
‑3‑
3，在超像素分割的目标函数中加入熵率项h(a)和平衡项b(
·
)：
[0025][0026]
其中，λ≥0，λ是为了控制h(a)和b(
·
)引入的权重；
[0027]
步骤1
‑3‑
4，在所述主成分图像上应用熵率超像素算法生成二维超像素地图，即生成超像素数为l的超像素分割图像。
[0028]
进一步地，在一种实现方式中，所述步骤2，包括：
[0029]
根据以下公式，将超像素分割后的遥感影像中光谱像素输入到高斯径向基核函数中得到光谱核：
[0030][0031]
其中，为光谱核，为原始遥感影像的的第i个和第j个光谱像素，σ为高斯径向基核函数的尺度参数，且σ为正实数；
[0032]
所述高斯径向基核根据以下公式计算获得：
[0033]
k(x
i
,x
j
)＝exp(
‑
||x
i
‑
x
j
||2/2σ2)
[0034]
其中，k(x
i
,x
j
)为径向基核，x
i
为第i个像素，x
j
为第j个像素。
[0035]
进一步地，在一种实现方式中，所述步骤3包括：
[0036]
步骤3
‑
1，{x
i1
,...x
ij
,...,x
ij
}是超像素x
i
的邻域超像素，j为邻域超像素的个数，通过多个卷积层在所述带有超像素索引的遥感影像的空间域上进行卷积，计算公式如下：
[0037][0038]
其中，为经过卷积操作后替换得到的像素，w
i,j
为x
i,j
的权重，x
i,j
为超像素x
i
的邻域超像素，b为偏置；
[0039]
步骤3
‑
2，在每个像素中都执行相同的操作，最后将替换得到的所有像素组合到一起，得到超像素内的深度空间特征；
[0040]
步骤3
‑
3，将超像素内的深度空间特征输入到高斯径向基核函数中得到超像素内的深度空间核，计算公式如下：
[0041][0042]
其中，是超像素内的深度空间核，和分别为经过卷积操作后替换得到的第i个和第j个像素。
[0043]
进一步地，在一种实现方式中，所述步骤4，包括：
[0044]
步骤4
‑
1，计算超像素x
ij
的所有像素的平均值{x
i1
,...x
ij
,...,x
ij
}是超像素x
i
的邻域超像素；
[0045]
步骤4
‑
2，计算的权值ω
i,j
，计算公式如下：
[0046][0047]
其中，为超像素x
ij
的所有像素的平均值，为超像素x
i
中所有像素的平均值，h为核尺度参数；
[0048]
步骤4
‑
3，计算超像素x
i
的加权平均像素公式如下：
[0049][0050]
其中，为超像素x
ij
的所有像素的平均值，ω
i,j
是的权值；
[0051]
步骤4
‑
4，将计算得到的加权平均像素替换超像素x
i
中的所有像素，在每个超像素中都执行相同的操作，最后将替换得到的所有超像素组合到一起，得到超像素间的空间特征；
[0052]
步骤4
‑
5，将所述超像素间的空间特征输入到高斯径向基核函数中，得到超像素间的空间核，计算公式如下：
[0053][0054]
其中，是超像素间的空间核，和分别为加权平均替换后的第i个和第j个像素。
[0055]
进一步地，在一种实现方式中，所述步骤5，包括：
[0056]
步骤5
‑
1，采用光谱核、超像素内的深度空间核、超像素间的空间核这三个核函数，在训练阶段所述核函数表示如下：
[0057][0058]
其中，ω
spec
ω
cnn
ω
inters
＝1，表示光谱核，表示超像素内的深度空间核，表示超像素间的空间核；
[0059]
步骤5
‑
2，运用同样的方法得到测试阶段的核函数，对测试集进行分类，在测试阶段核函数可以表示如下：
[0060][0061]
其中，ω
spec
ω
cnn
ω
inters
＝1，表示光谱核，表示超像素内的深度空间核，表示超像素间的空间核。
[0062]
本发明公开了一种基于cnn与超像素结合的组合核遥感影像目标检测方法，首先，通过熵率超像素分割算法将原始的遥感影像分割成多个超像素，其次，在基于超像素索引的遥感影像上，直接提取光谱信息得到光谱核，采用深度神经网络以及加权平均滤波分别得到超像素内的深度空间核和超像素间的空间核。最后将这三个核加权组合，采用核支持向量机分类器，来对遥感影像进行目标检测。相较于现有技术，本发明提供的组合核遥感影像目标检测方法快速有效，方法巧妙，构思新颖，具有良好的应用前景。
附图说明
[0063]
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0064]
图1是本发明实施例部分提供的基于cnn与超像素结合的组合核遥感影像目标检测方法的工作流程示意图；
[0065]
图2是本发明实施例部分提供的基于cnn与超像素结合的组合核遥感影像目标检测方法中对得到的超像素分割图与原始的遥感影像结合生成的带有超像素索引的遥感影像执行的具体操作流程示意图。
具体实施方式
[0066]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0067]
本发明实施例公开基于cnn与超像素结合的组合核遥感影像目标检测方法，本方法应用于军事目标侦测，如机场跑道、大型战场工事、军事伪装的建筑或装备等的侦测，也可应用于农业指导，如庄稼种类检测，作物成熟程度识别等、还可应用于城乡规划，如城乡建筑检测，城乡道路规划等。
[0068]
如图1和图2所示，本发明公开了一种基于cnn与超像素结合的组合核遥感影像目
标检测方法，首先，通过熵率超像素分割算法将原始的遥感影像分割成多个超像素，其次，在基于超像素索引的遥感影像上，直接提取光谱信息得到光谱核，采用深度神经网络以及加权平均滤波分别得到超像素内的深度空间核和超像素间的空间核。最后，将这三个核加权组合，采用核支持向量机分类器，来对遥感影像进行目标检测。此方法快速有效，方法巧妙，构思新颖，具有良好的应用前景。
[0069]
本发明实施例提供的基于cnn与超像素结合的组合核遥感影像目标检测方法，包括以下步骤：
[0070]
步骤1，将原始的遥感影像进行超像素分割，将超像素分割图与所述原始的遥感影像结合生成带有超像素索引的遥感影像；
[0071]
步骤2，获得超像素分割后的遥感影像的光谱核；
[0072]
步骤3，利用深度神经网络对超像素分割后的遥感影像超像素内的空间特征进行提取，得到超像素内的深度空间核；
[0073]
步骤4，利用加权平均算法提取超像素间的空间特征，得到超像素间的空间核；
[0074]
步骤5，将所得的光谱核、超像素内深度空间核和超像素间空间核进行组合，形成多核支持向量机分类器，将遥感影像数据集分成训练集和测试集，利用分类器对所述训练集进行训练得到模型后，通过所述模型对遥感影像测试集进行目标检测。
[0075]
本实施例提供的基于cnn与超像素结合的组合核遥感影像目标检测方法中，所述步骤1，包括以下步骤，
[0076]
步骤1
‑
1，将所述原始的遥感影像进行主成分分析(principal component analysis，pca)处理，生成主成分分析降维后的特征；
[0077]
步骤1
‑
2，选择主成分分析降维后特征的前三个主成分，生成三个各不相关的主成分图像，根据选择出的所述主成分图像计算超像素数l，所述超像素数l根据纹理的复杂程度来进行选择，所述超像素数l的计算公式如下：
[0078]
l＝l
base
×
r
texture
[0079][0080]
其中，l
base
是基超像素数，r
texture
是纹理比率，n表示经过sobel滤波后的主成分图像中的非零元素数量，n表示经过sobel滤波前的主成分图像中非零元素的数量；
[0081]
步骤1
‑
3，根据所述超像素数l进行超像素分割，在所述主成分图像上应用熵率超像素算法生成二维超像素地图，即生成超像素数为l的超像素分割图像；
[0082]
步骤1
‑
4，将所述超像素分割图像与所述原始的遥感影像结合，即生成所述带有超像素索引的遥感影像。
[0083]
本实施例提供的基于cnn与超像素结合的组合核遥感影像目标检测方法中，所述步骤1
‑
3，包括：
[0084]
步骤1
‑3‑
1，在所述主成分图像上构造一个图g＝(v，e)；
[0085]
其中，v为主成分图像像素对应的顶点集，e为相邻像素之间成对相似点的边缘集；
[0086]
步骤1
‑3‑
2，通过选择边的子集，将所述图分成l个连通的子图，每个所述子图对应一个超像素；
[0087]
步骤1
‑3‑
3，在超像素分割的目标函数中加入熵率项h(a)和平衡项b(
·
)：
[0088][0089]
其中，λ≥0，λ是为了控制h(a)和b(
·
)引入的权重；
[0090]
步骤1
‑3‑
4，在所述主成分图像上应用熵率超像素算法生成二维超像素地图，即生成超像素数为l的超像素分割图像。
[0091]
本实施例提供的基于cnn与超像素结合的组合核遥感影像目标检测方法中，所述步骤2，包括：
[0092]
根据以下公式，将超像素分割后的遥感影像中光谱像素输入到高斯径向基核函数中得到光谱核：
[0093][0094]
其中，为光谱核，为原始遥感影像的第i个和第j个光谱像素，σ为高斯径向基核函数的尺度参数，且σ为正实数；
[0095]
所述高斯径向基核根据以下公式计算获得：
[0096]
k(x
i
,x
j
)＝exp(
‑
||x
i
‑
x
j
||2/2σ2)
[0097]
其中，k(x
i
,x
j
)为径向基核，x
i
为第i个像素，x
j
为第j个像素。
[0098]
本实施例提供的基于cnn与超像素结合的组合核遥感影像目标检测方法中，所述步骤3包括：
[0099]
步骤3
‑
1，{x
i1
,...x
ij
,...,x
ij
}是超像素x
i
的邻域超像素，j为邻域超像素的个数，通过多个卷积层在所述带有超像素索引的遥感影像的空间域上进行卷积，计算公式如下：
[0100][0101]
其中，为经过卷积操作后替换得到的像素，w
i,j
为x
i,j
的权重，x
i,j
为超像素x
i
的邻域超像素，b为偏置；
[0102]
步骤3
‑
2，在每个像素中都执行相同的操作，最后将替换得到的所有像素组合到一起，得到超像素内的深度空间特征；
[0103]
步骤3
‑
3，将超像素内的深度空间特征输入到高斯径向基核函数中得到超像素内的深度空间核，计算公式如下：
[0104][0105]
其中，是超像素内的深度空间核，和分别为经过卷积操作后替换得到的第i个和第j个像素。
[0106]
本实施例提供的基于cnn与超像素结合的组合核遥感影像目标检测方法中，所述步骤4，包括：
[0107]
步骤4
‑
1，计算超像素x
ij
的所有像素的平均值{x
i1
,...x
ij
,
…
,x
ij
}是超像素x
i
的邻域超像素；
[0108]
步骤4
‑
2，计算的权值ω
i,j
，计算公式如下：
[0109][0110]
其中，为超像素x
ij
的所有像素的平均值，为超像素x
i
中所有像素的平均值，h为核尺度参数；
[0111]
步骤4
‑
3，计算超像素x
i
的加权平均像素公式如下：
[0112][0113]
其中，为超像素x
ij
的所有像素的平均值，ω
i,j
是的权值。
[0114]
步骤4
‑
4，将计算得到的加权平均像素替换超像素x
i
中的所有像素，在每个超像素中都执行相同的操作，最后将替换得到的所有超像素组合到一起，得到超像素间的空间特征；
[0115]
步骤4
‑
5，将所述超像素间的空间特征输入到高斯径向基核函数中，得到超像素间的空间核，计算公式如下：
[0116][0117]
其中，是超像素间的空间核，和分别为加权平均替换后的第i个和第j个像素。
[0118]
本实施例提供的基于cnn与超像素结合的组合核遥感影像目标检测方法中，所述步骤5，包括：
[0119]
步骤5
‑
1，采用光谱核、超像素内的深度空间核、超像素间的空间核这三个核函数，在训练阶段所述核函数表示如下：
[0120][0121]
其中，ω
spec
ω
cnn
ω
inters
＝1，表示光谱核，表示超像素内的深度空间核，表示超像素间的空间核；
[0122]
步骤5
‑
2，运用同样的方法得到测试阶段的核函数，对测试集进行分类，在测试阶段核函数表示如下：
[0123][0124]
其中，ω
spec
ω
cnn
ω
inters
＝1，表示光谱核，
表示超像素内的深度空间核，表示超像素间的空间核。
[0125]
具体地，本实施例中，如下表所示，将本发明在公开的pavia university高光谱数据集上进行了实验，并与近几年知名的高光谱图像目标检测方法进行定量对比分析，其实验结果如表1所示。总体分类精度(overall accuracy，oa)和kappa系数以及它们的标准差(standard deviation，std)被作为评价指标。表中的最优结果被使用粗体表示。可见，本发明提出的目标检测方法与其他的几种方法相比，精度提高了1％
‑
8％左右，并且本发明的检测精度标准差与其他几种检测算法相比也是最小的。这说明在训练样本有限的情况下，本发明不仅具有更好的目标检测性能，而且性能也更加稳定。
[0126]
表1本发明在pavia university数据上进行实施所得实验结果
[0127][0128]
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的基于cnn与超像素结合的组合核遥感影像目标检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0129]
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0130]
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。