本发明属于目标识别领域,更具体地,涉及一种基于图像融合的舰船目标识别方法及系统。
背景技术:
1、舰船目标的有效识别有利于对军事目标的准确侦察,有利于加快海洋资源的开发速度,有利于搭建智能化无人驾驶潜艇机器视觉处理系统。而遥感舰船影像通常包含各种波段所成的像,比较典型的有可见光、红外和合成孔径雷达等。
2、对于舰船目标识别通常采用基于合成孔径雷达(synthetic aperture radar,sar)进行识别,但是基于sar识别过程中会受到例如斑点噪声等噪声的干扰,回波中包含的信息不一定足够丰富,从而造成识别准确率不佳等问题;或者是采用基于光学成像进行目标识别和分类,然而对于舰船目标的识别来说,由于观测距离较远,可见光图像的成像容易受到光照条件和天气条件等的影响,在光照条件较差和恶劣天气条件下所成图像难以分辨,严重影响了目标识别的准确率。
3、因此,目前对于舰船目标的单模识别方法均存在一定的问题和缺陷,从而导致最终的识别结果存在偏差,如何提高舰船目标的识别准确率,是当前亟需解决的技术问题。
技术实现思路
1、针对现有技术的缺陷,本发明的目的在于提供一种基于图像融合的舰船目标识别方法及系统,旨在解决单模识别方法导致目标识别准确率较差的问题。
2、为实现上述目的,本发明提供了一种基于图像融合的舰船目标识别方法及系统。
3、第一方面,本发明提供一种基于图像融合的舰船目标识别方法,包括:
4、获取舰船目标的sar图像数据和可见光图像数据;
5、将所述sar图像数据和可见光图像数据输入至训练好的融合判别网络中,得到图像识别结果;
6、其中,所述融合判别网络是对图像数据集中的图像样本进行特征提取和融合,并基于融合特征和图像样本对应的识别标签进行训练得到的,所述图像样本包括sar图像样本和可见光图像样本。
7、在一些实施例中,所述融合判别网络的训练方法包括:
8、获取图像数据集;
9、将sar图像样本和可见光图像样本输入至待训练的初始网络中,基于所述sar图像样本提取第一图像特征,基于所述可见光图像样本提取第二图像特征,将所述第一图像特征和第二图像特征进行融合,得到融合特征;
10、基于所述融合特征进行目标识别,得到目标识别结果,基于所述目标识别结果和识别标签得到损失值,基于所述损失值对所述初始网络进行参数调整和迭代更新,直至得到训练好的融合判别网络。
11、在一些实施例中,所述将所述第一图像特征和第二图像特征进行融合,得到融合特征,包括:
12、基于典型相关性分析将第一图像特征的特征空间和第二图像特征的特征空间转换为相同维度的特征空间,确定第一图像特征对应的第一转换空间和第二图像特征对应的第二转换空间;
13、从所述第一转换空间和第二转换空间中分别提取第一转换特征和第二转换特征,将所述第一转换特征和第二转换特征进行元素相加和维度拼接,得到所述融合特征。
14、在一些实施例中,所述从所述第一转换空间和第二转换空间中分别提取第一转换特征和第二转换特征,包括:
15、从所述第一转换空间中提取第一特征集合,以及从所述第二转换空间中提取第二特征集合,所述第一特征集合和第二特征特征集合的属性不同;
16、确定所述第一特征集合的第一方差矩阵,所述第二特征集合的第二方差矩阵,以及所述第一特征集合和第二特征集合之间的协方差矩阵;
17、基于所述第一方差矩阵、第二方差矩阵以及协方差矩阵确定正交投影矩阵,基于所述协方差矩阵确定r个非零特征值,r为正整数;
18、基于所述正交投影矩阵和r个非零特征值确定标准正交向量;所述标准正交向量包括向量u和向量v;
19、基于所述第一方差矩阵和向量u确定第一投影变量,基于所述第二方差矩阵和向量v确定第二投影向量;
20、从所述第一转换空间和第二转换空间中分别提取特征x和特征y,基于所述第一投影变量和特征x得到第一典型变量,基于所述第二投影向量和特征y得到成对第二典型变量,基于d对第一典型变量和第二典型变量确定第一转换特征和第二转换特征,其中d为正整数。
21、在一些实施例中,所述确定第一图像特征对应的第一转换空间和第二图像特征对应的第二转换空间,包括:
22、获取所述第一图像特征的第一信息熵以及所述第二图像特征的第二信息熵;
23、基于第一信息熵和第二信息熵确定所述sar图像样本的第一权重以及所述可见光图像的第二权重;
24、基于所述第一权重确定第一转换空间,基于所述第二权重确定第二转换空间。
25、在一些实施例中,所述融合判别网络包括第一特征提取子网络、第二特征提取子网络、特征融合子网络以及分类器子网络;
26、所述第一特征提取子网络,用于对所述sar图像样本进行特征提取,得到所述第一图像特征;
27、所述第二特征提取子网络,用于对所述可见光图像样本进行特征提取,得到所述第二图像特征;
28、所述特征融合子网络,用于对所述第一图像特征和第二图像特征进行特征融合,得到所述融合特征;
29、所述分类器子网络,用于对所述融合特征进行目标识别,得到所述目标识别结果。
30、在一些实施例中,所述分类器子网络包括多层全连接层和softmax层;
31、所述全连接层,用于对所述融合特征进行全连接操作,得到新的特征表示;
32、所述softmax层,用于对所述特征表示进行概率预测,得到所述目标识别结果。
33、第二方面,本发明还提供一种基于图像融合的舰船目标识别系统,其特征在于,包括:
34、获取模块,用于获取舰船目标的sar图像数据和可见光图像数据;
35、识别模块,用于将所述sar图像数据和可见光图像数据输入至训练好的融合判别网络中,得到图像识别结果;
36、其中,所述融合判别网络是对图像数据集中的图像样本进行特征提取和融合,并基于融合特征和图像样本对应的识别标签进行训练得到的,所述图像样本包括sar图像样本和可见光图像样本。
37、第三方面,本发明提供一种电子设备,包括:至少一个存储器,用于存储程序;至少一个处理器,用于执行存储器存储的程序,当存储器存储的程序被执行时,处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
38、第四方面,本发明提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序在处理器上运行时,使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
39、第五方面,本发明提供一种计算机程序产品,当计算机程序产品在处理器上运行时,使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
40、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
41、总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
42、本发明提供的一种基于图像融合的舰船目标识别方法及系统,利用训练好的融合判别网络对舰船目标的可见光图像和sar图像进行特征融合,并利用融合特征进行识别,训练好的融合判别网络能够充分利用两种图像的特征信息,解决目前的单模识别方法存在的缺陷,进而提高目标检测与识别的准确率;并且在特征融合过程中是通过两种图像样本的特征信息量决定权值,能够有效减少因人为确定权值造成的误差,进一步提高识别的准确率。
1.一种基于图像融合的舰船目标识别方法,其特征在于,包括:
2.根据权利要求1所述的基于图像融合的舰船目标识别方法,其特征在于,所述融合判别网络的训练方法包括:
3.根据权利要求2所述的基于图像融合的舰船目标识别方法,其特征在于,所述将所述第一图像特征和第二图像特征进行融合,得到融合特征,包括:
4.根据权利要求3所述的基于图像融合的舰船目标识别方法,其特征在于,所述从所述第一转换空间和第二转换空间中分别提取第一转换特征和第二转换特征,包括:
5.根据权利要求3所述的基于图像融合的舰船目标识别方法,其特征在于,所述确定第一图像特征对应的第一转换空间和第二图像特征对应的第二转换空间,包括:
6.根据权利要求2所述的基于图像融合的舰船目标识别方法,其特征在于,所述融合判别网络包括第一特征提取子网络、第二特征提取子网络、特征融合子网络以及分类器子网络;
7.根据权利要求6所述的基于图像融合的舰船目标识别方法,其特征在于,所述分类器子网络包括多层全连接层和softmax层;
8.一种基于图像融合的舰船目标识别系统,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,当所述计算机程序在处理器上运行时,使得所述处理器执行如权利要求1-7任一所述的方法。
