本发明涉及基于异源遥感影像的目标检测方法，具体说是一种基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法。
背景技术：
1、遥感影像目标检测是利用遥感技术获取的地球表面影像数据，通过计算机视觉和机器学习算法来自动识别和定位图像中的特定目标或物体的过程。遥感影像目标检测在城市规划、环境监测、农业、森林管理、灾害响应等方面有着广泛的应用，本发明主要针对海工平台的检测。海工平台是在海上进行钻井、采油、集运、观测、导航、施工等活动提供生产和生活设施的工作台。海工平台的建设、使用、拆除的周期长，在海域上其分布广泛，形态各异，表现为短时间内分布稳定，但随着时间的变化会对其进行新建或拆除，在对海工平台数量进行统计所消耗的人力、物力成本高，效益低。因此，亟需采取一种能够高效率检测海工平台的方法，有效提升相关实施单位的自动化水平，降低人工成本，提高其经济效益。
2、遥感影像具有成像快速、覆盖范围广、时效性强等诸多优点，已经成为目标检测领域中的重要数据来源。由于光学和sar传感器获取的数据特点不同，通过单一传感器所获取得到的遥感影像各有其优劣势。光学遥感影像有着高空间分辨率、直观性、易受云层和大气影响，穿透性弱的特点。sar影像可以实现全天候观测、穿透性强，但影像斑点噪声明显，解译相对困难。海工平台在哨兵2等光学影像中所表现出的特点为形态多样、分布广泛、目标小，易与海上船只、风电等目标混淆。仅依赖于单一时相上的哨兵光学影像或是sar影像的反射信号难以准确提取海工平台。
技术实现思路
1、发明目的：本发明的目的是提供一种基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，以克服仅依赖于单时相、单传感器的遥感影像小目标检测技术方法中所存在错检、误检、漏检等缺陷。
2、技术方案：本发明的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，包括：
3、s1、构造基于多时相异源遥感影像的海工平台数据集；
4、s2、构建基于yolov8网络结构的伪孪生网络的海工平台目标检测模型，将yolov8网络结构原有的单分支主干特征提取结构改造为能够同时输入不同时相的sar影像和光学影像的海工平台目标检测模型的主干特征提取网络结构，获得各个分支上的三个不同尺度的有效特征层；再分别构建基于光学和sar影像的特征增强网络层，实现各个分支上的有效特征层进一步的特征提取，提升模型对于海工平台小目标的特征提取能力；并在特征增强网络层neck部分的最后一层中分别对光学和sar影像的三个有效特征层进行特征融合，以获得不同尺度的特征信息；最后通过yolo head实现分类和回归操作得到预测和回归结果；
5、s3、基于步骤s1中的基于多时相异源遥感影像的海工平台数据集训练步骤s2构建的海工平台目标检测模型，得到适用于该数据集场景的预测网络模型；
6、s4、将待检测的光学和sar影像对输入步骤s3得到的预测网络模型，输出待检测的光学和sar影像对中的海工平台目标检测框的位置信息。
7、进一步的，步骤s1具体包括：
8、(1)选取多个不同时间获取的具有相同空间范围的哨兵1号、哨兵2号遥感影像作为数据源，将数据源裁剪为预设像素尺寸，并进行标注，形成一套基于多时相异源遥感影像的海工平台数据集，数据集包括：海工平台的光学影像与sar影像对以及对应的标签文件；
9、(2)对基于多时相异源遥感影像的海工平台数据集进行数据样本扩充预处理，同时，在数据集中添加负样本进行样本数据集增强；
10、(3)将增强后的基于多时相异源遥感影像的海工平台数据集划分为训练集和验证集。
11、进一步的，步骤(1)中将数据源裁剪为预设像素尺寸，并进行标注，具体为：
12、将数据源裁剪为预设像素的统一尺寸，光学影像和sar影像的裁剪区域相同，并筛选出有海工平台的影像；将裁剪后的影像对通过labelimg软件进行手动标注形成一套基于多时相异源遥感影像的海工平台数据集。
13、进一步的，步骤(2)中数据样本扩充的方法为颜色抖动，通过调整光学影像的色相、亮度和饱和度进行数据增强；负样本为船舶和海上风电。
14、进一步的，步骤s2中将yolov8网络结构原有的单分支主干特征提取结构改造为同时可输入光学和sar影像的海工平台目标检测模型的主干特征提取网络结构，获得各个分支上的三个不同尺度的有效特征层，具体为：
15、(1)在光学分支和sar分支同时使用c2f_cloatt结构，c2f_cloatt结构是在每个bottleneck部分引入cloattention模块，c2f_cloatt结构包括c2f模块和cloattention模块，cloattention模块由一个局部分支和一个全局分支组成，在全局分支中，通过下采样和自注意力机制来有效提取海工平台数据集中的低频全局信息，表达式为：
16、xglobal＝attntion(qg,pool(kg),pool(vg))
17、其中，qg为全局分支中的查询张量，表示在全局分支中从遥感影像中提取的特征向量，用于在遥感影像中寻找与海工平台相关的目标；kg为全局分支中的键张量，表示在全局分支中在遥感影像中不同位置的特征向量，用于与qg进行比较，确定哪些位置与当前关注的海工平台目标相关；vg为全局分支中的值张量，表示在全局分支中遥感影像中各个位置的特征表示，当某个位置与qg匹配时，该位置的vg被用于更新海工平台目标识别的结果；pool(kg)、pool(vg)分别为对kg、vg进行池化操作；attntion为自注意力函数；xglobal为加权后的全局特征；
18、在局部分支中采用attnconv，在attnconv结构中与标准注意力相同。在局部分支中首先通过特征向量进行全连接神经网络线性变换得到对应的qp,kp,vp，表达式为：
19、qp,kp,vp＝fc(xin)
20、其中，qp表示在局部分支中从遥感影像中提取的特征向量，用于在遥感影像中寻找与海工平台相关的目标；kp表示在局部分支中在遥感影像中不同位置的特征向量，用于与qp进行比较，确定哪些位置与当前关注的海工平台目标相关；vp表示在局部分支中遥感影像中各个位置的特征表示，当某个位置与qp匹配时，该位置的vp被用于更新海工平台目标识别的结果；xin是attnconv的输入特征向量，fc表示全连接神经网络；
21、其次，在全连接神经网络进行线性变换后分别对qp、kp、vp使用深度可分离卷积，增强网络分支对局部信息的感知能力，实现保留空间信息的同时提高计算效率，表达式为：
22、vs＝dwconv(vp)
23、ql＝dwconv(qp)
24、kl＝dwconv(kp)
25、其中，vs为在局部分支中经过深度可分离卷积处理后的值张量；ql为在局部分支中经过深度可分离卷积处理后的查询张量；kl为在局部分支中经过深度可分离卷积处理后的键张量；dwconv为深度可分离卷积函数；
26、然后，通过对ql，kl进行哈达玛积(hardmard)，并对结果通过一个全连接层和应用swish激活函数，以及另一个全连接层，最终生成一个介于-1到1之间的上下文感知权重，表达式为：
27、attnt＝fc(swish(fc(ql⊙kl)))
28、其中，⊙是哈达玛积(hardmard)，swish是swish激活函数，attnt是原始上下文感知权重，fc是全连接神经网络；
29、通过tanh函数对原始的上下文感知权重进行归一化，表达式为：
30、
31、其中，d是原始上下文感知权重的通道数，attn是经过非线性变换生成的最终的上下文感知权重。
32、然后，将最终的上下文感知权重attn与vs生成加权后的局部特征，表达式为：
33、xlocal＝(attn⊙vs)
34、其中，xlocal是加权后的局部特征表示；
35、然后，在通道维度上将全局分支和局部分支的输出通过concat串联，并在通道维度上应用一个全连接层网络，如下所示：
36、xt＝concat(xlocal,xglobal)
37、xout＝fc(xt)
38、其中，xt是拼接后的局部特征与全局特征表示；xout是在给定xt后全连接层网络输出的特征表示；
39、(2)在sar分支上，利用空间深度转换卷积spd_conv替换sar分支主干提取网络的conv操作，实现将图像空间信息转为深度信息；
40、(3)在光学分支和sar分支的主干特征提取网络中，分别得到三个不同尺度的有效特征层，并在每个分支的最后一个有效特征层中通过引入sppf结构进行特征提取；sppf结构通过使用最大池化进行特征提取。
41、进一步的，步骤s2中分别构建基于光学和sar影像的特征增强网络层，实现各个分支上的有效特征层进一步的特征提取，具体为：
42、将各个分支上的主干特征提取网络中所得到的三个有效特征层，传输至特征增强网络层的neck结构中，通过上、下采样进一步加强特征提取；
43、在sar分支传输进来的三个有效特征层中，通过spd_conv替代了模型原有的步长卷积和池化层，利用空间深度层spd将特征图的空间维度信息转换成深度维度信息，通过增加通道数来保留更多信息，再通过非步长卷积层，保持空间维度的同时减少了通道数；
44、在光学分支上，通过融合上下文注意力模块(cam)获得含有空间注意力的特征图并通过计算目标位置显著性从而发现感兴趣的目标物，即海工平台，更进一步关注海工平台目标物，实现加强特征提取。
45、进一步的，在光学分支上实现加强特征提取，具体为：
46、在其中一个分支中，cam通过将输入特征进行最大池化和平均池化操作并在通道维度上进行融合，能够生成包含空间注意力的特征图；在另一个分支中，则通过卷积操作计算注意力图，反映邻近像素对局部空间维度中位置显著性的影响；最后在通道中对两个分支上的特征进行拼接；因此，在有效特征层fp，p∈{1,2,…,n}，cam表示为：
47、att1＝σ(conv3×3(concat(max(fp),avg(fp))))
48、att2＝σ(conv3×3(fp))
49、cam＝att1+att2
50、其中，σ表示sigmoid操作；conv3×3表示3×3的卷积操作；max(·)与avg(·)分别代表通道维度的最大池化与平均池化；att1为cam其中一个分支上的注意力特征图；att2为cam另一个分支上的注意力特征图。
51、本发明的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测系统，包括：
52、数据集构建模块，用于构造基于多时相异源遥感影像的海工平台数据集；
53、模型构建模块，用于构建基于yolov8网络结构的伪孪生网络的海工平台目标检测模型，将yolov8网络结构原有的单分支主干特征提取结构改造为能够同时输入不同时相的sar影像和光学影像的海工平台目标检测模型的主干特征提取网络结构，获得各个分支上的三个不同尺度的有效特征层；再分别构建基于光学和sar影像的特征增强网络层，实现各个分支上的有效特征层进一步的特征提取，提升模型对于海工平台小目标的特征提取能力；并在特征增强网络层neck部分的最后一层中分别对光学和sar影像的三个有效特征层进行特征融合，以获得不同尺度的特征信息；最后通过yolo head实现分类和回归操作得到预测和回归结果；
54、模型训练模块，用于基于数据集构建模块构造的基于多时相异源遥感影像的海工平台数据集训练模型构建模块构建的海工平台目标检测模型，得到适用于该数据集场景的预测网络模型；
55、测试模块，用于将待检测的光学和sar影像对输入模型训练模块得到的预测网络模型，输出待检测的光学和sar影像对中的海工平台目标检测框的位置信息。
56、本发明的一种电子设备，所述设备包括：
57、存储有可执行程序代码的存储器；
58、与所述存储器耦合的处理器；
59、所述处理器调用所述存储器中存储的所述可执行程序代码，执行如上述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法的步骤。
60、本发明的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如上述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法的步骤。
61、有益效果：与现有技术相比，本发明的优点为：
62、(1)本发明方法以遥感影像上的海工平台为检测对象，充分发挥异源、多时相遥感数据的优势，实现数据的优势互补，避免了仅使用单一时相、单一类型遥感影像为检测对象所导致的漏检和错检。
63、(2)在模型改造上，通过伪孪生网络结构，使模型能够更好的结合异源遥感影像特征，结合其各自的优势，完成更丰富的特征提取效果。同时，充分考虑到了异源影像的不同特点及对海工平台这类小目标的检测，利用c2f_cloatt结构、spd_conv操作、cam模块实现对海工平台更丰富的特征信息提取，提升对小目标的检测与识别能力。
64、(3)实现高效率的海工平台检测工作，有效提升相关实施单位的自动化水平，降低人工成本，提高其经济效益。
1.基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，其特征在于，包括：
2.根据权利要求1所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，其特征在于，步骤s1具体包括：
3.根据权利要求2所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，其特征在于，步骤(1)中将数据源裁剪为预设像素尺寸，并进行标注，具体为：
4.根据权利要求2所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，其特征在于，步骤(2)中数据样本扩充的方法为颜色抖动，通过调整光学影像的色相、亮度和饱和度进行数据增强；负样本为船舶和海上风电。
5.根据权利要求1所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，其特征在于，步骤s2中将yolov8网络结构原有的单分支主干特征提取结构改造为同时可输入光学和sar影像的海工平台目标检测模型的主干特征提取网络结构，获得各个分支上的三个不同尺度的有效特征层，具体为：
6.根据权利要求1所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，其特征在于，步骤s2中分别构建基于光学和sar影像的特征增强网络层，实现各个分支上的有效特征层进一步的特征提取，具体为：
7.根据权利要求6所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法，其特征在于，在光学分支上实现加强特征提取，具体为：
8.基于多时相异源遥感影像与伪孪生网络的海工平台目标检测系统，其特征在于，包括：
9.一种电子设备，其特征在于，所述设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的基于多时相异源遥感影像与伪孪生网络的海工平台目标检测方法的步骤。
