本发明属于输电线路巡检,具体涉及一种基于深度学习的误撞输电线路鸟种检测方法及系统。
背景技术:
1、鸟类是生态系统和人类社会的宝贵财富,然而,众多稀有鸟种正遭受着栖息地的丧失和破坏。电力资源是涉及国民生计的重要能源,不断推进着我国科技规模和工业生产的快速发展,电力系统的迅速发展,导致电网线路横跨鸟类活动区,鸟类经常撞上电线而丧命,这严重危及了鸟类种群的生存和繁衍,同样对输电线路也会造成电网故障,停电等重大事故,目前我国对这一问题的研究尚不充分,珍稀鸟类撞击电线的规律和原因仍不清楚。为了有效保护珍稀鸟类,亟需探究珍稀鸟类误撞电线的规律,寻找可行的解决方案。
2、目前针对鸟类的防鸟装置,例如防鸟罩,防鸟盒以及激光驱鸟器等长期运行会带来资源浪费以及具有盲目性,驱鸟效果差等缺点,传统的人工巡检方式同样存在检测效率低、危险性高和实时性差等问题。
技术实现思路
1、鉴于此,本发明的目的在于提供一种基于深度学习的误撞输电线路鸟种检测方法及系统,用于准确识别误撞输电线路的珍稀鸟类,为输电线路运维人员识别珍稀鸟类提供参考,进一步提升输电线路涉鸟危害的差异化防治效果。
2、为实现上述目的,本发明提供如下技术方案:一种基于深度学习的误撞输电线路鸟种检测方法,包括如下步骤:
3、针对获取实时拍摄的珍稀鸟种图像进行预处理后,构建误撞输电线路珍稀鸟种图像数据集;
4、所述误撞输电线路珍稀鸟种图像数据集由鸟种训练图像数据和鸟种检测图像数据构成;
5、构建包括主干特征提取网络,特征融合网络以及检测网络三个部分的鸟种目标检测模型;
6、所述特征融合网络内设有cd1模块,cd2模块,cd3模块和cd4模块;
7、所述cd1模块内设有dr1模块和dr2模块;
8、所述cd1模块,cd2模块,cd3模块,cd4模块结构一致,其运作方式为:输入特征到cbs1模块进行提取后,依次经过分离模块,dr1模块,dr2模块获得输出特征后,再与分离模块,dr1模块,dr2模块单独的输出特征进行融合,获得融合特征再输入到cbs2模块;
9、所述dr1模块和dr2模块处理方式为:将输入特征输入到一个3×3的普通卷积后,分为三部分,三部分依次经过归一化层及relu激活函数后,第一部分经过一个空洞率为1的3×3空洞卷积,第二部分经过一个空洞率为3的3×3空洞卷积,第三部分经过一个空洞率为5的3×3空洞卷积,将三部分的输出特征再输入到一个1×1的普通卷积后获得输出特征;
10、所述主干特征提取网络依次由十个部分组成:第一部分、第二部分、第四部分、第六部分和第八部分设为dbs模块,第三部分、第五部分、第七部分和第九部分设为csc模块,第十部分设为sppf_lska模块;
11、所述csc模块运作方式为:输入特征到cbs1进行特征提取后,依次经过分离模块和两个sc模块得输出特征后,再与cbs1模块,分离模块,两个sc模块单独的输出特征进行融合,获得融合特征再输入到cbs2模块;
12、所述sc模块由cbs模块和sbs模块组成,特征输入与输出之间添加了残差连接;
13、所述sc模块处理方式为:输入特征分为两部分,一部分分别输入到平均池化层和普通卷积中,其中最大池化层再经过上采样将特征输入到sigmoid激活函数中,再与普通卷积特征相加;另一部分直接输入到普通卷积中,最后通过归一化层及silu激活函数;
14、所述sppf_lska模块共分为四层,第一层输入特征先经过cbs1模块获得输出特征f1,第二层将f1作为输入特征经过一个最大池化层获得输出特征f2,第三层在第二层的基础上再添加一个最大池化层获得输出特征f3,第四层同样添加一个最大池化层获得输出特征f4,将四层的输出特征f1,f2,f3,f4进行融合后再经过一个lskattention模块后将特征输入给cbs2模块;
15、所述检测网络由目标检测头和辅助检测头构成;
16、所述目标检测头由第一目标检测头、第二目标检测头和第三目标检测头构成;
17、所述辅助检测头由第一辅助检测头、第二辅助检测头,第三辅助检测头构成;
18、所述第一目标检测头、第二目标检测头、第三目标检测头、第一辅助检测头、第二辅助检测头和第三辅助检测头结构一致,其结构分为两个分支,第一个分支经过cbs1模块和cbs2模块及一个普通卷积模块,用于进行预测框的预测,第二个分支经过cbs3模块和cbs4模块及一个普通卷积模块,用于进行种类预测,针对回归分支使用了分布式焦点损失策略;针对两种不同的检测头,设定如下,将目标检测头作为主检测头,将第一辅助检测头、第二辅助检测头和第三辅助检测头作为辅助检测头,进行图像标注获得标注框后,执行标签分配方法,具体为以目标检测头预测作为指导,生成由粗到精的层次标签,分别用于辅助检测头和目标检测头学习和计算损失,目标检测头和辅助检测头的损失函数权重设置为4:1,最后将二者相加;
19、采用鸟种训练图像数据对鸟种目标检测模型进行训练,获得最优权重载入鸟种目标检测模型;
20、将获得的最优权重载入鸟种目标检测模型对鸟种检测图像数据进行目标检测。
21、进一步优选,所述特征融合网络将不同尺度的特征图进行融合,实现多尺度的特征提取,具体流程如下:首先输入特征feat3经过上采样与输入特征feat2进行融合,获得加强输出特征为p1,p1经过cd2模块以及再经过一次上采样后,与输入特征feat1进行融合后获得加强输出特征为p3,p3经过cd1模块后获得加强输出特征为p4,p4经过dbs模块后与cd2模块输出的加强输出特征p2进行融合后获得加强输出特征p5,p5经过cd3模块和dbs模块后与输入特征feat3进行融合获得加强输出特征p7,最后再经过cd4模块,其中cd1模块,cd3模块,cd4模块获得加强输出特征p4,p6,p8作为dhnet检测网络的输入特征,并在cd2模块与cd1模块上添加第二辅助检测头和第三辅助检测头。
22、进一步优选,所述dbs模块,由空洞卷积,批量归一化层以及激活函数silu组成。
23、进一步优选,所述cbs1模块与cbs2模块结构一致,依次由普通卷积,批量归一化层,激活函数silu组成。
24、一种用于基于深度学习的误撞输电线路鸟种检测方法的系统,包括:
25、获取模块,用于获取实时拍摄的珍稀鸟种图像,并对获取的珍稀鸟种图像进行预处理后,构建误撞输电线路珍稀鸟种图像数据集;
26、构建模块,用于构建包括主干特征提取网络,特征融合网络以及检测网络三个部分的鸟种目标检测模型;
27、训练模块,用于采用鸟种训练图像数据对鸟种目标检测模型进行训练,获得最优权重载入鸟种目标检测模型;
28、检测模块,用于将获得的最优权重载入鸟种目标检测模型对鸟种检测图像数据进行目标检测。
29、进一步优选,构建误撞输电线路珍稀鸟种图像数据集过程为:
30、通过获取模块用于对现场珍稀鸟种图像进行拍摄,采用深度学习中加雾加噪的方法对原始图像进行扩充,从而构建误撞输电线路珍稀鸟种图像数据集。
31、进一步优选,获得最优权重载入鸟种目标检测模型过程为:
32、通过训练模块使用误撞输电线路珍稀鸟种图像数据集对鸟种目标检测训练模型进行训练,获得最优权重载入鸟种目标检测模型;载入预训练权重,采用构建的误撞输电线路珍稀鸟种数据集并使用mosaic和mixup数据增强方法对鸟种目标检测模型进行二次训练,得到最优权重。
33、进一步优选,鸟种检测图像数据进行目标检测过程为:
34、通过检测模块使用最优权重载入鸟种目标检测模型对误撞输电线路珍稀鸟种图像数据集进行目标检测,通过采用保留得分最高候选框以及非极大值抑制算法进行后处理来剔除与选中候选框类似的框,最后获得检测结果,完成珍稀鸟种的目标检测。
35、一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行时实现任意一项所述的基于深度学习的误撞输电线路鸟种检测方法。
36、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现任意一项所述的基于深度学习的误撞输电线路鸟种检测方法。
37、与现有技术相比,本发明有益效果:首先,针对现场拍摄的珍稀鸟种图像进行图像加雾加噪处理,旨在模仿实际检测环境,增强模型的鲁棒性和泛化性,进行增广后,构建误撞输电线路珍稀鸟种图像数据集;其次,构建鸟种目标检测模型,针对具体任务做出以下五个改进,以达到实际检测任务的需求:第一,在实时任务中,精细的感受野对于高效特征提取是至关重要的,因此采用dr1模块,dr2模块提取网络高层的特征,模块采用多分支结构以适应一层中各种大小感受野的要求,能够有效采取特征从而提高检测精度;第二,sbs模块可以通过自校正操作自适应地在每个空间位置周围建立了远程空间和通道间依存关系,它可以帮助模型生成更具判别能力的特征表达,因此,将其设置在特征提取模块当中,可以更好的提取鸟种图片特征;第三,注意力机制是一种用于增强神经网络的特征提取和表示能力的技术,采用lskattention对模型中的sppf模块进行改进,lskattention在执行时大幅降低了参数数量和计算复杂度,从而能够有效降低内存占用和计算成本,加快检测速度;第四,在模型中添加辅助检测头,让网络中间层学到更多信息,有更丰富的梯度信息帮助训练,有助于提高模型的检测准确率和召回率;第五,根据实际任务需要,将原本网络中的普通卷积改为了空洞卷积,空洞卷积能够扩大感受野,捕捉多尺度上下文信息,这对于鸟种检测来说非常有帮助,可以更好的捕捉鸟种信息,从而提高准确率;最后,使用训练后的鸟种目标检测模型对鸟种图像进行检测,本发明提出的技术方案在保证速度及精度的情况下,能够实现误撞输电线路珍稀鸟种的智能化识别,可为输电线路运维人员针对珍稀鸟种识别研究和差异化防治提供参考。
1.一种基于深度学习的误撞输电线路鸟种检测方法,其特征是,包括如下步骤:
2.根据权利要求1所述的基于深度学习的误撞输电线路鸟种检测方法,其特征在于,所述特征融合网络将不同尺度的特征图进行融合,实现多尺度的特征提取,具体流程如下:首先输入特征feat3经过上采样与输入特征feat2进行融合,获得加强输出特征为p1,p1经过cd2模块以及再经过一次上采样后,与输入特征feat1进行融合后获得加强输出特征为p3,p3经过cd1模块后获得加强输出特征为p4,p4经过dbs模块后与cd2模块输出的加强输出特征p2进行融合后获得加强输出特征p5,p5经过cd3模块和dbs模块后与输入特征feat3进行融合获得加强输出特征p7,最后再经过cd4模块,其中cd1模块,cd3模块,cd4模块获得加强输出特征p4,p6,p8作为dhnet检测网络的输入特征,并在cd2模块与cd1模块上添加第二辅助检测头和第三辅助检测头。
3.根据权利要求2所述的基于深度学习的误撞输电线路鸟种检测方法,其特征在于,所述dbs模块,由空洞卷积,批量归一化层以及激活函数silu组成。
4.根据权利要求3所述的基于深度学习的误撞输电线路鸟种方法,其特征在于,所述cbs1模块与cbs2模块结构一致,依次由普通卷积,批量归一化层,激活函数silu组成。
5.一种用于权利要求1—4任意一项所述的基于深度学习的误撞输电线路鸟种检测方法的系统,其特征是,包括:
6.根据权利要求5所述的基于深度学习的误撞输电线路鸟种检测系统,其特征是,构建误撞输电线路珍稀鸟种图像数据集过程为:
7.根据权利要求6所述的基于深度学习的误撞输电线路鸟种检测系统,其特征是,获得最优权重载入鸟种目标检测模型过程为:
8.根据权利要求7所述的基于深度学习的误撞输电线路鸟种检测系统,其特征是,鸟种检测图像数据进行目标检测过程为:
9.一种计算机设备,其特征在于,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行时实现如权利要求1至8任意一项所述的基于深度学习的误撞输电线路鸟种检测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求 1至9中任意一项所述的基于深度学习的误撞输电线路鸟种检测方法。
