一种用于机场鸟类识别的视觉分析方法及系统与流程

1.本发明涉及人工智能技术领域，尤其涉及一种用于机场鸟类识别的视觉分析方法及系统。


背景技术：

2.近年来，随着航空事业的快速发展，世界各地鸟撞事故的发生概率成明显上升趋势，重大鸟撞事故时有发生，事故造成了严重的生命及财产损失，已经引起各国有关部门的高度重视。所谓“鸟撞”，是指天空中飞翔的鸟类与飞行中的飞机发生碰撞并造成一定伤害的事件。飞鸟的绝对质量虽然较小，但是飞鸟与飞行中飞机的相对速度却很大，当飞鸟和飞机在空中相撞后，会产生巨大的撞击力，对飞机的某些关键部件造成损伤并危及飞行安全。
3.不同的鸟类，有不同的飞行高度、飞行速度、大小、重量、生活习性等，对飞机的威胁等级也不尽相同，因此有必要对鸟类别进行识别，再根据鸟类不同威胁等级、生活习性，调用相应的驱鸟策略对出现在机场的鸟类进行驱赶，保障飞行安全。
4.而现在，通过人工识别和驱赶的方式，以及无法满足机场驱鸟的需求，尤其是难以做到有效的全范围覆盖和不间断的实时监控。


技术实现要素：

5.本发明的实施例提供一种用于机场鸟类识别的视觉分析方法及系统，能够满足机场自动化驱鸟的需求，尤其利于部署在车载平台上，以便于做到有效的全范围覆盖和不间断的实时监控。
6.为达到上述目的，本发明的实施例采用如下技术方案：一种用于机场鸟类识别的视觉分析方法，包括：s1、通过可见光相机和红外相机采集机场的视频数据，并提取图片数据。
7.s2、将所述红外相机拍摄的画面映射到可见光相机拍摄的画面中。
8.s3、将经过s2处理后的图片数据传输至模型训练服务器和前端识别模块，其中，前端识别模块中加载了所述模型训练服务器训练的图像识别模型。
9.s4、所述前端识别模块处理所述图像数据得到识别结果，并从图片数据中识别出鸟类。
10.一种用于机场鸟类识别的视觉分析系统，包括：视频采集模块，用于通过可见光相机和红外相机采集机场的视频数据，并提取图片数据。
11.预处理模块，用于将所述红外相机拍摄的画面映射到可见光相机拍摄的画面中，并将经过s2处理后的图片数据传输至模型训练服务器和前端识别模块，其中，前端识别模块中加载了所述模型训练服务器训练的图像识别模型。
12.所述前端识别模块，用于处理所述图像数据得到识别结果，并从图片数据中识别出鸟类。
13.本发明实施例提供的用于机场鸟类识别的视觉分析方法及系统，从可见光相机和红外相机采集机场视频，通过人工智能算法识别视频中的鸟种类别。从而满足机场驱鸟的需求，尤其是本实施例的方案便于部署在车载平台上（比如驱鸟车），以便于实现有效的全范围覆盖和不间断的实时监控。从而便于后续针对不同的鸟类执行不同的驱鸟预案。
附图说明
14.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
15.图1为本发明实施例提供的用于实现鸟类识别的系统的框架示意图；图2为本发明实施例提供的用于实现鸟类识别的yolov5模型的示意图；图3为本发明实施例提供的鸟类识别的逻辑流程图；图4为现有技术中采用普通yolov5进行预测的pr曲线图；图5为本发明实施例提供的实际进行预测的pr曲线图；图6为本发明实施例提供的方法流程示意图；图7为本发明实施例提供的一种anchor的具体实例示意图。
具体实施方式
16.为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
17.本实施例的设计目的主要为：从可见光相机和红外相机采集机场视频，通过人工智能算法识别视频中的鸟种类别。从而满足机场驱鸟的需求，尤其是本实施例的方案便于部署在车载平台上（比如驱鸟车），以便于实现有效的全范围覆盖和不间断的实时监控。本实施例的大致设计思路是：基于视觉的机场鸟类识别系统，针对硬件选型和软件算法进行了优化处理，整套系统能够搭载到驱鸟车上，实时识别机场附近鸟类类别，从而针对不同的
鸟类执行不同的驱鸟预案。后续具体那种驱鸟预案或者驱鸟手段，可以依据具体的应用场景采用目前已有的技术手段实现，本实施例中不做限定，本实施例的主要设计目的在于改进驱鸟过程中的识别方式。
18.本发明实施例提供一种用于机场鸟类识别的视觉分析方法，如图6所示，包括：s1、通过可见光相机和红外相机采集机场的视频数据，并提取图片数据。
19.例如图1所示的，本实施例中设计的鸟类识别系统，可以通过高清相机和红外热成像相机观测鸟类目标，采集视频流，分别送入模型训练服务器和前端识别硬件。在模型训练阶段，将视频流转化成图片数据集进行标注后送入模型训练服务器进行模型训练；在识别阶段，在前端识别硬件使用训练好的模型对实时视频流进行鸟类识别。
20.s2、将所述红外相机拍摄的画面映射到可见光相机拍摄的画面中。
21.具体的，本实施例中，可以采用高清可见光相机和红外热成像相机作为数据采集源，通过张正友标定法进行相机标定，确定高清可见光相机和红外热成像相机的相机外参数和内参数，根据两个相机的内外参数，通过矩阵变换，将分辨率较低的红外热成像拍摄的画面映射到高清可见光相机拍摄的画面中。
22.s3、将经过s2处理后的图片数据传输至模型训练服务器和前端识别模块，其中，前端识别模块中加载了所述模型训练服务器训练的图像识别模型。
23.具体的，在使用s1中的设备采集机场区域鸟类的可见光图片和红外热成像图片后，可以进行标注，标注信息包括：鸟类在图片中的外接矩形框中心坐标，该矩形框的长宽，鸟类类别。其中鸟类类别，根据生物分类学，划分到目，如雁形目、鸽形目、雀形目、鸻形目、鹈形目等，根据机场附近鸟类种群特点，共计生成25类，最终构建鸟类识别数据集。
24.s4、所述前端识别模块处理所述图像数据得到识别结果，并从图片数据中识别出鸟类。
25.本实施例中，所述模型训练服务器训练图像识别模型，包括：通过kmeans 算法聚类得到用于鸟类识别的anchor。并用于建立所述图像识别模型。
26.在所述图像识别模型中包括：对输入的图片数据进行网络特征提取后，再进行特征计算，并输出结果，其中，所述输出结果中包括了至少3个不同分辨率的输出，且每个分辨率包含3个不同尺寸的anchor，例如：每个分辨率使用3个不同尺寸的anchor，比如76*76分辨率下，使用[116,90],[156,198],[373,326]三种大小的anchor，38*38分辨率下，使用[30,61], [62,45], [59,119]三种大小的anchor。本实施例中，可以采用定制化的yolov5深度学习模型对鸟类识别数据集进行模型训练。如图2所示，inupt为输入图片，backbone为网络特征提取，neck为特征计算（或称为分辨率展开），prediction为网络输出。
[0027]
其中，每个分辨率的输出维度为30，每个分辨率的输出维度包括了：检测框的位置信息和25个鸟类类别置信度。具体来说，原本的yolov5中anchor是在coco数据集上，通过kmeans算法聚类得到9个不同尺寸的矩形框作为anchor。由于coco数据集包含了80类不同目标，很多目标外形尺寸与鸟类外形存在较大的差别。因此本实施例中进行了改进设计，采集鸟类识别数据集后，使用kmeans 算法聚类得到鸟类识别专用的anchor，其中使用kmeans 的优势是减少初始点选择对最终聚类的影响，kmeans 中类别为9，可以输出三个分辨率p1、p2、p3，每个分辨率包含3个不同尺寸的anchor，每个分辨率的输出维度为30，由检
测框的位置信息（x,y,w,h,conf
obj
）和25个鸟类类别置信度conf
cls
组成。
[0028]
本实施例中所提及的anchor，具体实现为一组预设边框，如图7所示的，由一边的长和边框的纵横比来定义（由于anchor通常是以featuremap特征图的点为中心位置，生成边框，所以一个anchor不需要指定中心位置）。图7中一个feature map上的点对应于原图的一个正方形区域，仅仅利用该区域的边框进行目标定位，其精度无疑会很差，甚至根本“框”不到目标。而加入了anchor后，一个feature map上的点可以生成多个不同形状不同大小的框，这样“框”住目标的概率就会很大，就大大的提高了目标检测的召回率；再通过后续的网络对这些边框进行调整，其精度也能大大的提高。为了尽可能的框出目标可能出现的位置，预定义边框通常由上千个甚至更多，在本发明中使用kmeans 聚类（相比普通的kmeans聚类，kmeans 能更好的选择聚类中心，提高聚类效果），在鸟类训练数据集聚类得到9个不同尺寸的anchor，对应于3个不同分辨率下feature map，每个feature map中使用3个anchor来预测图像中的鸟类目标区域，从而能够更有效率的提取边框对应区域的特征。聚类时候如果使用x,y,w,h来聚类，因为真实目标的大小不一，造成大的定位框的误差大，小的定位框误差小，很难判断聚类效果的好坏。所以通过iou定义了如下式的距离函数，使得误差和box的大小无关，其中box为一个anchor，cluster为一个聚类簇。d(box, cluster) = 1
ꢀ‑ꢀ
iou(box, cluster)本实施例中，所提取的图片数据的维度为4，包括了rgb三个颜色维和红外热成像维。具体来说，原yolov5输入为普通视频帧图片，图片的维度为3，分别对应rgb三个颜色维。本发明增加了红外热成像维，将输入维度扩展到4维，为鸟类识别提供了更多的数据信息。
[0029]
本实施例中所述的可见光相机、红外相机和前端识别模块等设备可以安装在驱鸟车上，所述前端识别模块采用nvidia jetson系列开发板，可以根据性能需要选择agx xavier、tx2、nano三种不同配置，相比通过深度学习服务器进行识别，这种硬件配置系统结构更紧凑，能耗小，成本低，方便集成到驱鸟车上。驱鸟车上通常还安装有无线通信模块，以便于所述前端识别模块与部署在后端的服务器进行数据交互。由于nvidia jetson agx xavier算力相比深度学习服务器较低，因此本发明使用tensorrt对3中训练得到的模型进行加速。虽然tensorrt提供了模型解析方法，可以解析caffee、uff、onnx等格式的模型。由于yolov5中使用的一些算子，通过tensorrt模型解析后存在兼容性问题，因此本发明使用tensorrt自带的网络定义语法，重新构建yolov5模型，将训练得到的模型转换为tensorrt专用模型后进行目标识别，从而实现了识别加速优化。
[0030]
本实施例中，在从图片数据中识别出鸟类的过程中，包括：当且,二者同时满足时输出识别结果，其中，为连续n帧图像的目标检测框置信度均值，n为正整数，为连续n帧第i个鸟类类别置信度均值，i为正整数,为检测框置信度阈值，为类别置信度阈值。若但，则只输出检测框，不输出鸟类类别结果。
[0031]
具体的，鸟类实时识别流程如图3所示。从可见光和红外相机中获取视频帧，进行
解析和映射后，使用训练得到yolov5模型进行预测。原始yolov5识别时使用来过滤识别目标，其中为检测框置信度，为类别置信度，为置信度阈值。该方法当目标像素较少、或因天气、遮挡等原因造成目标成像效果较差时，造成识别结果不稳定。如较大，较小，但依然大于阈值时，易出现类别误识别。
[0032]
由于鸟类识别为实时视频数据，本实施例结合多帧识别结果联合判断识别目标，改进后的规则包括：，且,同时满足时输出识别结果，其中为连续n帧图像的目标检测框置信度均值，为连续n帧第i个鸟类类别置信度均值,为检测框置信度阈值，为类别置信度阈值。如果，但，则只输出检测框，不输出鸟类类别结果。
[0033]
本发明实施例还提供一种用于机场鸟类识别的视觉分析系统，包括：视频采集模块，用于通过可见光相机和红外相机采集机场的视频数据，并提取图片数据；预处理模块，用于将所述红外相机拍摄的画面映射到可见光相机拍摄的画面中，并将经过s2处理后的图片数据传输至模型训练服务器和前端识别模块，其中，前端识别模块中加载了所述模型训练服务器训练的图像识别模型；所述前端识别模块，用于处理所述图像数据得到识别结果，并从图片数据中识别出鸟类。
[0034]
所述模型训练服务器具体用于通过kmeans 算法聚类得到用于鸟类识别的anchor；并建立所述图像识别模型；在所述图像识别模型中包括：对输入的图片数据进行网络特征提取后，再进行特征计算，并输出结果，其中，所述输出结果中包括了至少3个不同分辨率的输出，且每个分辨率包含3个不同尺寸的anchor。
[0035]
为验证本实施例的效果，可以采用普通可见光相机采集机场附近的鸟类视频，以单帧图像共计5000张图片构建测试集，以普通yolov5进行预测，生成的pr曲线如图4所示。使用本专利系统采集鸟类视频，以连续20帧图像做为一个图像序列进行单次预测，构建5000张图片序列作为测试集，以本专利系统进行预测，生成的pr曲线如图5所示。同时使用对比在相同硬件环境下，直接用训练模型预测和本发明预测的帧率对比结果见表格1。根据对比结果，可见本实施例的处理帧率可以满足实时性要求。
[0036]
表格1预测帧率对比
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。