一种基于无人机的地图车道信息更新方法及其系统与流程

1.本发明涉及无人机技术领域，具体涉及一种基于无人机的地图车道信息更新方法及其系统。


背景技术：

2.高精度地图作为精度更高、数据维度更多的电子地图，随着科技的发展，越发广泛的应用于车辆等交通领域。高精度地图将大量的行车辅助信息存储为结构化数据，比如车道线、中央隔离线、人行道、箭头、道路边线。
3.传统的高精度地图更新方法包括：采用测绘车采集激光点云数据，然后人工对交通要素进行提取；基于无人机采集的三维点云数据进行交通要素的提取。但是，基于测量车辆的方案作业方式效率低下，而基于无人机点云的技术方案处理过程较为繁琐，需先将点云数据投影到二维平面(无人机点云数据进行数据转换，获得二维鸟瞰图)，在二维平面图像上做目标检测和分割，再将检测/分割结果解算回三维坐标，处理速度较慢，需要很长的处理时间。
4.综上所述，现有的地图车道信息更新方法存在效率低下的问题。


技术实现要素：

5.有鉴于此，本发明提供一种基于无人机的地图车道信息更新方法及其系统，通过改进信息检测及更新方法，解决了现有的地图车道信息更新方法存在的效率低下的问题。
6.为解决以上问题，本发明的技术方案为采用一种基于无人机的地图车道信息更新方法，包括：获取无人机采集的视频流数据；基于第一时间间隔间断提取所述视频流数据中的图像集；提取所述图像集包含的第一帧图像数据并计算所述图像数据包含的第一车道信息；调用地图中与所述第一帧图像数据的位置信息相同的第二车道信息，计算所述第一车道信息与所述第二车道信息的差异值，若所述差异值超过第一阈值，则基于所述第一车道信息更新所述地图；提取所述图像集包含的下一帧图像数据并判断是否更新所述地图，直至遍历完所述图像集包含的全部帧的图像数据。
7.可选地，计算所述图像数据包含的第一车道信息，包括：构建用于提取车道信息的网络模型；获取由多张包含多种车道信息类型的车道照片构成的数据集并对每张所述车道照片的车道信息进行坐标标注，生成由多张包含车道信息标记的车道照片构成的训练样本集和测试集；基于所述训练样本集和测试集，对所述网络模型进行训练并验证，生成用于提取车道信息的检测模型；将所述图像数据输入所述检测模型获取提取车道目标点及其对应的所述第一车道信息。
8.可选地，所述第一车道信息至少包括所述车道目标点的置信度、目标点类别和所述车道目标点相对于特征图像栅格左上角的偏移量。
9.可选地，获取所述第一时间间隔的方法，包括：计算所述视频流数据的空间分辨率；获取所述无人机采集所述视频流数据时的速度；基于所述空间分辨率和所述速度生成
所述第一时间间隔。
10.可选地，调用所述地图中与所述第一帧图像数据的位置信息相同的所述第二车道信息，包括：提取所述无人机采集所述第一帧图像数据的所述位置信息；调用存储于云端的初始的所述地图；基于所述地图提取与所述位置信息对应的所述第二车道信息。
11.相应地，本发明提供，一种基于无人机的地图车道信息更新系统，包括：无人机摄像单元，用于采集视频流数据；云端，用于调用地图；数据处理单元，能够基于第一时间间隔间断提取所述视频流数据中的图像集，并提取所述图像集包含的第一帧图像数据并计算所述图像数据包含的第一车道信息的同时，调用地图中与所述第一帧图像数据的位置信息相同的第二车道信息，计算所述第一车道信息与所述第二车道信息的差异值，若所述差异值超过第一阈值，则基于所述第一车道信息更新所述地图后，提取所述图像集包含的下一帧图像数据并判断是否更新所述地图，直至遍历完所述图像集包含的全部帧的图像数据。
12.可选地，所述数据处理单元包括神经网络模块，所述神经网络模块能够构建用于提取车道信息的网络模型，并获取由多张包含多种车道信息类型的车道照片构成的数据集并对每张所述车道照片的车道信息进行坐标标注，生成由多张包含车道信息标记的车道照片构成的训练样本集和测试集后，基于所述训练样本集和测试集，对所述网络模型进行训练并验证，生成用于提取车道信息的检测模型。
13.可选地，所述神经网络模块包括下采样模块、第一编码器
‑
解码器模块和第二编码器
‑
解码器模块，所述下采样模块基于所述图像数据输出低分辨率的第一特征图；所述第一编码器
‑
解码器模块基于所述第一特征图输出第二特征图、所述图像数据包含的初始车道目标点、初始目标点类别及其对应的初始车道信息；所述第二编码器
‑
解码器模块基于所述第一特征图、所述第二特征图及其包含的初始车道目标点的置信度生成车道目标点及其对应的所述第一车道信息。
14.可选地，所述数据处理单元与所述无人机按照无线通信的方式电气连接，所述数据处理单元通过计算所述视频流数据的空间分辨率并获取所述无人机采集所述视频流数据时的速度后，能够基于所述空间分辨率和所述速度生成所述第一时间间隔。
15.可选地，所述数据处理单元与所述云端按照无线通信的方式电气连接，所述数据处理单元通过提取所述无人机采集所述第一帧图像数据的所述位置信息并调用存储于所述云端的初始的所述地图，能够基于所述地图提取与所述位置信息对应的所述第二车道信息。
16.本发明的首要改进之处为提供的基于无人机的地图车道信息更新方法，通过间断提取无人机采集的视频流数据中包含的多帧二维图像数据后，提取所述二维图像数据包含的第一车道信息，并通过将第一车道信息与所述二维图像数据的位置信息相同的第二车道信息进行比对，完成对原始地图的车道信息更新。本发明一方面通过间断提取二维图像数据，有效减少了需处理的二维图像数据的帧数，进而降低了后端数据处理单元的算力负荷；另一方面，通过直接在二维图像上检测所需的车道信息，相较于传统的基于无人机点云检测车道信息的方法，进一步降低了后端数据处理单元的算力负荷，有效提升了车道信息更新效率，解决了现有的地图车道信息更新方法存在的效率低下的问题。
附图说明
17.图1是本发明的基于无人机的地图车道信息更新方法的简化流程图；
18.图2是本发明的基于无人机的地图车道信息更新系统的简化单元连接图；和
19.图3是本发明的一优选实施例的神经网络模块的简化模块连接图。
具体实施方式
20.为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。
21.如图1所示，一种基于无人机的地图车道信息更新方法，其特征在于，包括：获取无人机采集的视频流数据；基于第一时间间隔间断提取所述视频流数据中的图像集；提取所述图像集包含的第一帧图像数据并计算所述图像数据包含的第一车道信息；调用地图中与所述第一帧图像数据的位置信息相同的第二车道信息，计算所述第一车道信息与所述第二车道信息的差异值，若所述差异值超过第一阈值，则基于所述第一车道信息更新所述地图；提取所述图像集包含的下一帧图像数据并判断是否更新所述地图，直至遍历完所述图像集包含的全部帧的图像数据。其中，第一阈值为5％，计算所述第一车道信息与所述第二车道信息的差异值c的方法可以是：基于所述第一车道信息包含的车道目标点相对于特征图像栅格左上角的偏移量计算车道目标点的采集坐标值a，基于所述第二车道信息提取车道目标点的初始坐标值b，利用公式c＝a
‑
b/b计算差异值c；所述地图车道信息更新方法还可以包括：在无人机起飞前，对无人机飞行路线进行航线预规划，从而保证获取目标区域的视频流数据。
22.进一步的，获取所述第一时间间隔的方法包括：基于无人机采集视频流数据时的飞行高度和无人机摄像单元参数计算所述视频流数据包含的多帧图像数据的图像分辨率对应的空间分辨率；获取所述无人机采集所述视频流数据时的速度；基于所述空间分辨率和所述速度计算视频流数据中任意两帧图像数据的重叠率小于第二预设阈值时所需的最小时间间隔作为所述第一时间间隔。其中，第二预设阈值可以是10％。
23.更进一步的，基于所述空间分辨率和所述速度计算视频流数据中任意两帧图像数据的重叠率的方法可以是：基于空间分辨率可知每帧图像数据所表征的地面区域大小为h
×
w、无人机速度为v、第二预设阈值为10％为例，在无人机运动方向平行于图像的长时，通过公式v.t>0.9h可得出视频流数据中任意两帧图像数据的重叠率小于第二预设阈值时所需的最小时间间隔t；在无人机运动方向平行于图像的宽时，通过公式v.t>0.9w可得出视频流数据中任意两帧图像数据的重叠率小于第二预设阈值时所需的最小时间间隔t。
24.进一步的，计算所述图像数据包含的第一车道信息，包括：构建用于提取车道信息的网络模型；获取由多张包含多种车道信息类型的车道照片构成的数据集并对每张所述车道照片的车道信息进行坐标标注，生成由多张包含车道信息标记的车道照片构成的训练样本集和测试集；基于所述训练样本集和测试集，对所述网络模型进行训练并验证，生成用于提取车道信息的检测模型；将所述图像数据输入所述检测模型获取提取车道目标点及其对应的所述第一车道信息。其中，所述第一车道信息至少包括所述车道目标点的置信度、目标点类别和所述车道目标点相对于特征图像栅格左上角的偏移量。
25.进一步的，调用所述地图中与所述第一帧图像数据的位置信息相同的所述第二车
道信息，包括：提取所述无人机采集所述第一帧图像数据的所述位置信息；调用存储于云端的初始的所述地图；基于所述地图提取与所述位置信息对应的所述第二车道信息。
26.本发明的通过间断提取无人机采集的视频流数据中包含的多帧二维图像数据后，提取所述二维图像数据包含的第一车道信息，并通过将第一车道信息与所述二维图像数据的位置信息相同的第二车道信息进行比对，完成对原始地图的车道信息更新。本发明一方面通过间断提取二维图像数据，有效减少了需处理的二维图像数据的帧数，进而降低了后端数据处理单元的算力负荷；另一方面，通过直接在二维图像上检测所需的车道信息，相较于传统的基于无人机点云检测车道信息的方法，进一步降低了后端数据处理单元的算力负荷，有效提升了车道信息更新效率，实现了在后端的数据处理单元算力充足时，通过间断处理图像帧实现了，数据处理单元处理图像数据的间隙能够更新地图信息，整个过程能够实时进行，解决了现有的地图车道信息更新方法存在的效率低下的问题。
27.相应的，如图2所示，本发明提供，一种基于无人机的地图车道信息更新系统，包括：无人机摄像单元，用于采集视频流数据；云端，用于调用地图；数据处理单元，能够基于第一时间间隔间断提取所述视频流数据中的图像集，并提取所述图像集包含的第一帧图像数据并计算所述图像数据包含的第一车道信息的同时，调用地图中与所述第一帧图像数据的位置信息相同的第二车道信息，计算所述第一车道信息与所述第二车道信息的差异值，若所述差异值超过第一阈值，则基于所述第一车道信息更新所述地图后，提取所述图像集包含的下一帧图像数据并判断是否更新所述地图，直至遍历完所述图像集包含的全部帧的图像数据。
28.进一步的，所述数据处理单元包括神经网络模块，所述神经网络模块能够构建用于提取车道信息的网络模型，并获取由多张包含多种车道信息类型的车道照片构成的数据集并对每张所述车道照片的车道信息进行坐标标注，生成由多张包含车道信息标记的车道照片构成的训练样本集和测试集后，基于所述训练样本集和测试集，对所述网络模型进行训练并验证，生成用于提取车道信息的检测模型。
29.更进一步的，所述神经网络模块包括下采样模块、第一编码器
‑
解码器模块和第二编码器
‑
解码器模块，所述下采样模块基于所述图像数据输出低分辨率的第一特征图；所述第一编码器
‑
解码器模块基于所述第一特征图输出第二特征图、所述图像数据包含的初始车道目标点、初始目标点类别及其对应的初始车道信息；所述第二编码器
‑
解码器模块基于所述第一特征图、所述第二特征图及其包含的初始车道目标点的置信度生成车道目标点、目标点类别及其对应的所述第一车道信息。
30.为便于理解本技术生成第一车道信息的工作原理，如图3所示，无人机采集的图像数据输入所述神经网络模块后，下采样模块d1基于所述图像数据(图像分辨率为h
×
w)输出分辨率为的第一特征图至多个级联的编码器
‑
解码器模块。多个编码器
‑
解码器模块分别为第一特征图上每个位置(共个位置，相比在原图做分割，预测密度大大降低)预测该位置对应的原图区域存在属于预训练车道信息类型的点的目标类别b、置信度、目标点相对于第一特征图左上角的偏移量、以及描述该点特征的嵌入向量。其中，以多个级联的编码器
‑
解码器模块包括第一编码器
‑
解码器模块和第二编码器
‑
解码器模块为例，第一编
码器
‑
解码器模块e1输出的第二特征图、预测的置信度、和下采样模块d1输出的第一特征图一起作为第二编码器
‑
解码器模块e2的输入。并使用中继监督对第一编码器
‑
解码器模块e1进行约束，即对第一编码器
‑
解码器模块e1的预测结果与gt计算损失loss1，第二编码器
‑
解码器模块e2的预测目标类别与第一编码器
‑
解码器模块e1的预测目标类别间的一致性损失loss3，和第二编码器
‑
解码器模块e2与gt的最终预测损失loss2相加作为整个网络的损失函数，对网络参数进行优化。其中，由于无人机场景下车道在画面中占比不高，干扰信息较多，为了尽可能减少下采样过程中的信息损失，下采样模块d1可以采用多尺度下采样策略；级联的编码器
‑
解码器模块可以是多个，图3所示的神经网络模块仅为本技术一具体实施例，其所用的编码器
‑
解码器模块的数量不应作为本技术的限制。
31.本技术所改进的神经网络模块分辨率为的特征图上做预测，相较于在分别率为h
×
w的原图上做分割预测的计算量更低。并且由于神经网络模块是预测图像上属于预训练车道信息类型的稀疏点，然后针对预测出的每类预训练车道信息类型的车道目标点，统计分析其嵌入向量的分布规律，对预测出的点进行聚类、拟合得到每类目标的实例。其原理是通过高层语义信息来预测点的类别、置信度、位置、与嵌入向量，对图像上车道线的外观表象依赖不大，因此在车道线磨损和十字路口等复杂条件下也能生成准确度较高的预测结果，提升了车道信息更新的准确性。
32.更进一步的，损失函数loss1和loss2的结构可以相同，都由三部分组成：预测目标类别c的交叉熵损失、置信度c的均方误差损失、偏移量offset的均方误差损失、目标点的嵌入向量f间的距离损失。
33.更进一步的，所述数据处理单元与所述无人机按照无线通信的方式电气连接，所述数据处理单元通过计算所述视频流数据的空间分辨率并获取所述无人机采集所述视频流数据时的速度后，能够基于所述空间分辨率和所述速度生成所述第一时间间隔。
34.更进一步的，所述数据处理单元与所述云端按照无线通信的方式电气连接，所述数据处理单元通过提取所述无人机采集所述第一帧图像数据的所述位置信息并调用存储于所述云端的初始的所述地图，能够基于所述地图提取与所述位置信息对应的所述第二车道信息。
35.以上对本发明实施例所提供的一种基于无人机的地图车道信息更新方法及其系统进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
36.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应
认为超出本发明的范围。
37.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。