本发明涉及机器人重定位，具体地说是一种基于激光视觉耦合的机器人重定位方法、装置、设备及介质。
背景技术：
1、同时定位与建图(slam)是在未知场景中通过自身搭载的传感器，经算法处理数据后获取自身位姿并构建地图的过程。而机器人重定位是指机器人通过自身搭载的传感器估计其基于slam获取的已知全局地图中的位姿，常应用于机器人开机上电后或由于某种因素，如重复场景下检测到定位评分低，导致机器人定位丢失的情况下，是机器人进行自主导航的前提。
2、机器人搭载的传感器主要有激光雷达、相机、imu、gps、轮式里程计等。其中激光雷达根据激光线数的不同，可分为单线激光雷达和多线激光雷达，单线激光雷达成本较低，但无法获取场景的高度信息，主要应用于扫地机器人等室内场景；多线激光雷达包含16线、32线、64线等不同的线数，随着线数的增多所获取三维物体的点云数据更加丰富，成本也随之更高，可应用于室内外不同场景。凭借其优秀的测量精度及使用场景的广泛性，激光雷达是目前机器人slam和重定位的主流传感器，但在结构单一的场景中对激光雷达重定位存在较大挑战。相机可分为单目、双目、rgbd不同类型，可以获取场景丰富的纹理信息，由于其成本低逐渐在机器人slam和重定位领域承担越来越重的角色，但在面对白墙等纹理单一的场景中和快速的运动常常使得跟踪失败，目前相机常与imu配合使用，组成视觉惯性系统，增加建图与重定位的抗干扰能力，但视觉slam形成的是稀疏点云图，难以直接应用于导航。
3、现有技术存在如下问题：
4、1)通过uwb(ultra wide band，超宽带)设备或图像二维码的方式重定位，虽原理简单，但对场景依赖极大，没更换场景需重新布置设备，极大耗费后期人工维护成本，且智能化水平偏低；
5、2)采用激光雷达当前帧与salm所构建的点云地图配准的方式来获取重定位位姿，而在长走廊及室外空旷地带等结构单一的场景中，该重定位方法时常面临着重定位精度低、稳定性差的问题；
6、3)将gps与激光雷达融合的方式进行重定位，以gps的定位信息作为激光雷达点云配准的初始位姿，通过激光点云配准进行重定位，但gps的工作环境研究较高，当机器人处于茂密的树林中或高楼旁或室内有信号遮挡的地方，gps的定位信息会受到极大的干扰，从而影响机器人的重定位效果；
7、4)基于纯视觉的重定位对光照变化敏感，精度尚不及激光雷达定位，对视觉传感器设备和计算单元要求高，工程化适配难度大，在纹理缺失的场景中时常会劣化其定位效果，从而导致其工程化较低，尚不能在商用机器人产品中独立承担定位任务。
8、综上所述，当前的研究专注于slam以获取精度高实时性好的位姿与地图，如以激光为主的激光slam、以视觉为主的视觉slam、以及多传感器融合的slam等，而工程化需求极高的重定位技术在当前的研究中相对较少。并且现有的机器人重定位技术局限于室内场景或室外场景，故如何实现跨室内外场景的机器人重定位，同时提高重定位精度以及稳定性是目前亟待解决的技术问题。
技术实现思路
1、本发明的技术任务是提供一种基于激光视觉耦合的机器人重定位方法、装置、设备及介质，来解决如何实现跨室内外场景的机器人重定位，同时提高重定位精度以及稳定性的问题。
2、本发明的技术任务是按以下方式实现的，一种基于激光视觉耦合的机器人重定位方法，该方法具体如下：
3、建图：基于视觉惯性系统和激光惯性系统获取相机数据、激光雷达数据以及imu数据，激光惯性系统位姿作为视觉惯性系统帧间跟踪的初始位姿，经因子图优化，构建视觉地图和激光视觉耦合全局点云地图；
4、重定位：基于视觉地图通过特征匹配获取视觉位姿，将视觉位姿作为激光点云配准的初始位姿，初始位姿与激光视觉耦合全局点云地图经点云配准获取重定位精准位姿。
5、作为优选，视觉惯性系统包括相机和惯性测量单元一(imu，inertialmeasurement unit)；
6、激光惯性系统包括激光雷达和惯性测量单元二(imu，inertial measurementunit)。
7、更优地，建图具体如下：
8、在激光惯性系统中，惯性测量单元二为激光点云去除畸变，并提取激光当前帧点特征和面特征；再基于imu积分进行激光帧间配准，构成激光惯性里程计，并将激光惯性里程计位姿通过ros接口发布给视觉惯性系统；
9、在视觉惯性系统中，基于激光惯性里程计位姿对双目图像与惯性测量单元一进行初始化，再对双目图像提取orb特征点并计算特征描述子，基于激光惯性里程计位姿进行视觉帧间跟踪；再将视觉当前帧与局部地图点局部优化后，获取视觉地图并构成视觉惯性里程计；
10、将视觉惯性里程计位姿通过ros接口发布给激光惯性系统，用于后续激光点云的帧间匹配；
11、通过激光视觉惯性里程计信息及回环信息构建因子图并进行全局优化，获取激光视觉耦合全局点云地图。
12、更优地，重定位具体如下：
13、提取视觉当前帧图像orb特征点(oriented fast and rotated brief)并计算特征描述子，与建图所得的视觉地图基于词袋模型(bow，bag of words)进行快速匹配，基于pnp(perspective-n-point)求解当前帧的视觉位姿；
14、经视觉帧间跟踪和当前帧与局部地图的局部优化后，通过ros(robot operatingsystem，机器人操作系统)接口将视觉位姿传递给激光点云配准节点；
15、在激光点云配准节点中，以视觉位姿为初始位姿，对当前帧激光点云与建图所得的激光视觉耦合全局点云地图进行ndt(normal distributions transform，正态分布变换)配准，迭代求取最终重定位的精准位姿。
16、一种基于激光视觉耦合的机器人重定位装置，该装置包括：
17、建图模块，用于基于视觉惯性系统和激光惯性系统获取相机数据、激光雷达数据以及imu数据，激光惯性系统位姿作为视觉惯性系统帧间跟踪的初始位姿，经因子图优化，构建视觉地图和激光视觉耦合全局点云地图；
18、重定位模块，用于基于视觉地图通过特征匹配获取视觉位姿，将视觉位姿作为激光点云配准的初始位姿，初始位姿与激光视觉耦合全局点云地图经点云配准获取重定位精准位姿。
19、作为优选，激光惯性系统包括激光雷达和惯性测量单元二(imu，inertialmeasurement unit)；
20、激光惯性系统中，惯性测量单元二为激光点云去除畸变，并提取激光当前帧点特征和面特征；再基于imu积分进行激光帧间配准，构成激光惯性里程计，并将激光惯性里程计位姿通过ros接口发布给视觉惯性系统。
21、更优地，视觉惯性系统包括相机和惯性测量单元一(imu，inertial measurementunit)；
22、视觉惯性系统中，基于激光惯性里程计位姿对双目图像与惯性测量单元一进行初始化，再对双目图像提取orb特征点并计算特征描述子，基于激光惯性里程计位姿进行视觉帧间跟踪；再将视觉当前帧与局部地图点局部优化后，获取视觉地图并构成视觉惯性里程计，将视觉惯性里程计位姿通过ros接口发布给激光惯性系统，用于后续激光点云的帧间匹配；再通过激光视觉惯性里程计信息及回环信息构建因子图并进行全局优化，获取激光视觉耦合全局点云地图。
23、更优地，重定位模块包括：
24、提取及匹配子模块，用于提取视觉当前帧图像orb特征点(oriented fast androtated brief)并计算特征描述子，与建图所得的视觉地图基于词袋模型(bow，bag ofwords)进行快速匹配，基于pnp(perspective-n-point)求解当前帧的视觉位姿；
25、优化传递子模块，用于经视觉帧间跟踪和当前帧与局部地图的局部优化后，通过ros(robot operating system，机器人操作系统)接口将视觉位姿传递给激光点云配准节点；
26、配准子模块，用于在激光点云配准节点中，以视觉位姿为初始位姿，对当前帧激光点云与建图所得的激光视觉耦合全局点云地图进行ndt(normal distributionstransform，正态分布变换)配准，迭代求取最终重定位的精准位姿。
27、一种电子设备，包括：存储器和至少一个处理器；
28、其中，所述存储器上存储有计算机程序；
29、所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于激光视觉耦合的机器人重定位方法。
30、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于激光视觉耦合的机器人重定位方法。
31、本发明的基于激光视觉耦合的机器人重定位方法、装置、设备及介质具有以下优点：
32、(一)本发明提升了机器人重定位过程的定位精度和针对室内外不同场景的定位鲁棒性；
33、(二)本发明激光视觉紧耦合的重定位技术，将视觉位姿作为激光点云配准的初始位姿；
34、(三)本发明建图时激光惯性里程计位姿用作视觉惯性里程计进行帧间跟踪的初始位姿，由此保证了视觉地图与全局点云地图的高度重合，为重定位时视觉位姿作为激光配准的初始位姿做铺垫；
35、(四)本发明的激光视觉紧耦合的重定位技术可应用于室内外不同场景，克服了长走廊等结构化单一场景和纹理单一场景重定位精度低稳定性差的问题；
36、(五)本发明在建图过程中基于相机、激光雷达、imu数据，激光惯性系统位姿作为视觉惯性系统帧间跟踪的初始位姿，经因子图优化，构建视觉地图和激光视觉耦合全局点云地图；
37、(六)本发明在重定位中，基于建图构建的视觉地图，通过特征匹配获取视觉位姿，作为激光点云配准的初始位姿，经点云配准获取重定位精准位姿。
1.一种基于激光视觉耦合的机器人重定位方法，其特征在于，该方法具体如下：
2.根据权利要求1所述的基于激光视觉耦合的机器人重定位方法，其特征在于，视觉惯性系统包括相机和惯性测量单元一；
3.根据权利要求2所述的基于激光视觉耦合的机器人重定位方法，其特征在于，建图具体如下：
4.根据权利要求3所述的基于激光视觉耦合的机器人重定位方法，其特征在于，重定位具体如下：
5.一种基于激光视觉耦合的机器人重定位装置，其特征在于，该装置包括：
6.根据权利要求5所述的基于激光视觉耦合的机器人重定位装置，其特征在于，激光惯性系统包括激光雷达和惯性测量单元二；
7.根据权利要求6所述的基于激光视觉耦合的机器人重定位装置，其特征在于，视觉惯性系统包括相机和惯性测量单元一；
8.根据权利要求7所述的基于激光视觉耦合的机器人重定位装置，其特征在于，重定位模块包括：
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至4中任一项所述的基于激光视觉耦合的机器人重定位方法。
