本公开涉及目视觉惯性里程计，尤其涉及基于单目视觉惯性里程计的数据处理方法、装置、电子设备及存储介质。
背景技术：
1、vio(visual inertial odometry，视觉惯性里程计)是近些年受到广泛关注的一种定位方法，vio使用从图像中提取出来的特征点或者图像亮度变化追踪相机在环境中的位姿变化，同时使用惯性测量单元imu提供图像帧间的运动约束，并通过对位姿变化和图像帧间的运动约束进行融合之后可以输出更加鲁棒稳定的定位结果。
2、然而，由于相关技术中为了满足在线vio实时处理的需求，需要限制计算的复杂度，通过设置一个固定大小的滑动窗口，里面只包含固定数量的关键帧和imu(inertialmeasurement unit，惯性测量单元)测量数据，滑动窗口中相邻图像帧之间要能跟踪到充足的特征点，以及特征点之间有足够的视差，从而避免相机在静止状态下滑动窗口的更新导致历史有效信息被移除。但该机制会在相邻关键帧之间进行imu噪声的误差传播，并随着相邻关键帧之间时间间隔的增加，导致关键帧之间的imu的预积分误差也会越来越大，进而影响在线vio的输出结果。
技术实现思路
1、本公开提供了一种基于单目视觉惯性里程计的数据处理方法、装置、电子设备及存储介质。
2、根据本公开的一方面，提供了一种基于单目视觉惯性里程计的数据处理方法，所述方法包括：
3、获取单目视觉惯性里程计vio的输出数据和惯性测量单元imu采集到的imu数据，所述输出数据包括图像特征点信息、imu预积分信息和位姿信息，所述图像特征点信息包括所述单目相机采集到的序列图像中提取到的各图像帧的特征点信息；
4、基于所述各图像帧的特征点信息获取所述序列图像的全局重投影误差，所述全局重投影误差包含所述各图像帧中存在共视点关系的任意相邻图像帧之间的重投影误差；
5、获取相邻图像帧的imu预积分误差；其中，所述imu预积分误差基于所述序列图像中任意相邻图像帧之间对应的所述imu预积分信息得到；
6、基于所述全局重投影误差、所述imu预积分误差和所述imu数据，对所述位姿信息进行优化，得到所述各图像帧的目标位姿信息。
7、可选地，所述方法还包括：
8、根据所述图像特征点信息在检测到目标图像帧中已有特征点数量小于预设数量时，获取所述目标图像帧中已有特征点的第一区域；
9、在所述目标图像帧中的第二区域提取特征点，以使所述目标图像帧中的特征点的数量不小于所述预设数量；其中，所述第二区域为所述目标图像帧中所述第一区域之外的区域。
10、可选地，所述方法还包括：
11、获取所述单目vio中基于词袋模型生成的回环约束；
12、获取基于所述目标位姿信息得到的目标运动轨迹；
13、基于所述回环约束关系优化所述运动轨迹，得到全局一致性轨迹。
14、可选地，所述方法还包括：
15、获取所述单目vio输出的当前图像帧的图像特征点信息；
16、在检测到所述当前图像帧的图像特征点信息与所述单目vio已输出的目标图像帧的特征点信息相匹配时，获取所述当前图像帧和所述目标图像帧之间的目标重投影误差，并基于所述目标重投影误差优化建立所述回环约束。
17、可选地，所述获取基于所述目标位姿信息得到的目标运动轨迹，包括：
18、获取基于所述位姿信息生成的初始运动轨迹；
19、基于所述各图像帧的目标位姿信息对所述初始运动轨迹进行优化，得到所述目标运动轨迹。
20、可选地，所述输出数据还包括地图点云；所述方法还包括：
21、基于所述全局重投影误差、所述imu预积分误差和所述imu数据，优化所述地图点云中各图像帧的位姿信息和各图像帧对应的各地图点的坐标，得到优化后的地图点云。
22、根据本公开的另一方面，提供了一种基于单目视觉惯性里程计的数据处理装置，所述装置包括：
23、数据获取模块，用于获取单目视觉惯性里程计vio的输出数据和惯性测量单元imu采集到的imu数据，所述输出数据包括图像特征点信息、imu预积分信息和位姿信息，所述图像特征点信息包括所述单目相机采集到的序列图像中提取到的各图像帧的特征点信息；
24、重投影误差确定模块，用于基于所述各图像帧的特征点信息获取所述序列图像的全局重投影误差，所述全局重投影误差包含所述各图像帧中存在共视点关系的任意相邻图像帧之间的重投影误差；
25、imu预积分误差获取模块，用于获取相邻图像帧的imu预积分误差；其中，所述imu预积分误差基于所述序列图像中任意相邻图像帧之间对应的所述imu预积分信息得到；
26、目标位姿信息获取模块，用于基于所述全局重投影误差、所述imu预积分误差和所述imu数据，对所述位姿信息进行优化，得到所述各图像帧的目标位姿信息。
27、可选地，所述装置还包括：
28、区域确定模块，用于，根据所述图像特征点信息在检测到目标图像帧中已有特征点数量小于预设数量时，获取所述目标图像帧中已有特征点的第一区域；
29、特征点提取模块，用于在所述目标图像帧中的第二区域提取特征点，以使所述目标图像帧中的特征点的数量不小于所述预设数量；其中，所述第二区域为所述目标图像帧中所述第一区域之外的区域。
30、可选地，所述装置还包括：
31、回环约束生成模块，用于获取所述单目vio中基于词袋模型生成的回环约束；
32、轨迹生成模块，用于获取基于所述目标位姿信息得到的目标运动轨迹；
33、轨迹优化模块，用于基于所述回环约束关系优化所述运动轨迹，得到全局一致性轨迹。
34、可选地，所述装置还包括：
35、特征点信息获取模块，用于获取所述单目vio输出的当前图像帧的图像特征点信息；
36、目标重投影误差获取模块，用于在检测到所述当前图像帧的图像特征点信息与所述单目vio已输出的目标图像帧的特征点信息相匹配时，获取所述当前图像帧和所述目标图像帧之间的目标重投影误差，并基于所述目标重投影误差优化建立所述回环约束。
37、可选地，所述轨迹生成模块，包括：
38、轨迹获取子模块，用于获取基于所述位姿信息生成的初始运动轨迹；
39、轨迹优化子模块，用于基于所述各图像帧的目标位姿信息对所述初始运动轨迹进行优化，得到所述目标运动轨迹。
40、可选地，所述输出数据还包括地图点云；所述装置还包括：
41、地图点云优化模块，用于基于所述全局重投影误差、所述imu预积分误差和所述imu数据，优化所述地图点云中各图像帧的位姿信息和各图像帧对应的各地图点的坐标，得到优化后的地图点云。
42、根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
43、根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开的上述方法。
44、本公开实施例提供的基于单目视觉惯性里程计的数据处理方法、装置、电子设备及存储介质，通过获取单目vio的输出数据和imu采集到的imu数据，构建全局重投影误差和相邻图像帧的imu预积分误差，实现对单目vio输出的位姿信息进行优化来得到目标位姿信息。由于实施例是构建包含存在共视关系的任意相邻图像帧之间的重投影误差的全局重投影误差，并获得任意相邻图像帧之间的imu预积分误差，使得相机在慢速移动或者静止状态下，可以有效避免imu预积分误差越来越大的问题，使得基于优化后的目标位姿信息可以得到更精准的定位和地图点云。
1.一种基于单目视觉惯性里程计的数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述获取基于所述目标位姿信息得到的目标运动轨迹，包括：
6.根据权利要求1所述的方法，其特征在于，所述输出数据还包括地图点云；所述方法还包括：
7.一种基于单目视觉惯性里程计的数据处理装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的方法。
