本技术涉及数据处理,特别是涉及一种基于大场景空间的多模态数据空间一致性匹配方法。
背景技术:
1、在大场景中,往往存在海量的异构采集终端采集图像、视频和点云等多模态数据。采集端存在采集位置固定和无规则运动等多种模式,例如安防监控相机、可变视角的云台相机、无人机等数据采集设备。在数字孪生应用中,多模态数据往往需要先精准地还原到三维空间的位置,再进行多模态数据的融合分析。此时,多模态数据与场景空间的空间一致性是保障数据融合分析精度的最主要因素。
2、传统的空间一致性方法一般通过对固定位置和固定视角的采集终端进行位置标定;或对可移动的采集终端,结合gps定位、特征匹配、高度和距离等信息进行空间位置还原。现有方法存在操作复杂、空间位置还原偏差大等问题。同时,固定位置和固定视角的采集终端受风雨影响,随着时间变化会导致位置偏移,需要不定期重复校正。
3、现有技术在应用时存在空间还原复杂性较高、还原进度较低的问题。
技术实现思路
1、本技术实施例提供了一种基于大场景空间的多模态数据空间一致性匹配方法,以至少解决相关技术中空间还原复杂性较高、还原进度较低的问题。
2、第一方面,本技术实施例提供了一种基于大场景空间的多模态数据空间一致性匹配方法,包括:
3、获取场景数据以及对场景空间进行三维建模得到的三维空间模型,所述场景数据包括图像数据和点云数据;
4、在所述三维空间模型中构建坐标系,并确定所述场景数据在所述坐标系中的相对位置信息;
5、根据所述坐标系以及所述场景数据在所述坐标系中的相对位置信息,获取参考数据集和对比数据集,根据所述参考数据集、对比数据集以及对比数据与所述参考数据集之间的映射关系,对多模态数据空间一致性模型进行训练;
6、根据所述多模态数据空间一致性模型确定目标场景数据在所述三维空间模型中的位置信息。
7、在一实施例中,所述根据所述坐标系以及所述场景数据在所述坐标系中的相对位置信息,获取参考数据集和对比数据集,包括:
8、根据所述坐标系确定所述三维空间模型的旋转方向,根据预设间隔角度遍历预设旋转角度范围获取旋转角度集合,基于所述旋转角度集合获取旋转角度对应的空间平面集合;
9、根据空间平面集合和所述场景数据在所述坐标系中的相对位置信息确定参考数据集和对比数据集。
10、在一实施例中,所述根据所述坐标系确定所述三维空间模型的旋转方向,包括:
11、根据所述坐标系水平方向坐标轴所构成的平面确定第一旋转方向;
12、根据所述坐标系竖直方向坐标轴所构成的平面确定第二旋转方向。
13、在一实施例中,所述根据预设间隔角度遍历预设旋转角度范围获取旋转角度集合,基于所述旋转角度集合获取旋转角度对应的空间平面集合,包括:
14、在所述第一旋转方向,按照第一预设间隔角度遍历第一旋转角度范围获取第一旋转角度集合,在所述第二旋转方向,按照第二预设间隔角度遍历第二旋转角度范围获取第二旋转角度集合;
15、在所述第一旋转方向,按照第三预设间隔角度遍历第三旋转角度范围获取第三旋转角度集合,在所述第二旋转方向,按照第四预设间隔角度遍历第四旋转角度范围获取第四旋转角度集合;
16、基于所述第一旋转角度集合和所述第二旋转角度集合获取第一空间平面集合,基于所述第三旋转角度集合和所述第四旋转角度集合获取第二空间平面集合。
17、在一实施例中,对比数据与所述参考数据集之间的映射关系包括:
18、对比数据与参考数据之间的区域重叠度,对比数据与参考数据之间偏差量,对比数据与参考数据在第一旋转方向上的第一角度偏移量,以及对比数据与参考数据在第二旋转方向上的第二角度偏移量。
19、在一实施例中,所述多模态数据空间一致性模型包括图像数据空间一致性模型和点云数据空间一致性模型,所述根据所述参考数据集、对比数据集以及对比数据与所述参考数据集之间的映射关系,对多模态数据空间一致性模型进行训练,包括:
20、根据基于图像数据获取的第一参考数据集、第一对比数据集以及第一对比数据集中的对比数据与第一参考数据集之间的第一映射关系,对图像数据空间一致性模型进行训练;
21、根据基于点云数据获取的第二参考数据集、第二对比数据集以及第二对比数据集中的对比数据与第二参考数据集之间的第二映射关系,对点云数据空间一致性模型进行训练。
22、在一实施例中,所述根据空间平面集合和所述场景数据在所述坐标系中的相对位置信息确定参考数据集和对比数据集,包括:
23、按照设定尺寸对所述空间平面集合中的空间平面的进行划分;
24、根据预设滑动窗口尺寸遍历所述第一空间平面,根据遍历结果和所述场景数据在所述坐标系中的相对位置信息,获取参考数据集;
25、根据预设滑动窗口尺寸遍历所述第二空间平面,根据遍历结果和所述场景数据在所述坐标系中的相对位置信息,获取对比数据集。
26、在一实施例中,所述根据所述多模态数据空间一致性模型确定目标场景数据在所述三维空间模型中的位置信息,包括:
27、获取目标场景数据,通过所述多模态数据空间一致性模型对所述目标场景数据进行推理,得到所述目标场景数据与参考数据集之间的映射关系;
28、根据所述区域重叠度获取目标映射关系和目标参考数据;
29、根据所述目标映射关系和目标参考数据确定目标场景数据的位置信息。
30、在一实施例中,在所述三维空间模型中构建坐标系,包括:
31、在所述三维空间模型中构建全局坐标系;
32、响应于所述场景空间尺寸大于设定阈值,构建设定数量的局部坐标系。
33、第二方面,本技术实施例提供了一种基于大场景空间的多模态数据空间一致性匹配系统,包括:
34、建模模块:用于获取场景数据以及对场景空间进行三维建模得到的三维空间模型,所述场景数据包括图像数据和点云数据;
35、构建模块:用于在所述三维空间模型中构建坐标系,并确定所述场景数据在所述坐标系中的相对位置信息;
36、训练模块:用于根据所述坐标系以及所述场景数据在所述坐标系中的相对位置信息,获取参考数据集和对比数据集,根据所述参考数据集、对比数据集以及对比数据与所述参考数据集之间的映射关系,对多模态数据空间一致性模型进行训练;
37、映射模块:用于根据所述多模态数据空间一致性模型确定目标场景数据在所述三维空间模型中的位置信息。
38、本技术实施例提供的基于大场景空间的多模态数据空间一致性匹配方法,至少具有以下技术效果。
39、本技术通过对场景空间进行建模,将目标场景数据和参考数据放在同一空间模型中,通过参考数据和对比数据以及二者之间的映射关系训练多模态空间一致性模型,从而可以基于对应的映射关系确定多模态数据在三维空间中的位置信息。提高了多模态数据空间还原精度,降低了空间还原的复杂性。
40、本技术的一个或多个实施例的细节在以下附图和描述中提出,以使本技术的其他特征、目的和优点更加简明易懂。
1.一种基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,包括:
2.根据权利要求1所述的基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,所述根据所述坐标系以及所述场景数据在所述坐标系中的相对位置信息,获取参考数据集和对比数据集,包括:
3.根据权利要求2所述的基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,所述根据所述坐标系确定所述三维空间模型的旋转方向,包括:
4.根据权利要求3所述的基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,所述根据预设间隔角度遍历预设旋转角度范围获取旋转角度集合,基于所述旋转角度集合获取旋转角度对应的空间平面集合,包括:
5.根据权利要求3所述的基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,对比数据与所述参考数据集之间的映射关系包括:
6.根据权利要求1所述的基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,所述多模态数据空间一致性模型包括图像数据空间一致性模型和点云数据空间一致性模型,所述根据所述参考数据集、对比数据集以及对比数据与所述参考数据集之间的映射关系,对多模态数据空间一致性模型进行训练,包括:
7.根据权利要求4所述的基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,所述根据空间平面集合和所述场景数据在所述坐标系中的相对位置信息确定参考数据集和对比数据集,包括:
8.根据权利要求5所述的基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,所述根据所述多模态数据空间一致性模型确定目标场景数据在所述三维空间模型中的位置信息,包括:
9.根据权利要求1所述的基于大场景空间的多模态数据空间一致性匹配方法,其特征在于,在所述三维空间模型中构建坐标系,包括:
10.一种基于大场景空间的多模态数据空间一致性匹配系统,其特征在于,包括: