一种语义约束的受灾建构筑物增强现实场景建模方法及系统,用于受灾建构筑物增强现实,属于地理信息领域。
背景技术:
1、历年来,我国建构筑物受灾情况十分严峻,建构筑物受灾往往导致巨大的人员伤亡与经济财产损失,受灾建构筑物中的救援工作的展开也面临诸多风险与挑战。在灾害发生后,救援行动的迅速响应和高效执行是挽救生命和财产的关键。然而,应急救援工作面临着复杂多变的环境,包括灾害现场交通困难、通信中断、建构筑物结构受损等特点。应急救援场景具有突发性、不可预测性以及高危险性的特点,对在现场进行救援行动的消防队员产生了很大的威胁。应急救援的现代化、智能化、信息化技术的研究事关公共安全应急处置水平,对减轻灾害造成的生命伤害和财产损失具有重要意义。
2、推动云计算、大数据、物联网、人工智能、虚拟现实(vr)、增强现实(ar)等新一代信息技术在灾害应急中的深度应用中。其中,增强现实技术是高效灾情信息融合、灾情场景感知的重要举措;通过现有快速模型构建技术,快速获取受灾建模三维模型,并进行虚拟场景建模,将受灾建构筑物虚拟信息与现实世界真实物体叠加显示,有助于救援人员实现场景信息的快速获取,通过增强现实,救援人员能够在真实环境中获取受灾建构筑物的虚拟模型以及受灾建构筑物的相关信息,实现对复杂场景的直观理解。这为救援人员提供了实时、精准的信息支持,帮助其更有效地制定救援策略和行动方案。
3、目前增强现实方法主要为基于视觉跟踪的增强现实方法,包括基于标识物、slam、图像识别、空间感知等方法,这也是目前使用范围最广的方法,此类方法需要对目标区域进行预处理,提前准备识别锚点进行增强现实,不适用于复杂应急环境,无法用于受灾建筑增强现实场景,即由于大规模自然动态场景复杂性和动态变化特点,视觉追踪算法难度提高,大场景下尺度难以识别、场景特征点难以追踪。且用于大规模户外环境的移动设备难以支持视觉追踪的大规模运算;基于位姿的增强现实,为解决上述方法中的问题,将三维地理信息系统被引入到ar系统中,以提高在室外环境中注册的效率和准确性,利用虚拟三维gis对象以及gps和imu传感器收集的定位数据,可以实现增强现实的注册过程,这种方法无需使用视觉跟踪方法,与受灾建构筑物应急救援使用场景需求较为吻合,但是受到定位精度以及i um姿态估计误差的限制,现有基于位姿的增强现实系统与虚实融合效果与定位定姿精度强相关,因此,存在虚实融合效果差的问题。
4、综上所述,现有技术中受灾建构筑物增强现实场景建模方法存在如下技术问题:
5、基于视觉跟踪的增强现实方法无法用于受灾建筑增强现实场景;或基于位姿的增强现实受到定位精度以及i um姿态估计误差的限制,由于虚实融合效果与定位定姿精度强相关,因此,存在虚实融合效果差的问题,如现有基于视觉的三维配准方法多基于点特征进行匹配,语义信息利用不充分,由于虚拟图像和真实图像在纹理上存在较大差距;现有技术无法针对异质性图像提取出具有结构一致性的可用于匹配的特征线,导致受灾建构筑物增强现实场景匹配精度较低的问题;而现有匹配解算结果,依赖于匹配结果,使配准精度具有不可验算的特点,导致从特征匹配到位置与姿态解算的算法不够严谨。
技术实现思路
1、本发明的目的在于提供一种语义约束的受灾建构筑物增强现实场景建模方法及系统,解决基于视觉跟踪的增强现实方法无法用于受灾建筑增强现实场景;或基于位姿的增强现实受到定位精度以及i um姿态估计误差的限制,由于虚实融合效果与定位定姿精度强相关,因此,存在虚实融合效果差的问题。
2、为了实现上述目的,本发明采用的技术方案为:
3、一种语义约束的受灾建构筑物增强现实场景建模方法,包括如下步骤:
4、步骤1、基于位姿的增强现实虚实映射得到虚实图像;
5、步骤2、基于获取的建构筑物规范文件进行受灾建构筑物语义库构建;
6、步骤3、基于受灾建构筑物语义库对虚实图像进行虚实特征线提取;
7、步骤4、基于虚实特征线驱动的受灾建构筑物增强现实场景建模。
8、进一步,所述步骤1的具体步骤为:
9、步骤1.1、移动设备位姿获取及坐标系转化,具体步骤为:
10、步骤1.11、基于用户佩戴移动设备的视觉传感器获取现实世界的真实图像,并基于移动设备获取拍摄时间的空间位置和姿态参数,估算出移动设备或用户在现实世界坐标系中的位置,其中,移动设备为搭载视觉传感器、位置传感器和姿态传感器的移动设备;
11、步骤1.12、基于三维重建技术构建附带地理参考坐标的受灾建构筑物及其周边的三维模型,以受灾建构筑物及其周边的三维模型进行虚实融合,将该受灾建构筑物及其周边的三维模型依照地理参考坐标嵌入虚拟空间,并对三维虚拟场景的内容依照使用场景、使用时间进行调整形成受灾建构筑物的三维虚拟场景,其中,三维虚拟场景的内容包括光照、背景;
12、步骤1.13、基于三维虚拟场景和现实世界建立虚实空间映射关系,即需要对移动设备位姿进行坐标系的转换,坐标转化通过平移以及旋转两步完成,转化的具体步骤为:
13、根据现实世界坐标系与虚拟空间坐标系原点在x,y,z三个方向上的位移量,进行平移统一,现实世界坐标系与虚拟空间坐标系在x,y,z三个方向上的位移量,使用平移向量l=[lx,ly,lz]表示,则从现实世界坐标系到虚拟空间坐标系的位移矩阵如下所示:
14、
15、其中,虚拟空间坐标系指三维虚拟场景的坐标系,现实世界坐标系则是用户所在现实世界的坐标系;
16、则现实世界坐标系中点[x,y,z]在虚拟空间坐标系中坐标p′计算方法为:
17、
18、根据现实世界以及虚拟空间坐标系的三个轴向量的方向偏移量ω、k,获取从现实世界坐标系到虚拟空间坐标系的旋转矩阵如下所示:
19、
20、
21、其中,ω和κ分别表示绕z轴、x轴和y轴旋转的旋转角,为绕z轴旋转所得的旋转矩阵,rω绕x轴旋转所得的旋转矩阵,rκ绕y轴旋转所得的旋转矩阵,而移动设备在现实世界坐标系中姿态q到虚拟空间坐标系中姿态q′变化如下:
22、q′=r×q;
23、步骤1.14、将视觉传感器自带的定位系统获取的自身在现实场景的坐标依照虚实映射关系在三维虚拟场景中进行三维注册,三维注册后基于虚拟视觉传感器在虚拟世界获取真实图像的虚拟图像,最后叠加真实图像与虚拟图像得到初步的增强现实效果图像,即得到虚实图像。
24、进一步,所述步骤2的具体步骤为:
25、步骤2.1、基于获取的建构筑物规范文件进行人为分析,以对建筑相关参数进行界定,其中,相关参数包括建筑高度和建筑长宽;
26、对建构筑物的相关先验信息进行整理,同时对建构筑物的线条曲折度和尺寸形状参数进行设定,其中,相关先验信息包括建构筑物上边框以及侧边框与背景相接、建筑下边框与地面相接、建筑铅锤线与地面平行和边缘连续且闭合;
27、对受灾报告进行分析,对受灾建构筑物的线条结构进行约束;
28、步骤2.2、进行语义库预处理,即基于步骤2.1得到的结果人为分析受灾建构筑物的结构语义,将语句整理为数据约束,得到用于受灾建构筑物的特征线提取的语义库;
29、步骤2.3、对语义库进行整理,即将语义库中对于特征线的描述整理为铅垂约束、边缘约束、连续性约束、方位约束、拓扑约束和损毁约束,构建得到受灾建构筑物语义库。。
30、进一步,所述步骤3的具体步骤为:
31、步骤3.1、采用双线性插值法对虚实图像中的真实图像和虚拟图像分别进行降采样处理,具体步骤为:
32、为得到未知函数f在点p=(x,y)的值,设函数f在q11=(x1,y1)、q12=(x1,y2),q21=(x2,y1)以及q22=(x2,y2)四个点的值为已知数,f就是一个像素点的像素值,在x、y方向分别进行线性插值,得到:
33、
34、步骤3.2、使用canny边缘检测器检测边缘降采样处理后的真实图像和虚拟图像,分别得到边缘线二值化图像,具体步骤为:
35、步骤3.21、采用高斯滤波对分别降采样处理后的真实图像和虚拟图像进行平滑处理,公式为:
36、
37、其中,g(x,y)为真实图像或虚拟图像的高斯滤波的平滑值,x为真实图像或虚拟图像在x轴上的坐标,y为真实图像或虚拟图像在y轴上的坐标,σ为高斯滤波器的标准差,e和π都为数学中的常数;
38、步骤3.22、分别基于平滑处理后的真实图像和虚拟图像计算对应的梯度,其中,梯度包括幅度和角度,公式为:
39、
40、α=arctan(gy/gx)
41、其中,g表示真实图像或虚拟图像的幅度,gx和gy分别表示真实图像或虚拟图像水平方向的幅度和垂直方向的幅度,α表示角度;
42、步骤3.23、采用非最大抑制技术分别过滤掉真实图像和虚拟图像的梯度的非边缘像素;
43、步骤3.24、采用双阈值方法分别获取步骤3.23得到的真实图像和虚拟图像所对应的结果的边界,包括强边界和弱边界;
44、步骤3.25、利用滞后技术跟踪步骤3.24得到的边界,若弱边界与强边界相连,则将此弱边界作为真实边缘线保留下来,否则剔除,剔除后得到的强边界和弱边界即为边缘线二值化图像;
45、步骤3.3、基于受灾建构筑物语义库和真实图像或虚拟图像的边缘线二值化图像对建构筑物特征线进行结构语义约束,分别初步提取真实图像和虚拟图像的建筑特征线,包括使用逐列提取算法对上边缘线进行提取,使用铅锤平行检测算法对铅垂线进行提取,其中,结构语义约束包括方位约束和拓扑约束;
46、步骤3.4、基于结构语义约束对初步提取得到的建筑特征线进行后处理,具体步骤为:
47、步骤3.41、使用寻路优化算法分别将初步提取得到的真实图像和虚拟图像的建筑特征线中断开的部分连接起来,即先对建筑特征线使用八邻域断点检测算法进行连续性检测并提取断点,获取断点点对pi={si(x1,y1),ei(x2,y2)},其中,si(x1,y1)为起始点坐标,ei(x2,y2)为终点坐标,采用a-star自动寻路算法进行断点的连接,a-star自动寻路算法为在图形搜索中寻找从起始节点到目标节点路径的算法,使用了启发式函数来估计从起始节点到目标节点的最佳路径,启发式函数被称为h(n)函数,a-star自动寻路算法中的估价函数f(n)由两部分组成,公式为:
48、f(n)=g(n)+h(n)
49、其中,g(n)是从起始节点到节点n的实际距离及实际成本,h(n)是从节点n到目标节点的启发式估计距离;
50、h(n)=w×fw+v×fv+q×fq+a×fa
51、其中,w、v、q、a为上偏移量、下偏移量、曲折度、锐度,fw、fv、fq、fa分别为上偏移量、下偏移量、曲折度和锐度在计算估计成本中的权重;
52、步骤3.42、对步骤3.41得到的建筑特征线进行语义约束和多边形约束后,基于图像高斯平滑算法设计线平滑算法对异常像素进行去除,即选中约束后需要平滑的线段中一像素点,并获取该线段左边给定距离的一像素点以及右边给定距离的一像素点,通过平滑计算,作为线段中该点的新位置赋给该像素点,然后循环计算整个线段,对异常像素进行去除;
53、步骤3.43、基于douglas–peucker多边形近似算法结合步骤3.42得到的建筑结构的建筑特征线,获得多边形向量,即得到虚实特征线,包括真实特征线和虚拟特征线。
54、进一步,所述步骤4的具体步骤为:
55、步骤4.1、虚实图像的虚实特征线匹配与位姿估计解算,具体步骤为:
56、步骤4.11、对虚实特征线进行匹配计算,即将虚拟特征线经过旋转、平移和缩放以匹配真实特征线,其中,将虚拟特征线经过旋转、平移和缩放以匹配真实特征线包括针对虚拟特征线为铅垂线或底线时,使用霍夫变换的方法先对直线进行检测后,检测后再对直线进行旋转、平移和缩放后匹配真实特征线,针对虚拟特征线为符合多边形特征的天际线时,使用基于形状的匹配方法检测天际线,检测后对天际线进行旋转、平移和缩放后匹配真实特征线;
57、步骤4.12、依照匹配结果使用二维-三维的透视变换和立体视觉的位姿改正参数的解算方法,解算位姿改正参数,并基于改正参数对虚拟特征线变化进行处理得到新的虚拟特征线,再计算真实特征线与新的虚拟特征线之间的差距,若差距大于给定的阈值,则转到步骤4.11将新的虚拟特征线与真实特征线进行匹配,否则,得到虚拟的视觉传感器最终的位姿估算结果;
58、差距的公式为:
59、l1(s1,s2)=∫x|(s1(x)-s2(x))|dx
60、步骤4.2、基于位姿估算结果进行受灾建构筑物虚实融合建模展示,具体步骤为:
61、步骤4.21、用户基于虚拟三维场景给定虚拟参考物及对应的坐标,以给出标注信息,并依照虚拟三维场景上对应坐标进行标注信息注册;
62、步骤4.22、结合注册的标注信息、视觉传感器的位姿信息和虚实空间映射关系,对步骤4.12得到的虚拟的视觉传感器的姿态估算结果在虚拟三维场景中进行注册,同时依照视觉传感器位置对获取的信息依照轻重缓急设置相关标注信息的显示情况,包括可见度、颜色、透明度或显示朝向,得到信息丰富的虚拟三维场景;
63、步骤4.23、通过真实图像获取真实视频流,调取视觉传感器在信息丰富的虚拟三维场景中获取的虚拟视频流,并将真实视频流与虚拟视频流叠加之后得到虚实高度融合的增强现实流,最后对增强现实流在增强现实终端上展示。
64、一种语义约束的受灾建构筑物增强现实场景建模系统,包括:
65、虚实图像获取模块:基于位姿的增强现实虚实映射得到虚实图像;
66、受灾建构筑物语义库构建模块:基于获取的建构筑物规范文件进行受灾建构筑物语义库构建;
67、虚实特征线提取模块:基于受灾建构筑物语义库对虚实图像进行虚实特征线提取;
68、增强现实场景建模模块:基于虚实特征线驱动的受灾建构筑物增强现实场景建模。
69、进一步,所述虚实图像获取模块的具体实现步骤为:
70、步骤1.1、移动设备位姿获取及坐标系转化,具体步骤为:
71、步骤1.11、基于用户佩戴移动设备的视觉传感器获取现实世界的真实图像,并基于移动设备获取拍摄时间的空间位置和姿态参数,估算出移动设备或用户在现实世界坐标系中的位置,其中,移动设备为搭载视觉传感器、位置传感器和姿态传感器的移动设备;
72、步骤1.12、基于三维重建技术构建附带地理参考坐标的受灾建构筑物及其周边的三维模型,以受灾建构筑物及其周边的三维模型进行虚实融合,将该受灾建构筑物及其周边的三维模型依照地理参考坐标嵌入虚拟空间,并对三维虚拟场景的内容依照使用场景、使用时间进行调整形成受灾建构筑物的三维虚拟场景,其中,三维虚拟场景的内容包括光照、背景;
73、步骤1.13、基于三维虚拟场景和现实世界建立虚实空间映射关系,即需要对移动设备位姿进行坐标系的转换,坐标转化通过平移以及旋转两步完成,转化的具体步骤为:
74、根据现实世界坐标系与虚拟空间坐标系原点在x,y,z三个方向上的位移量,进行平移统一,现实世界坐标系与虚拟空间坐标系在x,y,z三个方向上的位移量,使用平移向量l=[lx,ly,lz]表示,则从现实世界坐标系到虚拟空间坐标系的位移矩阵如下所示:
75、
76、其中,虚拟空间坐标系指三维虚拟场景的坐标系,现实世界坐标系则是用户所在现实世界的坐标系;
77、则现实世界坐标系中点[x,y,z]在虚拟空间坐标系中坐标p′计算方法为:
78、
79、根据现实世界以及虚拟空间坐标系的三个轴向量的方向偏移量ω、κ,获取从现实世界坐标系到虚拟空间坐标系的旋转矩阵如下所示:
80、
81、其中,ω和κ分别表示绕z轴、x轴和y轴旋转的旋转角,为绕z轴旋转所得的旋转矩阵,rω绕x轴旋转所得的旋转矩阵,rκ绕y轴旋转所得的旋转矩阵,而移动设备在现实世界坐标系中姿态q到虚拟空间坐标系中姿态q′变化如下:
82、q′=r×q;
83、步骤1.14、将视觉传感器自带的定位系统获取的自身在现实场景的坐标依照虚实映射关系在三维虚拟场景中进行三维注册,三维注册后基于虚拟视觉传感器在虚拟世界获取真实图像的虚拟图像,最后叠加真实图像与虚拟图像得到初步的增强现实效果图像,即得到虚实图像。
84、进一步,所述受灾建构筑物语义库构建模块的具体实现步骤为:
85、步骤2.1、基于获取的建构筑物规范文件进行人为分析,以对建筑相关参数进行界定,其中,相关参数包括建筑高度和建筑长宽;
86、对建构筑物的相关先验信息进行整理,同时对建构筑物的线条曲折度和尺寸形状参数进行设定,其中,相关先验信息包括建构筑物上边框以及侧边框与背景相接、建筑下边框与地面相接、建筑铅锤线与地面平行和边缘连续且闭合;
87、对受灾报告进行分析,对受灾建构筑物的线条结构进行约束;
88、步骤2.2、进行语义库预处理,即基于步骤2.1得到的结果人为分析受灾建构筑物的结构语义,将语句整理为数据约束,得到用于受灾建构筑物的特征线提取的语义库;
89、步骤2.3、对语义库进行整理,即将语义库中对于特征线的描述整理为铅垂约束、边缘约束、连续性约束、方位约束、拓扑约束和损毁约束,构建得到受灾建构筑物语义库。
90、进一步,所述虚实特征线提取模块的具体实现步骤为:
91、步骤3.1、采用双线性插值法对虚实图像中的真实图像和虚拟图像分别进行降采样处理,具体步骤为:
92、为得到未知函数f在点p=(x,y)的值,设函数f在q11=(x1,y1)、q12=(x1,y2),q21=(x2,y1)以及q22=(x2,y2)四个点的值为已知数,f就是一个像素点的像素值,在x、y方向分别进行线性插值,得到:
93、
94、步骤3.2、使用canny边缘检测器检测边缘降采样处理后的真实图像和虚拟图像,分别得到边缘线二值化图像,具体步骤为:
95、步骤3.21、采用高斯滤波对分别降采样处理后的真实图像和虚拟图像进行平滑处理,公式为:
96、
97、其中,g(x,y)为真实图像或虚拟图像的高斯滤波的平滑值,x为真实图像或虚拟图像在x轴上的坐标,y为真实图像或虚拟图像在y轴上的坐标,σ为高斯滤波器的标准差,e和π都为数学中的常数;
98、步骤3.22、分别基于平滑处理后的真实图像和虚拟图像计算对应的梯度,其中,梯度包括幅度和角度,公式为:
99、
100、α=arctan(gy/gx)
101、其中,g表示真实图像或虚拟图像的幅度,gx和gy分别表示真实图像或虚拟图像水平方向的幅度和垂直方向的幅度,α表示角度;
102、步骤3.23、采用非最大抑制技术分别过滤掉真实图像和虚拟图像的梯度的非边缘像素;
103、步骤3.24、采用双阈值方法分别获取步骤3.23得到的真实图像和虚拟图像所对应的结果的边界,包括强边界和弱边界;
104、步骤3.25、利用滞后技术跟踪步骤3.24得到的边界,若弱边界与强边界相连,则将此弱边界作为真实边缘线保留下来,否则剔除,剔除后得到的强边界和弱边界即为边缘线二值化图像;
105、步骤3.3、基于受灾建构筑物语义库和真实图像或虚拟图像的边缘线二值化图像对建构筑物特征线进行结构语义约束,分别初步提取真实图像和虚拟图像的建筑特征线,包括使用逐列提取算法对上边缘线进行提取,使用铅锤平行检测算法对铅垂线进行提取,其中,结构语义约束包括方位约束和拓扑约束;
106、步骤3.4、基于结构语义约束对初步提取得到的建筑特征线进行后处理,具体步骤为:
107、步骤3.41、使用寻路优化算法分别将初步提取得到的真实图像和虚拟图像的建筑特征线中断开的部分连接起来,即先对建筑特征线使用八邻域断点检测算法进行连续性检测并提取断点,获取断点点对pi={si(x1,y1),ei(x2,y2)},其中,si(x1,y1)为起始点坐标,ei(x2,y2)为终点坐标,采用a-star自动寻路算法进行断点的连接,a-star自动寻路算法为在图形搜索中寻找从起始节点到目标节点路径的算法,使用了启发式函数来估计从起始节点到目标节点的最佳路径,启发式函数被称为h(n)函数,a-star自动寻路算法中的估价函数f(n)由两部分组成,公式为:
108、f(n)=g(n)+h(n)
109、其中,g(n)是从起始节点到节点n的实际距离及实际成本,h(n)是从节点n到目标节点的启发式估计距离;
110、h(n)=w×fw+v×fv+q×fq+α×fa
111、其中,w、v、q、a为上偏移量、下偏移量、曲折度、锐度,fw、fv、fq、fa分别为上偏移量、下偏移量、曲折度和锐度在计算估计成本中的权重;
112、步骤3.42、对步骤3.41得到的建筑特征线进行语义约束和多边形约束后,基于图像高斯平滑算法设计线平滑算法对异常像素进行去除,即选中约束后需要平滑的线段中一像素点,并获取该线段左边给定距离的一像素点以及右边给定距离的一像素点,通过平滑计算,作为线段中该点的新位置赋给该像素点,然后循环计算整个线段,对异常像素进行去除;
113、步骤3.43、基于douglas–peucker多边形近似算法结合步骤3.42得到的建筑结构的建筑特征线,获得多边形向量,即得到虚实特征线,包括真实特征线和虚拟特征线。
114、进一步,所述增强现实场景建模模块的具体实现步骤为:
115、步骤4.1、虚实图像的虚实特征线匹配与位姿估计解算,具体步骤为:
116、步骤4.11、对虚实特征线进行匹配计算,即将虚拟特征线经过旋转、平移和缩放以匹配真实特征线,其中,将虚拟特征线经过旋转、平移和缩放以匹配真实特征线包括针对虚拟特征线为铅垂线或底线时,使用霍夫变换的方法先对直线进行检测后,检测后再对直线进行旋转、平移和缩放后匹配真实特征线,针对虚拟特征线为符合多边形特征的天际线时,使用基于形状的匹配方法检测天际线,检测后对天际线进行旋转、平移和缩放后匹配真实特征线;
117、步骤4.12、依照匹配结果使用二维-三维的透视变换和立体视觉的位姿改正参数的解算方法,解算位姿改正参数,并基于改正参数对虚拟特征线变化进行处理得到新的虚拟特征线,再计算真实特征线与新的虚拟特征线之间的差距,若差距大于给定的阈值,则转到步骤4.11将新的虚拟特征线与真实特征线进行匹配,否则,得到虚拟的视觉传感器最终的位姿估算结果;
118、差距的公式为:
119、l1(s1,s2)=∫x|(s1(x)-s2(x))|dx
120、步骤4.2、基于位姿估算结果进行受灾建构筑物虚实融合建模展示,具体步骤为:
121、步骤4.21、用户基于虚拟三维场景给定虚拟参考物及对应的坐标,以给出标注信息,并依照虚拟三维场景上对应坐标进行标注信息注册;
122、步骤4.22、结合注册的标注信息、视觉传感器的位姿信息和虚实空间映射关系,对步骤4.12得到的虚拟的视觉传感器的姿态估算结果在虚拟三维场景中进行注册,同时依照视觉传感器位置对获取的信息依照轻重缓急设置相关标注信息的显示情况,包括可见度、颜色、透明度或显示朝向,得到信息丰富的虚拟三维场景;
123、步骤4.23、通过真实图像获取真实视频流,调取视觉传感器在信息丰富的虚拟三维场景中获取的虚拟视频流,并将真实视频流与虚拟视频流叠加之后得到虚实高度融合的增强现实流,最后对增强现实流在增强现实终端上展示。
124、与现有技术相比,本发明的优点在于:
125、一、本发明对现有技术中建筑特征线提取精度差的问题,构建受灾建构筑物结构语义特征库,设计结构语义约束的受灾建构筑物特征线精准提取算法,提高虚实图像的虚实特征线提取精度,提高了结构语义约束的受灾建构筑物的特征线的提取精准;
126、二、本发明针对其虚实融合不准问题使用基于视觉的三维配准方法对基于位姿的增强现实进行改进,以期达到受灾建构筑物灾情信息虚实融合表达的效果,即本案基于受灾建构筑物存在的丰富的结构语义特征,充分利用其结构语义特征对虚拟图像以及真实图像的特征线进行适用于虚实匹配的高精度提取,同时针对虚实匹配到位姿解算的过程中算法不可验算的问题,采用循环解算算法有效提高了算法的可靠性,实现了受灾建构筑物的增强现实高精度配准;以使受灾建构筑物的增强现实高精度配准,在救援人员需要迅速到达受灾现场,但地震可能导致道路损毁,传统导航系统无法提供精确的位置信息,通过结合虚拟建构筑物模型和实际场景,高精度虚实融合能够提供准确的建构筑物位置信息,这种信息对于损毁的道路、选择最短救援路径至关重要,精确的虚实融合可以确保虚拟物体与真实世界环境无缝融合,有助于确保救援资源被有效地调度到关键地点,提高了生命安全和应急响应的质量,结合虚拟建构筑物模型和实际场景,高精度虚实融合不仅提供了准确的位置信息,还可以在虚拟模型中标识出潜在的被困区域。结合设备实现灾情信息增强现实虚实融合表达,将为救援人员更快速、精准地定位受困者提供支撑,提高救援效率。
1.一种语义约束的受灾建构筑物增强现实场景建模方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种语义约束的受灾建构筑物增强现实场景建模方法,其特征在于,所述步骤1的具体步骤为:
3.根据权利要求2所述的一种语义约束的受灾建构筑物增强现实场景建模方法,其特征在于,所述步骤2的具体步骤为:
4.根据权利要求3所述的一种语义约束的受灾建构筑物增强现实场景建模方法,其特征在于,所述步骤3的具体步骤为:
5.根据权利要求4所述的一种语义约束的受灾建构筑物增强现实场景建模方法,其特征在于,所述步骤4的具体步骤为:
6.一种语义约束的受灾建构筑物增强现实场景建模系统,其特征在于,包括:
7.根据权利要求6所述的一种语义约束的受灾建构筑物增强现实场景建模系统,其特征在于,所述虚实图像获取模块的具体实现步骤为:
8.根据权利要求6所述的一种语义约束的受灾建构筑物增强现实场景建模系统,其特征在于,所述受灾建构筑物语义库构建模块的具体实现步骤为:
9.根据权利要求8所述的一种语义约束的受灾建构筑物增强现实场景建模系统,其特征在于,所述虚实特征线提取模块的具体实现步骤为:
10.根据权利要求9所述的一种语义约束的受灾建构筑物增强现实场景建模系统,其特征在于,所述增强现实场景建模模块的具体实现步骤为: