本申请涉及三维重建,具体涉及一种路灯与实景融合重建方法、装置、电子设备及存储介质。
背景技术:
1、实景三维关系着智慧交通、智能房管、管线规划、环保监测等诸多民生领域,对提高人民生活水平大有助益。推进大规模实景三维重建,不仅需要小区、街道乃至市区等俯视的视野的大场景重建,还需要对道路以及道路两侧的路灯进行精细化三维重建。
2、目前的技术通常是采用无人机拍摄的方式获取大范围场景下的图像,并直接基于大场景下的图像完成大范围场景的重建,得到大范围场景模型,由于受限于无人机拍摄的方式成像距离过远,视角不全,导致拍摄的图像中,路灯纹理缺失严重,因此无法对大范围场景下中的路灯、路牌和绿化植物等道路地标进行细节部分的精细化重建,导致大范围场景模型的重建效果较为粗糙。
技术实现思路
1、本申请提供一种能够完成大规模三维实景模型的重建,且能够便于对大范围场景中的多个不同朝向的路灯进行快速的、批量的、精细化的有效重建的路灯与实景融合重建方法、装置、电子设备及存储介质。
2、一方面,本申请提供一种路灯与实景融合重建方法,包括:
3、获取三维实景的三维实景视频,所述三维实景视频通过无人机拍摄设备拍摄得到,所述三维实景中所述地标包括目标路灯;
4、获取所述目标路灯的路灯视频,所述路灯视频通过车载视频采集设备拍摄得到;
5、根据所述三维实景视频,构建所述三维实景的三维实景模型;
6、根据所述路灯视频,构建具有路灯纹理的所述目标路灯的路灯单体模型;
7、根据所述三维实景模型中所述目标路灯的高度和朝向,对所述路灯单体模型进行缩放和旋转,并融合至所述三维实景模型中,得到融合有所述路灯单体模型的所述三维实景模型。
8、在本申请一种可能的实现方式中,所述根据所述三维实景视频,构建所述三维实景的三维实景模型,包括:
9、根据所述三维实景视频,通过预先训练的三维实景模型生成器进行空中三角测量计算,生成所述三维实景的三维实景点云信息;
10、根据所述三维实景点云信息,构建所述三维实景模型。
11、在本申请一种可能的实现方式中,所述根据所述路灯视频,构建具有路灯纹理的所述目标路灯的路灯单体模型,包括:
12、根据所述路灯视频,对所述目标路灯进行三维点云重建,得到所述目标路灯的三维路灯点云信息;
13、识别所述路灯视频中所述目标路灯的路灯纹理,得到纹理识别结果;
14、根据所述三维路灯点云信息、预先构建的三维路灯模板和所述纹理识别结果,构建路灯纹理的所述路灯单体模型。
15、在本申请一种可能的实现方式中,所述路灯视频包括由多帧二维路灯图像构成的图像序列,所述识别所述路灯视频中所述目标路灯的路灯纹理,得到纹理识别结果,包括:
16、从所述二维路灯图像中检测所述目标路灯,生成路灯检测框;
17、截取所述路灯检测框对应区域的目标路灯图像;
18、识别所述目标路灯图像中的路灯纹理,得到所述纹理识别结果。
19、在本申请一种可能的实现方式中,所述根据所述三维路灯点云信息、预先构建的三维路灯模板和所述纹理识别结果,构建路灯纹理的所述路灯单体模型,包括:
20、根据所述三维路灯点云信息所构成的框架,确定目标路灯的三维路灯立体框架;
21、确定所述三维路灯立体框架在xyz三维空间坐标系中的路灯朝向和路灯高度,所述xyz三维空间坐标系为由x轴、y轴和z轴构成的三维坐标系;
22、根据所述三维路灯立体框架的所述路灯朝向和所述路灯高度,对所述三维路灯模板进行缩放和旋转,并将缩放和旋转后的所述三维路灯模板和所述纹理识别结果融合至所述三维路灯立体框架中,得到具有路灯纹理的所述路灯单体模型。
23、在本申请一种可能的实现方式中,所述确定所述三维路灯立体框架在xyz三维空间坐标系中的路灯朝向和路灯高度,包括:
24、确定所述三维路灯立体框架在xy二维水平面中的路灯最长边;
25、根据所述路灯最长边在所述xyz三维空间坐标系中的方位角,确定所述三维路灯立体框架在所述xyz三维空间坐标系中的所述路灯朝向;
26、其中,所述xy二维水平面为所述xyz三维空间坐标系于x轴和y轴构成的二维平面。
27、在本申请一种可能的实现方式中,所述确定所述三维路灯立体框架在xyz三维空间坐标系中的路灯朝向和路灯高度,包括:
28、根据所述三维路灯立体框架沿z轴方向的最大z轴值和最小z轴值的差值,确定所述三维路灯立体框架的所述路灯高度;
29、其中,所述z轴方向为所述xyz三维空间坐标系中z轴延伸的方向。
30、另一方面,本申请提供一种路灯与实景融合重建装置,所述装置包括:
31、第一视频获取模块,用于获取三维实景的三维实景视频,所述三维实景视频通过无人机拍摄设备拍摄得到,所述三维实景中所述地标包括目标路灯;
32、第二视频获取模块,用于获取所述目标路灯的路灯视频,所述路灯视频通过车载视频采集设备拍摄得到;
33、第一模型构建模块,用于根据所述三维实景视频,构建所述三维实景的三维实景模型;
34、第二模型构建模块,用于根据所述路灯视频,构建具有路灯纹理的所述目标路灯的路灯单体模型;
35、模型融合模块,用于根据所述三维实景模型中所述目标路灯的高度和朝向,对所述路灯单体模型进行缩放和旋转,并融合至所述三维实景模型中,得到融合有所述路灯单体模型的所述三维实景模型。
36、另一方面,本申请还提供一种电子设备,所述电子设备包括:
37、一个或多个处理器;
38、存储器;以及
39、一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现所述的路灯与实景融合重建方法。
40、另一方面,本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行所述的路灯与实景融合重建方法中的步骤。
41、本申请通过无人机拍摄设备拍摄三维实景,得到三维实景视频,并根据三维实景视频,完成三维实景模型的构建,另外通过车载视频采集设备拍摄目标路灯,得到路灯视频,再根据路灯视频构建具有路灯纹理的路灯单体模型,后续在模型融合过程中,根据三维实景模型中目标路灯的高度和朝向,对路灯单体模型进行缩放和旋转,并融合至三维实景模型中,从而便于快速地对三维实景模型中多个路灯进行批量重建,并且三维实景模型每个路灯单体模型均具有清晰的路灯纹理,因此,本申请不仅能够完成大规模的三维实景模型的重建,且能够实现该大规模三维实景模型中目标路灯的有效重建。
1.一种路灯与实景融合重建方法,其特征在于,包括:
2.如权利要求1所述的路灯与实景融合重建方法,其特征在于,所述根据所述三维实景视频,构建所述三维实景的三维实景模型,包括:
3.如权利要求1所述的路灯与实景融合重建方法,其特征在于,所述根据所述路灯视频,构建具有路灯纹理的所述目标路灯的路灯单体模型,包括:
4.如权利要求2所述的路灯与实景融合重建方法,其特征在于,所述路灯视频包括由多帧二维路灯图像构成的图像序列,所述识别所述路灯视频中所述目标路灯的路灯纹理,得到纹理识别结果,包括:
5.如权利要求4所述的路灯与实景融合重建方法,其特征在于,所述根据所述三维路灯点云信息、预先构建的三维路灯模板和所述纹理识别结果,构建路灯纹理的所述路灯单体模型,包括:
6.如权利要求5所述的路灯与实景融合重建方法,其特征在于,所述确定所述三维路灯立体框架在xyz三维空间坐标系中的路灯朝向和路灯高度,包括:
7.如权利要求5所述的路灯与实景融合重建方法,其特征在于,所述确定所述三维路灯立体框架在xyz三维空间坐标系中的路灯朝向和路灯高度,包括:
8.一种路灯与实景融合重建装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7任一项所述的路灯与实景融合重建方法中的步骤。