本发明涉及一种空三并行计算算法和优化的任务调度策略，尤其是一种基于空三并行计算算法的城市实景三维模型的构建方法。。
背景技术：
维重建是一种对实景三维物体建立适于计算机处理的数学模型的技术，也是在计算机环境下对实景三维物体进行处理和分析的基础，计算机三维重建是计算机辅助设计与计算机图形学中一个重要的研究领域，实现了物体的三维空间点云稀疏重建与稠密重建，以及对点云后处理和基于多视角多幅图像的三维重建。图像的三维重建是综合计算机视觉、图像处理和计算机图形学等学科知识的新兴技术，它具有二维图形所不可比拟的特质，其模型可以从多个不同的角度进行直观的观测、并且具有逼真的效果、达到实时虚拟、实时互动等。
随着测绘技术的发展，多视角影像倾斜建模越来越多的应用到城市三维模型建设中。这种方法相较于基于几何特征和基于距离的方法相比，成本低、受环境约束较小。基于图像的建模方法的基本思路是利用图像之间的匹配关系来建立图像之间的几何关系，然后通过这种几何关系来恢复图像的摄像机参数信息并生成点云，最后对点云网格化并贴纹理形成三维模型。
诸如中国专利文献cn107767454a公开了一种实景三维建模方法，包括采集至少三幅图像的数据信息，匹配处理得到图像匹配点，根据所述图像匹配点，计算得到稀疏点云图像，根据所述稀疏点云图像，通过设置采样间隔，匹配处理得到稠密点云图像，根据所述稠密点云图像，利用检测算法，计算得到三维网格模型，纹理映射所述三维网格模型，得到三维实景模型。
诸如中国专利文献cn103021017a中公开了一种三维场景重建方法，使用相机在不同的位置、不同的角度对场景进行拍照，获得真实场景的二维图像序列，使用gpu并行加速的sift算法得到每幅图像的特征点，并进行特征点匹配，使用bundleadjustment算法自动获得所有图像的相机参数，得到特征点在三维空间中的位置，生成初始的疏密点云模型，使用pmvs算法，利用相邻点具有相似的法向和位置的特征，逐步扩散重建出其周围的空间点，扩散结束后进行图像处理，得到稠密的点云模型，重新组织点云的存储结构，将点云网格化，从二维图像中找到网格化后所有三角片面对应的纹理，然后通过gpu纹理映射，最终渲染出整个场景。
然而，这些现有的基于图像的三维重建软件中，空中三角测量方法主要是基于传统sift图像特征提取算法，这类算法针对特征重复性少的、结构复杂的建筑物，三维重建比较困难，同时受制于大量的图像间匹配，使得空三计算过程非常耗时。空三计算只支持一台机器进行解算，这限制了单个任务的数据量，从而限制了大数据项目的建模运算周期，同时造成了其他硬件资源的浪费。
为了解决这些现有技术中的问题，现有技术中提出了各种图像处理计算方案。诸如中国专利文献cn107292234a公开了一种基于信息边缘和多模态特征的室内场景布局估计方法，针对图像用边缘检测提取直线段由此估计出图像消失点，从消失点出发做采样射线粗划分图像区域，用全卷积神经网络fcns获取信息边缘图，选取图中能量较高区域并细采样产生布局候选项，基于积分几何提取图像的线段，几何上下文、深度、法向量特征、考虑布局候选项与区域级特征一元和二元的映射关系，设计布局估计的结构化回归模型，引入结构化学习算法，能量函数最小的即为室内场景布局估计。
现有技术中亟需一种能够提高海量数据处理速度，作业效率大幅度提升的基于云计算的城市实景三维模型构建技术。
技术实现要素：
鉴于现有技术中的上述技术问题，本发明旨在提供一种能够实现空三并行计算算法和优化的任务调度策略，实现空三任务自动拆分、并行计算、自动融合，解决因数据量太大而导致空三失败或者假死的现象，能够提高海量数据处理速度，从而大幅度提高生产效率的基于云计算的城市实景三维模型构建技术。
具体而言，本发明提供一种基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，包括如下步骤：
（1）获取城市多视角影像；
（2）利用获取的城市多视角影像，进行基于深度学习和分布式并行算法的空中三角测量，其中，将该空中三角测量分为任务分解、任务执行和任务融合三个阶段实施任务调度策略，
在所述任务分解阶段：通过加载一个参考地形，将整个生产范围内包含的相片投射到参考地形上，按照地理坐标对空中三角测量任务进行自动划分拆分；
在所述任务执行阶段：输入图像后，首先基于卷积神经网络进行稠密特征提取和初步特征匹配，利用vgg-16卷积神经网络提取最大池化层作为稠密特征，初步特征匹配使用上层最大池化层(较低的空间分辨率)来建立初始对应；然后对空三连接点进行纠正和重定位，对于当前层的每个连接点，检索对应的k×k像素s1中较低层(较高空间分辨率)的描述符，连接点重新定位在k×k像素中描述符范数(l2范数)最大的像素位置，重复这个重定位，直到它到达与输入图像具有相同分辨率的conv1_2层；最后采用ransac算法删除匹配异常值，和pmvs算法对稀疏点云进行加密，在整个计算过程中，交替使用incremental增量式和global全局式策略，以快速遍历识别所有影像空间位置姿态信息和相机参数；
在所述任务融合阶段：通过自动匹配稠密点云、联合平差，实现空中三角测量结果自动融合；所述联合平差指的是根据所获取的激光点云、原始影像、定位定向数据等等而对不同的成像模型进行的联测和平差。
（3）根据所述稠密点云图像，利用检测算法，计算得到三维网格模型，
（4）纹理映射所述三维网格模型，得到三维实景模型。
根据本发明的上述基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，在空中三角测量过程中，所述二维语义特征信息作为特征点参与空三解算，在密集匹配过程中，将其作为输入条件，约束稠密点云构建过程，得到准确的稠密点云。
根据本发明的上述基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，通过分析该二维语义特征信息的类别属性，控制密集点云匹配精度。
根据本发明的上述基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，通过将整个工程区域自动划分为多个空三分块，并利用多个计算节点分别进行计算，然后对解算完成的全部空三分块实现快速合并从而进行整体区域网平差计算。
根据本发明的上述基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，通过上述并行处理，大数据项目工程不需要拆分，同时，也可以在并行处理过程中查看空中三角测量前后的图像坐标及姿态。
根据本发明，由于通过将整个工程区域自动划分为多个空三分块，并利用多个计算节点分别进行计算，然后对解算完成的全部空三分块实现快速合并从而进行整体区域网平差计算，计算速度得到提高。
根据本发明，由于空三分布解算过程实现了对整个工程的并行处理，从而大幅度提高了数据处理速度，缩短了大数据项目的建模运算周期，同时使得其他硬件资源得到充分的利用。
另外，根据本发明，由于通过上述并行处理，大数据项目工程不需要拆分，避免了重叠部分的重复计算及工程接边带来的繁复操作。同时，也可以在并行处理过程中查看空中三角测量前后的图像坐标及姿态。
另外，根据本发明，能够实现基于云计算的倾斜影像自动批量实景三维建模处理，大幅提升了海量数据处理的速度。经过试验对比，采用本技术方案，普通正射影像数据处理，实现全部数据自动建模，平均作业效率提高83%左右，工期缩短80%左右，同时也大大降低了人员作业强度。
附图说明
图1为本发明一实施例涉及的基于空三并行计算算法的城市实景三维模型的构建方法的流程示意图。
图2为本发明一实施例涉及的基于卷积神经网络（cnn）稠密特征提取的sfm算法的流程示意图。
具体实施方式
下面参照附图结合具体实施方式对本发明做出进一步详细的说明。本领域技术人员懂得，该说明是示例性的，本发明并不仅限于该具体实施方式之中。
图1为本发明一实施例涉及的基于空三并行计算算法的城市实景三维模型的构建方法的流程示意图。图2为构建方法的基于卷积神经网络（cnn）稠密特征提取的sfm算法的流程示意图。
如图1所示，在本发明该具体实施方式中，提供了一种空三并行计算算法和优化的任务调度策略，并将该策略应用于城市实景三维模型的构建中，通过实现空三任务自动拆分、并行计算、自动融合，解决因数据量太大而导致空三失败或者假死的现象，从而大幅度提高生产效率。在基于深度学习的高效实景三维重建中，基于卷积神经网络（cnn）稠密特征提取的sfm算法（如图2所示），实现城市实景三维模型建模。
具体而言，该实施方式中，所述基于空三并行计算算法的城市实景三维模型的构建方法包括如下步骤：
（1）获取城市多视角影像；获取至少一组在多个不同预设位置的包含场景目标的连续的、不同角度的原始影像（二维图像）及各原始影像对应的空间位置姿态信息和相机参数等，通过机器学习对所述的连续的、不同角度的原始影像（二维图像）进行图像识别，并进行多视角影像的样本训练，准确识别并提取诸如建筑物的二维语义特征信息；
（2）利用获取的城市多视角影像，进行基于深度学习和分布式并行算法的空中三角测量，其中，将该空中三角测量分为任务分解、任务执行和任务融合三个阶段实施任务调度策略，
在所述任务分解阶段：通过加载一个参考地形，将整个生产范围内包含的相片投射到参考地形上，按照地理坐标对空中三角测量任务进行自动拆分（按照地理坐标进行任务自动划分）；
在所述任务执行阶段：执行基于深度学习的快速特征提取和匹配任务、以及相机内外方位元素解算任务。如图2所示，示出了所述基于卷积神经网络（cnn）稠密特征提取的sfm算法的流程示意图。
输入图像后，首先基于卷积神经网络进行稠密特征提取和初步特征匹配，利用vgg-16卷积神经网络提取最大池化层作为稠密特征，初步特征匹配使用上层最大池化层(较低的空间分辨率)来建立初始对应；然后对空三连接点进行纠正和重定位，对于当前层的每个连接点，检索对应的k×k像素s1中较低层(较高空间分辨率)的描述符，连接点重新定位在k×k像素中描述符范数(l2范数)最大的像素位置，重复这个重定位，直到它到达与输入图像具有相同分辨率的conv1_2层；最后采用ransac算法删除匹配异常值，和pmvs算法对稀疏点云进行加密，完成相机内外方位元素解算任务。在整个计算过程中，交替使用incremental增量式和global全局式策略，以快速遍历识别所有影像空间位置姿态信息和相机参数；
在所述任务融合阶段：通过自动匹配稠密点云、联合平差，实现空中三角测量结果自动融合；
（3）网格化步骤：根据所述稠密点云的图像，利用检测算法，计算得到三维网格模型；
（4）纹理映射步骤：纹理映射所述三维网格模型，得到三维实景模型。
在本发明中，在空中三角测量过程中，所述二维语义特征信息作为特征点参与空三解算，在密集匹配过程中，将其作为输入条件，约束稠密点云构建过程，得到准确的稠密点云。通过分析该二维语义特征信息的类别属性，能够有效控制密集点云匹配精度，避免飞点现象发生。
在本发明中，在纹理映射过程中，可获知二维语义信息映射到在三维实景模型中的空间位置；如果识别了二维语义信息窗，那么在纹理映射过程中，会将带有语义信息的图像作为纹理，赋予构建好的三维模型上，并可知其即为映射位置。
在本发明中，采用cnn(convolutionalneuralnetwork，卷积神经网络)对目标进行分类、稠密特征提取及特征匹配。使用sfm算法对所选取的图像进行稀疏三维重建。基于cnn卷积神经网络的特征提取具有很好的鲁棒性，卷积神经网络是为识别二维形状而特殊设计的一个多层感知器，cnn网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。提取特征的cnn模型经过预先训练得到，预训练全部数据集进行训练，然后针对预训练模型进行调优训练，从而实现通过cnn网络提取图片特征。使用sfm算法对所选取的图像进行稀疏三维重建时，对于分组图像，采用ransac算法删除匹配异常值，并采用pmvs算法对稀疏点云进行加密，从而利用该sfm算法得到三维点坐标、姿态信息和相机参数等等。在整个计算过程中，交替使用incremental增量式和global全局式策略，以快速遍历识别所有影像空间位置姿态信息和相机参数，因此，对于这种增量式重建的方法造成误差的累计，最后诸如采用光束法平差、联合平差等等进行整体的优化，最终实现空中三角测量结果的自动融合。所述联合平差指的是根据所获取的激光点云、原始影像、定位定向数据等等而对不同的成像模型进行的联测和平差。
根据本发明，基于空三计算的特点和计算机并行计算原理，设计了一种空三并行计算算法和优化的任务调度策略。通过加载一个参考地形，将整个生产范围内包含的相片投射到参考地形上，按照地理坐标对空中三角测量任务进行自动拆分，通过自动匹配稠密点云、联合平差，实现空中三角测量结果自动融合。通过将整个工程区域自动划分为多个空三分块，并利用多个计算节点分别进行计算。然后对解算完成的全部空三分块实现快速合并从而进行整体区域网平差计算。根据本发明提供的空三分布解算过程实现了对整个工程的并行处理，大幅度提高了数据处理速度，缩短了大数据项目的建模运算周期，同时使得其他硬件资源得到充分的利用。通过上述并行处理，大数据项目工程不需要拆分，避免了重叠部分的重复计算及工程接边带来的繁复操作。同时，也可以在并行处理过程中查看空中三角测量前后的图像坐标及姿态。
根据本发明，能够实现基于云计算的倾斜影像自动批量实景三维建模处理，大幅提升了海量数据处理的速度。采用本技术方案，实现全部数据自动建模，平均作业效率提高83%左右，工期缩短80%左右，同时也大大降低了人员作业强度。
综上，结合具体实施方式对本发明做出了详细的描述，然而本领域技术人员懂得，该说明是示例性的，其可以做出各种变更和修饰，只要不脱离本发明宗旨和精神，这些变更和修饰均应落入本发明的保护范围之内。本发明的保护范围由所附权利要求书限定。
1.一种基于空三并行计算算法的城市实景三维模型的构建方法包括如下步骤：
（1）获取城市多视角影像；获取至少一组在多个不同预设位置的包含场景目标的连续的、不同角度的原始影像及各原始影像对应的空间位置姿态信息和相机参数，通过机器学习对所述的连续的、不同角度的原始影像进行图像识别，并进行多视角影像的样本训练，准确识别并提取二维语义特征信息；
（2）利用获取的城市多视角影像，进行基于深度学习和分布式并行算法的空中三角测量，其中，将该空中三角测量分为任务分解、任务执行和任务融合三个阶段实施任务调度策略，
在所述任务分解阶段：通过加载一个参考地形，将整个生产范围内包含的相片投射到参考地形上，按照地理坐标对空中三角测量任务进行自动拆分；
在所述任务执行阶段：执行基于深度学习的快速特征提取和匹配任务、以及相机内外方位元素解算任务；
在所述任务融合阶段：通过自动匹配稠密点云、联合平差，实现空中三角测量结果自动融合；
（3）网格化步骤：根据所述稠密点云的图像，利用检测算法，计算得到三维网格模型；
（4）纹理映射步骤：纹理映射所述三维网格模型，得到三维实景模型。
2.如权利要求1所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，在所述任务执行阶段，基于卷积神经网络稠密特征提取的sfm算法进行解算。
3.如权利要求2所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，
输入图像后，首先基于卷积神经网络进行稠密特征提取和初步特征匹配，利用vgg-16卷积神经网络提取最大池化层作为稠密特征，初步特征匹配使用上层最大池化层来建立初始对应；然后对空三连接点进行纠正和重定位，对于当前层的每个连接点，检索对应的k×k像素s1中较低层的描述符，连接点重新定位在k×k像素中描述符范数最大的像素位置，重复这个重定位，直到它到达与输入图像具有相同分辨率的conv1_2层。
4.如权利要求3所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，最后采用ransac算法删除匹配异常值，和pmvs算法对稀疏点云进行加密，完成相机内外方位元素解算任务。
5.如权利要求4所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，在整个计算过程中，交替使用incremental增量式和global全局式策略，以快速遍历识别所有影像空间位置姿态信息和相机参数。
6.如权利要求1所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，在空中三角测量过程中，所述二维语义特征信息作为特征点参与空三解算，在密集匹配过程中，将其作为输入条件，约束稠密点云构建过程，得到准确的稠密点云。
7.如权利要求1所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，通过分析该二维语义特征信息的类别属性，控制密集点云匹配精度。
8.如权利要求1所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，通过将整个工程区域自动划分为多个空三分块，并利用多个计算节点分别进行计算，然后对解算完成的全部空三分块实现快速合并从而进行整体区域网平差计算。
9.如权利要求1所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，通过上述并行处理，大数据项目工程不需要拆分，同时，也可以在并行处理过程中查看空中三角测量前后的图像坐标及姿态。
10.如权利要求1所述的基于空三并行计算算法的城市实景三维模型的构建方法，其特征在于，所述联合平差指的是根据所获取的激光点云、原始影像、定位定向数据等等而对不同的成像模型进行的联测和平差。
技术总结