基于静态建筑的2D转3D方法及系统与流程

本发明涉及图像处理
技术领域：
，具体涉及一种基于静态建筑的2d转3d方法及系统。
背景技术：
：随着互联网新技术的兴起以及计算能力的进一步提高，真正的人工智能时代已经到来。这也使得各个领域都对人工智能产生了极大的兴趣，其中就包括了建筑领域。随着人们生活水平的不断提高，城市也向数字化发展，原有的二维测量方法已经无法满足人们对精度的高要求。因此，对建筑物的测量逐渐从二维转向三维。通过机器深度学习，构建一个模型，输入建筑的二维图像即可输出三维图像。人绝大部分视野是重合的，但左眼和右眼所看到的图像是有差异的，在左右眼的视网膜上也就形成了不完全相同的刺激，再将刺激传输到大脑皮层，但由于这与实际物体上同一点存在一定距离，通过这种差别可以判断物体的远近和深度，即可形成立体图像。而深度图进行3d图合成过程也是运用了这一原理。从深度图到立体图像，实际上是结合原始图像和深度图，生成左眼图像与右眼图像。通过对分割后物体的平移操作获得左右眼图像。原始的2d图像作为左右画面的中间画面，将2d图像进行平移得到左右眼的图像。技术实现要素：本发明的目的在于：提出一种空洞填补效果好的2d转3d方法及系统。本发明的方法的主要步骤包括：s1：通过原始2d彩色图像生成灰度图；s2：生成主轮廓图，主轮廓图像中包含重要物体的边缘；s3：生成深度图；s4：对深度图进行滤波和改进的领域差值算法预处理，其中改进的领域差值算法用于空洞填补；s5:对预处理之后的深度图和原始2d彩色图像输入提前训练好的rbm cnn模型，得到3d图像。具体地，s4中所述的改进的领域差值算法中，对于非边界孔，假设空洞点c2像素，c1、c3、b2、d2分别为c2像素上下左右最近邻四个像素，b1和d1为c1像素的最近邻左右像素，b3和d3分别为c3像素的左右像素，a2为b2像素的左像素，e2像素为d2像素的右像素；b1、c1、d1、b2、d2、b3、c3和d3为c2的8个邻域像素，记此8邻域像素中的空洞数目为m，a2和e2两个像素的空洞数为n；若0≤m<8且0≤n<2，空洞填补公式为：若m＝8且0≤n<2，空洞填补公式为：如果0≤m<8且n＝2，空洞填补公式为：具体的，s4中所述的改进的领域差值算法中，对于边界孔，通过原始图像的对应像素进行填充。具体的，s3的步骤包括：s31：按照设定像素范围，将下采样灰度图和主轮廓图划分为多个图像块；s32：根据像素点的灰度值，以及预设的连通方向，在多个图像块中，确定至少一个连通的图像块，并计算相邻连通的图像块之间的权重值，所述权重值为相邻连通图像块的平均灰度值的差值；s33：根据确定的各个权重值，在所述至少一个连通的图像块中，将符合预设条件的至少一个图像块确定为一个连通区域；s34：针对确定的每个连通区域，根据该连通区域中像素点数目和区域范围，确定该连通区域的深度值得到深度图。具体的，所述s3中，滤波算法采用双边滤波算法。优选的，s5中的rbm cnn模型中，卷积神经网络采用基于冲量改进的cnn算法，即w-cnn。进一步地，双边过滤器表达式如下：式中，s(x，y)表示中心点在位置(x，y)的(2n 1)·(2n 1)的邻域，n是整数，g(i,j)是处理前的图像，f(x,y)是滤波后的图像，w(i,j)是权重系数，它由两部分的乘积组成，wr(i,j)是值域滤波系数，ws(i,j)是空域滤波系数，分别如公式所示：式中，(i,j)，(x,y)分别指两个像素点的坐标，g(i,j)是处理前的图像，g(x,y)是处理后的图像，σs是空间邻近度因子，σr是亮度相似度因子，对于给定图像它们是定值。采用上述方案后，本发明的有益效果如下：(1)本发明以玻尔兹曼机(rbm)和卷积神经网络(r-cnn)作为深度学习的研究模型应用于2d转3d方法，系统将获得的深度图用双边滤波处理再用改进后的邻域差值方法修复小空洞，通过大量的建筑图像进行改进，使得结果更加精确。(2)本发明采用双边滤波的方法对深度图进行预处理，以减少深度图的失真和孔洞。(3)本发明采用改进的邻域像素插值的方法进行填充，对于边界孔和非边界孔采用不同的方式进行填充；对于非边界孔，考虑到填补像素中空洞点数量对填补效果的影响，一个空洞点周围的10个像素并不都是空洞，根据像素中的填充点个数，给出了不同的填充方法，根据像素中的填充点个数，给出了不同的填充方法，并非采用统一的方式进行填充，填充效果更好。附图说明图1为本发明的主要步骤流程图；图2为本发明的rbm cnn模型图；图3为本发明中空洞与邻域填补像素的关系图；图4为本发明具体实施方式中一场景的原始图片从2d转换成3d图片中的中间图以及结果图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，若出现术语“水平”、“竖直”、“悬垂”等并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。下面将在已知的本领域技术人员公知的基础上对本发明的各个步骤进行详尽的说明。本发明具体步骤包括：s1：通过原始2d彩色图像生成灰度图；在计算机图像处理中，一般用灰度值进行深度信息的量化和保存，将真实的深度信息进行均匀化为0到255的灰度值，深度越大，距离观察者越远，对应的灰度值就越小，深度越小，距离观察者越近，对应的灰度值就越大。s2：生成主轮廓图，主轮廓图像中包含重要物体的边缘；具体地，在灰度图中选择前景目标与背景，前景目标一般为具体、单个的人或者物体，背景是除前景目标外的大面积的背景，如：墙壁、天空等；确定好前后景目标后，前景目标为设为白色，描摹出主轮廓，背景目标全部设为黑色，其生成的图像就为主轮廓图；然后根据预设的下采样倍数，对所述原始灰度图以及主轮廓图进行下采样，得到下采样灰度图和主轮廓图；s3：生成深度图；具体的，s3的步骤包括：s31：按照设定像素范围，将下采样灰度图和主轮廓图划分为多个图像块；s32：根据像素点的灰度值，以及预设的连通方向，在多个图像块中，确定至少一个连通的图像块，并计算相邻连通的图像块之间的权重值，所述权重值为相邻连通图像块的平均灰度值的差值；s33：根据确定的各个权重值，在所述至少一个连通的图像块中，将符合预设条件的至少一个图像块确定为一个连通区域；s34：针对确定的每个连通区域，根据该连通区域中像素点数目和区域范围，确定该连通区域的深度值得到深度图。s4：对深度图进行滤波和改进的领域差值算法预处理，其中，滤波算法采用双边滤波算法。滤波是对目标图像的平滑处理，使用相对应的滤波器与图像中的像素进行求和或卷积的处理。本发明采用的双边过滤是tomasi等人明确提出的一种过滤方法，它是离散系统的滤波器，具有图像过程和值范围两个因素。在定义上，双边滤波接近高斯波，一切都可以通过使用邻域定义进行加权平均来解决。但是，双边滤波的权重测量方法与高斯滤波的权重测量方法不同。选择双倍权重值来解决清晰度值。考虑到相邻清晰度的差异，对清晰度不同的清晰度有害时，必须在室内。另外，有充分的影响因素可以查询空间位置和定义。这样可以防止高斯滤波对附近差异较大的锐利度造成的模糊结果。公式中显示了双边过滤的定义：式中，bf[i]p为滤波后的图像，∑q∈sgσs(||p-q||)为空间权函数，gσr(|ip-iq|)iq为距离权重；wp是归一化因子，保证权值和为1，其定义如公式所示:wp＝∑q∈sgσs(||p-q||)gσr(|ip-iq|)(2)双边过滤不仅可以处理彩色图像，而且可以在深度图预处理中发挥作用，通过相机或算法直接获得的深度图，包括噪声，因此将这种原始深度图用于虚拟视点合成会在目标图像下留下孔洞。为了减少噪声，可以通过过滤提前处理深度。深度图像的过滤处理可以减少虚拟视角图像的扭曲和漏洞，但深度图像的边缘信息包括重要信息。使用高斯波或中值滤波将导致边缘信息的缺乏，并最终导致图像中出现孔洞和裂纹的现象。因此，选择的滤波方法应该能够保留边界，双边滤波具有边缘保留的效果，并且可以同时使图像平滑。该滤波器包含两个功能滤波器系数，一个是与几何空间距离有关的滤波器系数，另一个是与像素差相关的滤波器系数。完整的双边过滤器表达式如下：式中，s(x，y)表示中心点在位置(x，y)的(2n 1)·(2n 1)的邻域，n是整数，g(i,j)是处理前的图像，f(x,y)是滤波后的图像，w(i,j)是权重系数，它由两部分的乘积组成，wr(i,j)是值域滤波系数，ws(i,j)是空域滤波系数，分别如公式所示：式中，(i,j)，(x,y)分别指两个像素点的坐标，g(i,j)是处理前的图像，g(x,y)是处理后的图像，σs是空间邻近度因子，σr是亮度相似度因子，对于给定图像它们是定值。初始的深度图中含有许多空洞，这些空洞点主要分为两种，第一种是由于重采样原因生成的较小空洞，第二种是由于遮挡原因形成的大空洞，大空洞一般出现在物体的边缘处。本发明针对边界孔和非边界孔进行了不同方式的填充，对于非边界孔，改进的邻域差值方法通过空洞点周围最近邻10个像素进行空洞填补；因为大多数小孔在垂直方向上是连续分布的，即在孔的上部和下部都有孔，如果只使用洞像素的8个相邻像素，周围的信息不会得到充分利用。因此，横向增加两个额外的像素作为填洞的参考像素，并且考虑到像素越接近洞口，像素和孔之间的相关性越强这一点，以确保填充效果。改进的领域差值算法用于空洞填补，对于非边界孔，如图3所示，假设空洞点c2像素，c1、c3、b2、d2分别为c2像素上下左右最近邻四个像素，b1和d1为c1像素的最近邻左右像素，b3和d3分别为c3像素的左右像素，a2为b2像素的左像素，e2像素为d2像素的右像素；b1、c1、d1、b2、d2、b3、c3和d3为c2的8个邻域像素，记此8邻域像素中的空洞数目为m，a2和e2两个像素的空洞数为n；若0≤m<8且0≤n<2，空洞填补公式为：若m＝8且0≤n<2，空洞填补公式为：如果0≤m<8且n＝2，空洞填补公式为：上述方法针对的是非边界孔，由于孔的面积大，孔的像素周围的像素信息不足，因此无法用这种方法修复的孔是警戒孔，因此不能用该方法修复的孔洞为边界大孔洞。边界部分通常不包括重要信息，故对于边界孔，通过原始图像的对应像素进行填充。s5:对预处理之后的深度图和原始2d彩色图像输入提前训练好的rbm cnn模型，得到3d图像。rbm cnn模型中，卷积神经网络采用基于冲量改进的cnn算法，即w-cnn。具体地，模型的训练与学习过程,采样获取的样本直接决定了训练的分类的效果，原有的采样只是完成一次采样，引入反馈机制可以更好地获得最优参数。rbm模型看作为网络的输入(x)，网络的输出(y)，输入输出是通过采样来完成的。x获取y的过程可以描述为samplepositive，y执行采样输出为x’可以描述为samplenegative，计算x和x’的相似度。为了获取最优参数，需要一系列采样，当样本分别距离减少，甚至离初始节点比较近时，即存在最优参数；当在此距离发生改变，则偏离可能存在最优参数，终止采样。这里完成多少次(c)是随机的，取决于采样样本的治疗。在卷积计算过程中，k表示卷积核矩阵、rj表示采样元件j在全连接梯度偏差的调整系数，bji表示元件沿着wji方向得到的数据量，对应的学习过程速率用o表示，采样元件j的第i个输入权值调整量可以表示为:δwji＝orjbji(9)卷积层的特征偏差需要采用回溯法得到，如果l表示采样层，则1之后表示卷积连接，对应隐含层的节点i有n个卷积连接回溯，可以看作n个分量的汇总。在层次传递的过程中，向前卷积矩阵描述为pl 1，大小为size(pl,1)-size(k,1) 1，后卷积矩阵表示为pl，对应大小描述为size(pl 1,1) size(k，1)-1，采用inv进行卷积核翻转，将需要m维卷积操作的第l层第i个特征图偏差矩阵描述为:由此可知，翻转的卷积核inv(kiji 1 4)和输入偏差矩阵(δpi 1fmap-j)可以获得输出偏差(δpifmap-i)。这是使用回溯法得到的，可以进一步根据翻转的输入偏差矩阵和输出偏差矩阵得到卷积核矩阵偏差:根据此公式可以得到，当层次为i＝2到向前选择对应时刻t-1的卷积核状态kij(t-1)应用卷积核偏差可以得到对应时刻t的核状态kij(t):根据(4)推导的卷积核偏差函数，可以进一步地延伸到不同时刻第1层第i个特征图偏差矩阵状态:这里引入冲量的描述，用于表示对应特征图偏差矩阵状态，可以加速收敛。β表示冲量系数，取值范围[0,1]，当β为0，对应特征图偏差矩阵状态如公式(9)，对应时刻t可以表示为:rbm cnn模型的具体结构如图2所示，将图像归一化为同样大小的实验图像，在本具体实施方式中设置为(256×256)px，将2d图片及对应预处理后的深度图输入cnn深度学习模型中，从cnn中提取的特征向量作为高维空间的点输入rbm网络进行训练，最后输出原始2d图片对应的3d图片。在2d图像和深度图识别上，本文根据改进的受限玻尔兹曼机(rbm)方法，比较参数与原始对比散度算法(kcd)的更新次数之间的关系，根据大量目标训练对象，利用不同的算法，统计出图像数据识别率。通过生成的深度图像可以看出，深度变化规律整体上符合图像内容，但深度图存在一定的突变现象，这是由于图像分割和深度分配方式的局限性造成的，会影响虚拟视点图像的生成效果。由图片(d)可以看出，在深度突变的边缘，虚拟视点图像也会出现部分歪曲，因此还需要进行优化和平滑。采用本发明的上述方法后，其原始图片、过程图片以及结果图如图4所示，图4为室内走廊场景，其中，(a)是原始的彩色图像；(b)前后背景分割图像(即主轮廓图)，以黑色为背景，以白色为前景；(c)生成的深度图；(d)为虚拟视点生成图。以走廊为背景，把走廊左边的盆栽为前景。背景部分使用几何焦点模型，将走廊的尽头设为焦点位置。通过生成的深度图像可以看出，深度变化规律整体上符合图像内容，但深度图存在一定的突变现象，这是由于图像分割和深度分配方式的局限性造成的，会影响虚拟视点图像的生成效果。由图片(d)可以看出，在深度突变的边缘，虚拟视点图像也会出现部分歪曲，因此还需要进行优化和平滑。可以看出，深度变化从图像的底部到图像的顶部逐渐深化，这是因为深度图像的背景使用了由上到下的模式。前景部分采用同一深度的赋值方式。生成的最终深度图与实际深度具有良好的匹配效果，在3d合成图像得到了验证。本发明的实施例还做了一系列对比实验，从表1可以看出，采用受限玻尔兹曼机方法，参数数量的增加，对应更新次数始终在185次附近，当参数在15个以上的时候，更新数稳定在185次。而采用原来的对比散度(kcd)方法，当参数变化时，更新次数波动性较大，说明该对比散度算法的执行效率是不稳定的。从表2可以看出，采用改进后的、基于冲量机制的cnn算法，其总体识别率与lenet-5算法相当，但是，与knn和mnn算法相比，测试识别率高出了近30个百分点。算法五个参数10个参数15个参数20个参数kcd185195185190rbm215210185185表1不同参数的更新次数表2不同算法比较2d和深度图的识别算法训练数据集识别率测试数据集识别率cnn97.5797.32lenet-598.9698.64bosstedlenet-491.6491.34knn87.7466.31mnn88.1463.24以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12