一种点云补全方法、系统及应用与流程

1.本发明属于计算机视觉技术领域，尤其涉及一种点云补全方法、系统及应用。


背景技术：

2.目前，三维视觉在学术界及商业界备受关注，三维点云成为一种在计算视觉、机器人领域被广泛应用的基础数据形式，在客观事物的描述上拥有比二维图像更高一维信息量的独特优势。然而，由于物体遮挡及自身遮挡等原因，由激光雷达采集的现实世界的三维数据通常都是残缺、不完整且分布不均匀。这些数据丢失了重要的几何和语义信息，因为它实际上畸化了原始物体形状的尺寸，改变了物体的体积，破坏了物体的表面结构。这样不完整的点云数据将极大地影像到其自身的潜在价值。因此，能够从深度相机或激光雷达扫描获取的不完整的点云中推断出物体完整结构的点云补全方法将会对点云数据的应用产生深远的影响。
3.一般来说，点云补全的方法可以大致分为基于几何、基于检索、基于学习的方法。(1)基于几何的补全方法非常依赖物体的几何信息，例如局部信息的连续性以及空间分布的平滑性。目前基于该方法的一些工作已成功应用于输入点云在缺少一些小洞或小孔情况下的表面修复中。除此之外，一些研究工作关注于自然物体本身的对称性，将残缺的输入相对于求解出的对称轴作对称变换得到的对称点云作为先验信息来重建目标的缺失部分。然而，对于较大区域的缺失点，它是无法补全的。(2)基于对齐的补全思想是将点云补全的问题转化为若干个检索任务，即通过从预准备的三维形状数据库中检索最相似的模板来间接达到补全的目的。(3)基于学习的补全方法是借助人工神经网络来训练具有形状补全功能的深度网络模型。在不同三维模型表现形式下，例如：体素格网、点云和三维网格，基于学习的领先方法都展现了卓越的补全表现。在早期的研究中，研究学者们倾向于选择使用体素格网的方式来表示三维物体，因为通过体素化的方式可以方便应用三维卷积的操作来处理这些离散点阵化的数据。相较于三维网格、体素格网等表示结构，三维点云是一种易于处理简单的结构。除此之外，在点云中添加新点和插值会非常简单，由于点云中所有点均是互相独立，故无需再更新点之间的连接信息。基于学习的补全方法随着最近几年大规模三维合成cad模型数据集的出现取得了卓有成效的发展。
4.以上的方法中，基于几何的补全方法虽然简单高效，但是它们要求输入点云几乎完整或对称性明显，当物体缺失区域较大或形状复杂无对称性时，这些方法将束手无策；基于对齐的补全方法在某种程度上是有效可行的，但是同时也会遇到一些瓶颈。一方面，检索过程需要大量的运算开销，这使得这种方法很难移植与实时处理平台；另一方面，输入点云噪声度的大小将会很大程度上影响最后补全结果；基于学习的补全方法在形状补全任务上的表现令人印象深刻，同时也将三维形状补全工作的效果提升到一个新的高度上。然而，它们依然还不能同时生成均匀分布且具有细粒度细节的补全点云。
5.针对以上问题，目前需要一种新的方法，既能保留残缺输入点云中的细节信息，又能补全物体的缺失部位，并生成分布均匀的补全点云。
6.通过上述分析，现有技术存在的问题及缺陷为：
7.(1)基于几何的点云补全方法，对于较大区域的缺失点，是无法补全的；当物体缺失区域较大或形状复杂无对称性时，该方法将束手无策。
8.(2)基于对齐的补全方法，检索过程需要大量的运算开销，这使得这种方法很难移植与实时处理平台。
9.(3)基于对齐的补全方法，输入点云噪声度的大小将会很大程度上影响最后补全结果。
10.(4)基于学习的补全方法，依然还不能同时生成均匀分布且具有细粒度细节的补全点云。
11.解决以上问题及缺陷的难度为：对于基于几何的点云补全方法：当输入点云缺失的数据区域过大时，点云的几何形状信息损失过多导致算法无法有效提取点云的表面和对称信息，从而导致补全效果无法达到需求精度；除此之外，此类算法的泛化性也较差，当不同的点云数据残缺区域几何形状差异较大时，需要针对特定的几何形状设计不同的补全算法，这大大地加剧了研究者们的工作量以及限制了算法在大规模点云数据集上的推广与应用。基于对齐的补全方法在移植于实时处理平台时效果会很差。对于基于学习的补全方法：由于三维点云数据通常是以无序和非结构化的形式保存，这使得将传统的卷积神经网络直接应用于三维点云处理中。
12.解决以上问题及缺陷的意义为：在三维交通监控这样的基础应用中，完整的车辆几何形状是车辆提取、类型分类、轨迹估计等三维感知任务的基本保障；在自动驾驶方面，定位和建图均是在残缺且稀疏的点云数据下完成的，如果可以将点云补全技术应用于点云数据获取之后，这将会更加有益于实时定位与建图系统(slam:simultaneous localization and mapping)以及运动恢复结构系统(sfm:structure
‑
from
‑
motion)的部署。除此之外，机器人的导航操控、大规模场景的理解以及增加现实都将得益于有效的点云补全方案。因此，能够从深度相机或激光雷达扫描获取的不完整的点云中推断出物体完整结构的点云补全方法将会对点云数据的应用产生深远的影响。


技术实现要素：

13.针对现有技术存在的问题，本发明提供了一种点云补全方法、系统及应用，尤其涉及一种基于先验信息与级联精化单元的点云补全方法、系统及应用。
14.本发明是这样实现的，一种点云补全方法，所述点云补全方法包括：先构建输入点云先验信息提取单元；再构建中间点云先验信息提取单元；再构建点云精化单元；接着判断输出点云点数是否满足要求，不满足则再次构建点云精化单元直至满足要求；再生成训练集来训练点云补全模型；最后利用训练完成的模型对残缺点云进行补全。
15.进一步，所述点云补全方法包括以下步骤：
16.步骤一，构建输入点云先验信息提取单元，解决点云数据无序性的问题，满足处理前后点云的置换不变性；
17.步骤二，构建中间点云先验信息提取单元，借助更多的点云先验形状信息，来推断物体缺失部分的形状信息；
18.步骤三，构建点云精化单元，对先验点云信息进行整合和优化，使最终生成点云分
布更加均匀，细节特征更加合理；
19.步骤四，判断输出点云点数是否满足要求，满足不同分辨率需求的应用场景；
20.步骤五，构建点云补全模型；
21.步骤六，生成训练集，并训练点云补全模型；
22.步骤七，利用训练完成的模型对残缺点云进行补全。
23.进一步，步骤一中，所述构建输入点云先验信息提取单元，包括：
24.分别搭建针对输入点云的一个镜像变换操作和一个fps采样操作网络，获得处理后的点云p1；其中，所述镜像操作为将点云在其三维空间中相对于x＝0平面进行对称；所述fps采样法为最远点采样法，采样点数为128个点。
25.进一步，步骤二中，所述构建中间点云先验信息提取单元，包括：
26.对于任意点云补全网络的输出点云，搭建一个fps采样操作网络，获得处理后的点云p2；其中，所述fps采样点数为256个点。
27.进一步，步骤三中，所述构建点云精化单元，包括：
28.(1)对于输入精化单元的点云p，将p进行复制两倍得到p
′
；搭建一个二维网格生成器网络生成的二维网络g，对二维网格g进行复制，复制的倍数为p
′
中点的个数，并将复制后的每一份都分别附加在一个点的后面；
29.(2)将提取到的点云全局特征f也复制相同的倍数，并将复制后的每一份都分别附加在一个点的后面，最后得到点特征f；搭建一组共享权值感知机，将点特征通过感知机得到点特征f
′
；将p
′
与f
′
对应相加得到输出点云p
″
；其中假设输入至点云精化单元的点云p中有n个点，则p∈r
n
×3，精化单元能完成对输入点云两倍的上采样；
30.(3)假设输出点云中有n
′
个点，则n
′
＝2n，那么复制后的点云和输出点云均有p
′
，p
″
∈r
n
′×3；通过在[
‑
0.2,0.2]区间中均匀生成二维网格，并选取某个格点的坐标作为g，即g∈r1×2，并将g复制n
′
倍附加在p
′
中每个点之后；提取的点云全局特征f为1024维，即f∈r1×
1024
，并将f复制n
′
倍附加在p
′
中每个点之后，得到点特征f，此时f∈r
n
′×
1029
；
[0031]
(4)将点特征通过三层维度分别为512、512、3的共享权重感知机，得到经过感知机降维后的点特征f
′
，其中f
′
∈r
n
′×3；再将经过感知器处理后的点特征f
′
与经过复制后得到的输入点云进行相加便可得到经过一次精化后的输出点云p
″
，公式为：
[0032]
p
″
＝p
′
f
′
；
[0033]
若将整个精化单元看成一个对复制点云的一个自动处理函数f(
·
)，则整个精化单元的公式为：
[0034]
p
″
＝p
′
f(p
′
)；
[0035]
其中，p
″
∈r
n
′×3，整个精化单元可以视为对复制后的点云p
′
的坐标偏移的预测。
[0036]
进一步，步骤四中，所述判断输出点云点数是否满足要求，包括：
[0037]
判断输出点云p
″
点数是否满足，若不满足，则将p
″
作为输入重复步骤三，直到点云点云满足输出分辨率要求；其中点云的输出分辨率，即输出点云中点的个数有2048、4096、8192、16384四种选择；
[0038]
级联网络会根据所需的输出分辨率调整精化单元迭代的次数；若输出分辨率为2048，则需要迭代一次；若分辨率为4096，则需要迭代两次；若输出分辨率为8192，则需要迭代三次；若输出分辨率为16384，则需要迭代四次。
[0039]
进一步，步骤五中，所述构建点云补全模型，包括：
[0040]
将输入点云先验信息提取单元、任意点云补全网络、中间点云先验信息提取单元、级联精化单元依次连接组成点云补全模型；其中任意点云补全网络可以为具有“编码器－解码器”结构的任意点云补全网络。
[0041]
进一步，步骤六中，所述生成训练集，包括：
[0042]
输入一对残缺点云和完整点云，将其分别处理到固定的点数并输出；其中将任意点数处理为固定点数点云的方法为：设需要固定点云个数到m，输入点云个数为m
′
，若：
[0043]
m＞m
′
；
[0044]
则从[0,m
‑
m
′
]随机生成m
‑
m
′
个整数，再从输入点云中选取自身所有点以及序号为生成数的点作为输出点云；当：
[0045]
m＜m
′
；
[0046]
则从[0,m]中随机生成m个整数，并从输入点云中选取序号为生成数的点组成输出点云。
[0047]
进一步，步骤六中，所述训练点云补全模型，包括：
[0048]
利用倒角距离，计算补全后输出点云与完整点云之间的损失值；利用梯度下降算法，更新点云补全模型中的网络参数，直至模型收敛，得到训练好的点云补全模型；其中网络的损失函数为倒角距离，其公式定义为：
[0049][0050]
其中，分别为网络生成点云和完整真值点云，p和q分别为网络生成点云与完整真值点云中的点，n
p
和n
q
分别为生成点云与完整点云点的个数；公式左边表示，对于点云p中的每个点p，从点云q中找到与该点距离最小的点，如此计算点云p中所有点的距离并取平均；公式右侧则反之，对于点云q中的每个点q，从点云p中找到与该点距离最小的点，如此计算点云q中所有点的距离并取平均；在计算点云p与点云q之间的倒角距离时，点云p与点云q中点的数目可以不同。
[0051]
进一步，步骤七中，所述对残缺点云进行补全，包括：
[0052]
将待补全的残缺点云处理至与训练集中残缺点云相同的点数，并通过训练好的点云补全模型处理，输出补全后的点云。
[0053]
本发明的另一目的在于提供一种应用所述的点云补全方法的点云补全系统，所述点云补全系统包括：
[0054]
信息提取单元构建模块，用于分别构建输入点云先验信息提取单元和中间点云先验信息提取单元；
[0055]
点云精化单元构建模块，用于构建点云精化单元；
[0056]
判断模块，用于判断输出点云点数是否满足要求；
[0057]
点云补全模型构建模块，用于构建点云补全模型；
[0058]
模型训练模块，用于生成训练集，并训练点云补全模型；
[0059]
残缺点云补全模块，用于利用训练完成的模型对残缺点云进行补全。
[0060]
本发明的另一目的在于提供一种所述的点云补全方法在计算视觉及机器人领域
中的应用。
[0061]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的点云补全方法，具体涉及一种可以从残缺的三维点云中恢复出完整物体信息的点云补全方法。本发明充分利用残缺输入点云以及一般点云补全网络的输出点云提供的物体形状先验信息，通过级联的精化单元对先验信息进行整合处理，使网络可以更好地保留原始输入点云中的细节信息，从而更好地推断物体点云残缺的形状，达到更优的补全效果。
[0062]
本发明充分利用残缺点云和中间点云补全网络的输出点云提供的先验信息，并通过级联的精化单元网络对先验信息进行整合，在保留残缺输入点云中的细节结构的同时还能有效推理出点云的残缺部位。
附图说明
[0063]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0064]
图1是本发明实施例提供的点云补全方法流程图。
[0065]
图2是本发明实施例提供的点云补全方法原理图。
[0066]
图3是本发明实施例提供的点云补全系统结构框图；
[0067]
图中：1、信息提取单元构建模块；2、点云精化单元构建模块；3、判断模块；4、点云补全模型构建模块；5、模型训练模块；6、残缺点云补全模块。
[0068]
图4是本发明实施例提供的构建的点云补全网络模型结构图。
[0069]
图5是本发明实施例提供的构建的精化单元网络结构模型图。
[0070]
图6是本发明实施例提供的仿真结果图。
具体实施方式
[0071]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0072]
针对现有技术存在的问题，本发明提供了一种点云补全方法、系统及应用，下面结合附图对本发明作详细的描述。
[0073]
如图1所示，本发明实施例提供的点云补全方法包括以下步骤：
[0074]
s101，构建输入点云先验信息提取单元；
[0075]
s102，构建中间点云先验信息提取单元；
[0076]
s103，构建点云精化单元；
[0077]
s104，判断输出点云点数是否满足要求；
[0078]
s105，构建点云补全模型；
[0079]
s106，生成训练集，并训练点云补全模型；
[0080]
s107，利用训练完成的模型对残缺点云进行补全。
[0081]
本发明实施例提供的点云补全方法原理图如图2所示。
[0082]
如图3所示，本发明实施例提供的点云补全系统包括：
[0083]
信息提取单元构建模块1，用于分别构建输入点云先验信息提取单元和中间点云先验信息提取单元；
[0084]
点云精化单元构建模块2，用于构建点云精化单元；
[0085]
判断模块3，用于判断输出点云点数是否满足要求；
[0086]
点云补全模型构建模块4，用于构建点云补全模型；
[0087]
模型训练模块5，用于生成训练集，并训练点云补全模型；
[0088]
残缺点云补全模块6，用于利用训练完成的模型对残缺点云进行补全。
[0089]
下面结合实施例对本发明的技术方案作进一步描述。
[0090]
本发明的流程如图2所示，其具体步骤如下：
[0091]
步骤1、构建输入点云先验信息提取单元。分别搭建针对输入点云的一个镜像变换操作和一个fps采样操作网络，获得处理后的点云p1。所述的镜像操作为将点云在其三维空间中相对于x＝0平面进行对称。所述的fps采样法为最远点采样法，采样点数为128个点。
[0092]
步骤2、构建中间点云先验信息提取单元。对于任意点云补全网络的输出点云，搭建一个fps采样操作网络，获得处理后的点云p2。所述的fps采样点数为256个点。
[0093]
步骤3、构建点云精化单元。对于输入精化单元的点云p，先将p进行复制两倍得到p
′
。搭建一个二维网格生成器网络生成的二维网络g，对二维网格g进行复制，复制的倍数为p
′
中点的个数，并将复制后的每一份都分别附加在一个点的后面。将提取到的点云全局特征f也复制相同的倍数，并将复制后的每一份都分别附加在一个点的后面，最后得到点特征f。搭建一组共享权值感知机，将点特征通过感知机得到点特征f
′
。将p
′
与f
′
对应相加得到输出点云p
″
。其中假设输入至点云精化单元的点云p中有n个点，则p∈r
n
×3，精化单元能完成对输入点云两倍的上采样。假设输出点云中有n
′
个点，则n
′
＝2n，那么复制后的点云和输出点云均有p
′
，p
″
∈r
n
′×3。首先通过在[
‑
0.2,0.2]区间中均匀生成二维网格，并选取某个格点的坐标作为g，即g∈r1×2，并将g复制n
′
倍附加在p
′
中每个点之后。提取的点云全局特征f为1024维，即f∈r1×
1024
，并将f复制n
′
倍附加在p
′
中每个点之后，得到点特征f，此时f∈r
n
′×
1029
。进而再将点特征通过三层维度分别为512、512、3的共享权重感知机，得到经过感知机降维后的点特征f
′
，其中f
′
∈r
n
′×3。最后再将经过感知器处理后的点特征f
′
与经过复制后得到的输入点云进行相加便可得到经过一次精化后的输出点云p
″
，公式为：
[0094]
p
″
＝p
′
f
′
；
[0095]
若将整个精化单元看成一个对复制点云的一个自动处理函数f(
·
)，则整个精化单元的公式为：
[0096]
p
″
＝p
′
f(p
′
)；
[0097]
其中，p
″
∈r
n
′×3，整个精化单元可以视为对复制后的点云p
′
的坐标偏移的预测。本发明构建的精化单元网络结构模型图如图5所示。
[0098]
步骤4、判断输出点云p
″
点数是否满足，若不满足，则将p
″
作为输入重复步骤3，直到点云点云满足输出分辨率要求。其中点云的输出分辨率(即输出点云中点的个数)有2048、4096、8192、16384四种选择。级联网络会根据所需的输出分辨率调整精化单元迭代的次数，若输出分辨率为2048，则需要迭代一次，若分辨率为4096，则需要迭代两次，若输出分辨率为8192，则需要迭代三次，若输出分辨率为16384，则需要迭代四次。
[0099]
步骤5、构建点云补全模型。将输入点云先验信息提取单元、任意点云补全网络、中间点云先验信息提取单元、级联精化单元依次连接组成点云补全模型。其中任意点云补全网络可以为具有“编码器－解码器”结构的任意点云补全网络。本发明构建的点云补全网络模型结构图如图4所示。
[0100]
步骤6、生成训练集。输入一对残缺点云和完整点云，将其分别处理到固定的点数并输出。其中将任意点数处理为固定点数点云的方法为：设需要固定点云个数到m，输入点云个数为m
′
，若：
[0101]
m＞m
′
；
[0102]
则从[0,m
‑
m
′
]随机生成m
‑
m
′
个整数，再从输入点云中选取自身所有点以及序号为生成数的点作为输出点云；当：
[0103]
m＜m
′
；
[0104]
则从[0,m]中随机生成m个整数，并从输入点云中选取序号为生成数的点组成输出点云。
[0105]
步骤7、训练点云补全模型。利用倒角距离，计算补全后输出点云与完整点云之间的损失值。利用梯度下降算法，更新点云补全模型中的网络参数，直至模型收敛，得到训练好的点云补全模型。其中网络的损失函数为倒角距离，其公式定义为：
[0106][0107]
其中，分别为网络生成点云和完整真值点云，p和q分别为网络生成点云与完整真值点云中的点，n
p
和n
q
分别为生成点云与完整点云点的个数。公式左边表示，对于点云p中的每个点p，从点云q中找到与该点距离最小的点，如此计算点云p中所有点的距离并取平均；公式右侧则反之，对于点云q中的每个点q，从点云p中找到与该点距离最小的点，如此计算点云q中所有点的距离并取平均。在计算点云p与点云q之间的倒角距离时，点云p与点云q中点的数目可以不同。
[0108]
步骤8、对残缺点云进行补全。将待补全的残缺点云处理至与训练集中残缺点云相同的点数，并通过训练好的点云补全模型处理，输出补全后的点云。
[0109]
下面结合仿真实验对本发明的技术效果作进一步描述。
[0110]
1.仿真实验条件：
[0111]
本发明的仿真实验的硬件平台为：xeon(r)cpu e5
‑
2678 v3@2.50ghz
×
48，内存为128g，gpu为内存11g的nvidia gtx 1080ti；
[0112]
本发明的仿真实验的软件平台为：ubuntu16.04操作系统和python3.6，tensorflow 1.12.0深度学习框架。
[0113]
本发明仿真实验所使用的点云数据来自carbegie mellon大学的wentao yuan基于shapenet数据集制作的用于点云补全的数据集，数据集中共包含30794个不同物体，这些物体被分类为8类物体，其中残缺点云的点数不确定，完整点云的点数为16384个点，数据格式为lmdb文件。
[0114]
2.仿真内容及其结果分析：
[0115]
本发明仿真实验是采用本发明和现有点云补全网络，分别对shapenet数据集中测
试集进行补全，获得点云补全定性结果图，如图6所示。
[0116]
在仿真实验中，采用的现有技术是指：
[0117]
wentao yuan等人在其发表的论文“pcn:point completion network.in2018international conference on 3d vision(3dv)(pp.728
‑
737).ieee.”中提出的点云补全网络。
[0118]
下面结合图6的仿真图对本发明的效果做进一步的描述。
[0119]
图6中第一列、第六列分别为按步骤6被处理到固定点数为2048和4096个点的残缺输入点云和完整真值点云，第二列、第三列分别为现有技术在输出点数分辨率分别为2048、4096个点下的补全结果，第四列、第五列分别为本发明方法在输出点数分辨率分别为2048、4096个点下的补全结果。从图6定性的测试结果中可以清晰看出现有技术与本发明补全结果相比，不能很好保存输入残缺点云中的细节突出部位，对残缺部位的推理效果不够准确，且补全点云的点数分布不够均匀。
[0120]
利用步骤7提及的倒角距离作为点云补全结果的评价标准，将所有补全结果与真值点云之间的倒角距离绘制成表1。
[0121]
表1仿真实验中本发明和现有技术补全的定量测试结果
[0122][0123]
结合表1可以看出，本发明在输出分辨率为2048个点和4096个点补全结果的倒角距离均小于现有技术，证明本发明可以得到与真值点云更相似的补全点云。
[0124]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0125]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种点云补全方法，其特征在于，所述点云补全方法包括：先构建输入点云先验信息提取单元；再构建中间点云先验信息提取单元；再构建点云精化单元；接着判断输出点云点数是否满足要求，不满足则再次构建点云精化单元直至满足要求；再生成训练集来训练点云补全模型；最后利用训练完成的模型对残缺点云进行补全。2.如权利要求1所述的点云补全方法，其特征在于，所述点云补全方法包括以下步骤：步骤一，构建输入点云先验信息提取单元；步骤二，构建中间点云先验信息提取单元；步骤三，构建点云精化单元；步骤四，判断输出点云点数是否满足要求；步骤五，构建点云补全模型；步骤六，生成训练集，并训练点云补全模型；步骤七，利用训练完成的模型对残缺点云进行补全。3.如权利要求2所述的点云补全方法，其特征在于，步骤一中，所述构建输入点云先验信息提取单元，包括：分别搭建针对输入点云的一个镜像变换操作和一个fps采样操作网络，获得处理后的点云p1；其中，所述镜像操作为将点云在其三维空间中相对于x＝0平面进行对称；所述fps采样法为最远点采样法，采样点数为128个点。4.如权利要求2所述的点云补全方法，其特征在于，步骤二中，所述构建中间点云先验信息提取单元，包括：对于任意点云补全网络的输出点云，搭建一个fps采样操作网络，获得处理后的点云p2；其中，所述fps采样点数为256个点。5.如权利要求2所述的点云补全方法，其特征在于，步骤三中，所述构建点云精化单元，包括：(1)对于输入精化单元的点云p，将p进行复制两倍得到p
′
；搭建一个二维网格生成器网络生成的二维网络g，对二维网格g进行复制，复制的倍数为p
′
中点的个数，并将复制后的每一份都分别附加在一个点的后面；(2)将提取到的点云全局特征f也复制相同的倍数，并将复制后的每一份都分别附加在一个点的后面，最后得到点特征f；搭建一组共享权值感知机，将点特征通过感知机得到点特征f
′
；将p
′
与f
′
对应相加得到输出点云p
″
；其中假设输入至点云精化单元的点云p中有n个点，则p∈r
n
×3，精化单元能完成对输入点云两倍的上采样；(3)输出点云中有n
′
个点，则n
′
＝2n，那么复制后的点云和输出点云均有p
′
，p
″
∈r
n
′×3；通过在[
‑
0.2,0.2]区间中均匀生成二维网格，并选取某个格点的坐标作为g，即g∈r1×2，并将g复制n
′
倍附加在p
′
中每个点之后；提取的点云全局特征f为1024维，即f∈r1×
1024
，并将f复制n
′
倍附加在p
′
中每个点之后，得到点特征f，此时f∈r
n
′×
1029
；(4)将点特征通过三层维度分别为512、512、3的共享权重感知机，得到经过感知机降维后的点特征f
′
，其中f
′
∈r
n
′×3；再将经过感知器处理后的点特征f
′
与经过复制后得到的输入点云进行相加便可得到经过一次精化后的输出点云p
″
，公式为：p
″
＝p
′
f
′
；若将整个精化单元看成一个对复制点云的一个自动处理函数f(
·
)，则整个精化单元的公式为：p
″
＝p
′
f(p
′
)；
其中，p
″
∈r
n
′×3，整个精化单元可以视为对复制后的点云p
′
的坐标偏移的预测。6.如权利要求2所述的点云补全方法，其特征在于，步骤四中，所述判断输出点云点数是否满足要求，包括：判断输出点云p
″
点数是否满足，若不满足，则将p
″
作为输入重复步骤三，直到点云点云满足输出分辨率要求；其中点云的输出分辨率，即输出点云中点的个数有2048、4096、8192、16384四种选择；级联网络会根据所需的输出分辨率调整精化单元迭代的次数；若输出分辨率为2048，则需要迭代一次；若分辨率为4096，则需要迭代两次；若输出分辨率为8192，则需要迭代三次；若输出分辨率为16384，则需要迭代四次。7.如权利要求2所述的点云补全方法，其特征在于，步骤五中，所述构建点云补全模型，包括：将输入点云先验信息提取单元、任意点云补全网络、中间点云先验信息提取单元、级联精化单元依次连接组成点云补全模型；其中任意点云补全网络可以为具有“编码器－解码器”结构的任意点云补全网络。8.如权利要求2所述的点云补全方法，其特征在于，步骤六中，所述生成训练集，包括：输入一对残缺点云和完整点云，将其分别处理到固定的点数并输出；其中将任意点数处理为固定点数点云的方法为：设需要固定点云个数到m，输入点云个数为m
′
，若：m＞m
′
；则从[0,m
‑
m
′
]随机生成m
‑
m
′
个整数，再从输入点云中选取自身所有点以及序号为生成数的点作为输出点云；当：m＜m
′
；则从[0,m]中随机生成m个整数，并从输入点云中选取序号为生成数的点组成输出点云；步骤六中，所述训练点云补全模型，包括：利用倒角距离，计算补全后输出点云与完整点云之间的损失值；利用梯度下降算法，更新点云补全模型中的网络参数，直至模型收敛，得到训练好的点云补全模型；其中网络的损失函数为倒角距离，其公式定义为：其中，分别为网络生成点云和完整真值点云，p和q分别为网络生成点云与完整真值点云中的点，n
p
和n
q
分别为生成点云与完整点云点的个数；公式左边表示，对于点云p中的每个点p，从点云q中找到与该点距离最小的点，如此计算点云p中所有点的距离并取平均；公式右侧则反之，对于点云q中的每个点q，从点云p中找到与该点距离最小的点，如此计算点云q中所有点的距离并取平均；在计算点云p与点云q之间的倒角距离时，点云p与点云q中点的数目可以不同；步骤七中，所述对残缺点云进行补全，包括：将待补全的残缺点云处理至与训练集中残缺点云相同的点数，并通过训练好的点云补全模型处理，输出补全后的点云。9.一种实施权利要求1～8任意一项所述的点云补全方法的点云补全系统，其特征在于，所述点云补全系统包括：信息提取单元构建模块，用于分别构建输入点云先验信息提取单元和中间点云先验信息提取单元；
点云精化单元构建模块，用于构建点云精化单元；判断模块，用于判断输出点云点数是否满足要求；点云补全模型构建模块，用于构建点云补全模型；模型训练模块，用于生成训练集，并训练点云补全模型；残缺点云补全模块，用于利用训练完成的模型对残缺点云进行补全。10.一种如权利要求1～8任意一项所述的点云补全方法在计算视觉及机器人领域中的应用。
技术总结
本发明属于计算机视觉技术领域，公开了一种点云补全方法、系统及应用，所述点云补全方法包括：先构建输入点云先验信息提取单元；再构建中间点云先验信息提取单元；再构建点云精化单元；接着判断输出点云点数是否满足要求，不满足则再次构建点云精化单元直至满足要求；再生成训练集来训练点云补全模型；最后利用训练完成的模型对残缺点云进行补全。本发明提供的点云补全方法，通过充分利用残缺输入点云以及一般点云补全网络的输出点云提供的物体形状先验信息，通过级联的精化单元对先验信息进行整合处理，使网络可以更好地保留原始输入点云中的细节信息，从而更好地推断物体点云残缺的形状，进而达到更优的补全效果。进而达到更优的补全效果。进而达到更优的补全效果。


技术研发人员：宋锐 夏亚奇 李娇娇 曹锴郎 张宇航 王养利 李云松
受保护的技术使用者：西安电子科技大学
技术研发日：2021.03.19
技术公布日：2021/6/29