本发明属于点云语义分割领域，更具体地，涉及点云语义分割模型建立方法及点云语义分割方法。
背景技术：
1、点云是描述三维空间中物体表面信息的大量点的集合。其中每个点都包含点的三维坐标和深度、颜色、强度等信息。相比于二维图像，点云的表达更接近人类的视觉器官，特征更加准确，因此，点云更适合作为三维场景理解的数据。点云语义分割，是指按照特征属性将点分为互不相交的子集，每个子集对应一个类别。点云语义分割可以实现对场景、物体和行为的深入理解和分析，为自动驾驶、机器人导航、无损检测、图像分析、安全监控等众多领域提供关键技术支持，推动智能化、自动化技术的发展和应用。由于点云具有无序性、非结构性、密度不一致、信息不完备等特点，使点云语义分割变得复杂和困难。
2、近年来，基于深度学习的点云处理研究吸引了众多学者的关注。研究人员提出了许多点云语义分割算法和模型，总体趋势是从二维到三维，从数据转换处理到点云直接处理。根据点云处理方式的不同，基于深度学习的点云语义分割方法可分为三类：基于投影的方法、基于体素的方法和基于点的方法。基于点的方法可以直接处理三维点云数据，同时利用几何信息和局部特征，相比于基于投影的方法和基于体素的方法，基于点的方法在点云分割中取得了更为广泛的应用。
3、由于其卓越的特征学习能力，深度学习网络在点云语义分割方面明显优于传统方法，特别是最先进的基于点的学习网络。准确的人工标注数据对于实现高级性能至关重要，特别是在大规模点云语义分割任务中，复杂的网络结构也依赖于大量标注的训练数据来保证其分割性能。然而，点云中点的数量往往较为庞大，甚至可以达到百万数量级，注释大量的单个点既耗时又异常昂贵。半监督学习旨在利用较少的标注数据实现深度学习网络的训练，在点云语义分割任务中取得了越来越高的性能。
4、然而，点云数据在某些场景下存在严重的空间分布不均匀和数据类别不平衡的问题，所谓空间分布不均匀，是在目标的某些位置上，点的分布较为密集，而在另一些位置上，点的分布则较为稀疏；所谓类别不平衡，是指某些类别的点数量极多，而另一些类别的点数量则极少。例如，采集管道的声呐点云会发现，声呐点云显示密集的径向(横截面)点云数据和稀疏的轴向(沿管道方向)点云数据。无论是有监督学习还是无监督学习，点云语义分割精度都会明显受到点云数据空间分布不均匀和数据类别不平衡的影响，分割精度有待进一步提高。
技术实现思路
1、针对现有技术的缺陷和改进需求，本发明提供了点云语义分割模型建立方法及点云语义分割方法，其目的在于，对点云语义分割模型的训练过程进行改进，缓解点云数据空间分布不均匀和数据类别不平衡问题对于点云语义分割精度的影响，提高分割精度。
2、为实现上述目的，按照本发明的一个方面，提供了一种点云语义分割模型建立方法，包括：
3、（s1）获取部分标注的原始点云，将其划分为有标记点集和未标记点集；有标记点集中的点标注了类别真值；
4、（s2）将有标记点集输入卷积神经网络以进行类别预测，计算预测结果相对于类别真值的监督损失lsc以及各类别的置信度；将有标记点集输入transformer模型以进行类别预测，并计算预测结果相对于类别真值的监督损失lst以及各类别的置信度； a=1、2… a， a表示类别总数；置信度表示各类别预测的可靠程度；
5、（s3）将未标记点集输入卷积神经网络以进行类别预测，根据预测结果构造类别伪标签，并按照置信度对各类未标记的点进行采样，得到第一采样点集；将未标记点集输入transformer模型以进行类别预测，根据预测结果构造类别伪标签，并按照置信度对各类未标记的点进行采样，得到第二采样点集；置信度越低的类别，采样率越高；
6、（s4）将第一采样点集和第二采样点集分别输入transformer模型和卷积神经网络以进行类别预测，并分别计算预测结果相对于类别伪标签的无监督损失lut和luc；
7、（s5）构造同时包含监督损失lsc、lst以及无监督损失luc、lut的损失函数，以使得损失函数最小化为目标对卷积神经网络和transformer模型的参数进行更新；
8、（s6）重复执行步骤（s2）~（s5），直至达到预设的迭代终止条件；
9、（s7）输出卷积神经网络和transformer模型中预测性能较高的作为点云语义分割模型。
10、进一步地，本发明提供的点云语义分割模型建立方法，还包括：为卷积神经网络和transformer模型分别构造可学习的类别权重向量，用于表示各类别的权重；
11、并且，步骤（s3）中，根据预测结果构造类别伪标签，包括：
12、对于每一个点，将预测结果中该点属于各类别的概率与相应的权重相乘，得到各类别的最终预测概率，将最大的最终预测概率对应的类别标记为该点的类别伪标签；
13、并且，步骤（s5）中，对卷积神经网络和transformer模型的参数进行更新的同时，对卷积神经网络和transformer模型的类别权重向量进行更新。
14、进一步地，置信度和置信度的计算公式分别如下：
15、
16、
17、其中，表示神经网络预测的有标记点集中 a类点的数量，表示卷积神经网络预测第 i个点属于第 a类的概率；表示transformer模型预测的有标记点集中 a类点的数量，表示transformer模型预测第 i个点属于第 a类的概率。
18、进一步地，置信度和置信度对应的采样率分别为：
19、
20、
21、其中，max表示取最大值；为置信度对应的采样率，表示置信度对应的采样率；表示可调参数。
22、进一步地，无监督损失luc和lut的计算公式分别如下：
23、
24、
25、其中， l dice表示计算dice损失； γ为超参数；表示第一采样点集中点的数量，表示卷积神经网络对第 i个点的类别预测结果，表示第 i个点的类别伪标签；表示第二采样点集中点的数量，表示transformer模型对第 i个点的类别预测结果，表示第 i个点的类别伪标签。
26、进一步地，监督损失lsc和lst的计算公式分别如下：
27、
28、
29、其中， l ce表示计算交叉熵损失； n表示有标记点集中点的数量；表示第 i个点的类别真值标签；表示卷积神经网络对于第 i个点的类别预测结果；表示transformer模型对于第 i个点的类别预测结果。
30、按照本发明的又一个方面，提供了一种基于cnn-transformer的点云语义分割方法，包括：
31、将待分割的点云输入由本发明提供的点云语义分割模型建立方法所建立的点云语义分割方法，得到点云分割结果。
32、按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的点云语义分割模型建立方法，和/或，本发明提供的基于cnn-transformer的点云语义分割方法。
33、按照本发明的又一个方面，提供了一种电子设备，包括：
34、计算机可读存储介质，用于存储计算机程序；
35、以及处理器，用于读取计算机可读存储介质中存储的计算机程序，执行本发明提供的上述点云语义分割模型建立方法，和/或，本发明提供的上述基于cnn-transformer的点云语义分割方法。
36、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
37、（1）本发明所提供的点云语义分割模型建立方法，利用部分标注的点云数据同时训练卷积神经网络（cnn）和transformer模型，标记点由相应的真值标签进行监督，未标记的点被赋予由cnn和transformer模型生成的伪标签后分别馈送到transformer模型和cnn，用于更新彼此网络的参数，实现cnn和transformer之间的交叉学习，使得cnn可以感知到transformer模型提取的全局特征，同时使得transformer模型可以感知到cnn提取的局部特征，有效减轻点云中不均匀空间分布的影响；此外，在将未标记的点馈送至模型之前，会先根据置信度进行采样，对于置信度低的类别将采样更多的点，实现了自适应类均衡采样，有助于从数量较少的类别中保留较多的样本，并提高特征多样性，缓解类别不平衡对于分割结果的影响。总的来说，本发明同时训练cnn和transformer模型，通过交叉学习和自适应类均衡采样，能够有效缓解点云数据空间分布不均匀和数据类别不平衡问题对于点云语义分割精度的影响，提高分割精度。
38、（2）本发明所提供的点云语义分割模型建立方法，在其优选方案中，通过软处理的方式生成未标记点的类别伪标签，具体来说，为cnn和transformer模型分别构造了可学习的类别权重向量，对于未标记的点，由各类别的预测概率和权重的乘积作为选取类别伪标签的依据，由此能够改善因类别预测错误而导致类别伪标签标注错误的情况，进一步提高点云语义分割精度。
1.一种点云语义分割模型建立方法，其特征在于，包括：
2.如权利要求1所述的点云语义分割模型建立方法，其特征在于，还包括：为所述卷积神经网络和所述transformer模型分别构造可学习的类别权重向量，用于表示各类别的权重；
3.如权利要求1或2所述的点云语义分割模型建立方法，其特征在于，置信度和置信度的计算公式分别如下：
4.如权利要求3所述的点云语义分割模型建立方法，其特征在于，置信度和置信度对应的采样率分别为：
5.如权利要求4所述的点云语义分割模型建立方法，其特征在于，无监督损失luc和lut的计算公式分别如下：
6.如权利要求5所述的点云语义分割模型建立方法，其特征在于，监督损失lsc和lst的计算公式分别如下：
7.一种基于cnn-transformer的点云语义分割方法，其特征在于，包括：
8.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1~6任一项所述的点云语义分割模型建立方法，和/或，权利要求7所述的基于cnn-transformer的点云语义分割方法。
9.一种电子设备，其特征在于，包括：
