本发明涉及机器人控制，尤其涉及一种基于语义-几何表征的机器人控制方法及相关装置。
背景技术：
1、在机器人操控领域，为了帮助机器人理解其周围的环境，有些方法主要依赖2d视觉模型来提取环境中的语义信息，但这些方法往往忽视了物体的空间位置推理。虽然这些方法可以有效地识别物体的类型、颜色和其他属性，但由于缺乏空间信息，机器人在实际操作中可能会遇到困难。还有一些方法主要依赖3d点云数据来进行空间推理，但这些方法往往忽视了丰富的语义信息。这意味着，虽然机器人可以知道物体的位置、方向和大小，但可能无法准确地识别物体的具体类型或属性，无法泛化到类别内的新物体。
2、这两种方法的共同缺陷是：它们都没有综合利用2d的丰富语义信息和3d的精确空间信息。因此，当机器人需要在新的环境中执行任务时，如在3d空间中抓取一种之前没有见过的苹果，它可能无法获得物体的完整认知，从而影响操作的准确性和效率。
技术实现思路
1、有鉴于此，本发明提供了一种基于语义-几何表征的机器人控制方法及相关装置，用以解决现有的机器人控制过程中，都没有综合利用2d的丰富语义信息和3d的精确空间信息，导致可能无法获得物体的完整认知，从而影响操作的准确性和效率问题。具体方案如下：
2、一种基于语义-几何表征的机器人控制方法，所述方法包括：
3、获取目标区域中多个角度的二维图像，对所述二维图像进行语义表征，得到语义特征向量；
4、获取机器人的自身感知信息和所述目标区域的三维点云数据，基于所述自身感知信息和所述三维点云数据进行几何表征，得到几何特征向量，其中，所述自身感知信息用于表征所述机器人的状态信息；
5、基于所述语义特征向量和所述几何特征向量进行融合，得到目标特征向量；
6、基于所述目标特征向量确定所述机器人的待执行动作，控制所述机器人执行所述待执行动作。
7、上述的基于语义-几何表征的机器人控制方法，可选的，对所述二维图像进行语义表征，得到语义特征向量，包括：
8、将所述二维图像传递给图像编码器进行编码，得到语义特征图；
9、将所述语义特征图进行采样得到目标语义特征图，其中，所述目标语义特征图与所述二维图像的尺寸相同；
10、对所述目标语义特征图进行逆投影，得到语义特征向量。
11、上述的基于语义-几何表征的机器人控制方法，可选的，对所述二维图像进行语义表征，得到语义特征向量，包括：
12、将所述二维图像传递给图像编码器进行编码，得到语义特征图；
13、获取文本指令，将所述文本指令传递给文本编码器进行编码，得到文本特征向量；
14、基于所述语义特征图和所述文本特征向量确定注意力语义特征图，其中，所述注意力语义特征图用于定位所述文本指令在所述语义特征图中的关注部分
15、将所述注意力语义特征图进行采样得到目标语义特征图，其中，所述目标语义特征图与所述二维图像的尺寸相同；
16、对所述目标语义特征图进行逆投影，得到语义特征向量。
17、上述的基于语义-几何表征的机器人控制方法，可选的，基于所述自身感知信息和所述三维点云数据进行几何表征，得到几何特征向量，包括：
18、将所述自身感知信息和所述三维点云数据传给第一多层感知机，得到几何表征；
19、对所述几何表征进行第一预设数量的第一几何抽象处理，得到几何特征向量，其中，所述第一几何抽象处理包括：第一子采样处理、第一分组处理、第二多层感知机处理和第一点云稀疏化处理。
20、上述的基于语义-几何表征的机器人控制方法，可选的，基于所述语义特征向量和所述几何特征向量进行融合，得到目标特征向量，包括：
21、对所述语义特征向量进行所述第一子采样处理，得到目标语义特征向量；
22、将所述目标语义特征向量和所述几何特征向量进行拼接，得到初始特征向量；
23、对所述初始特征向量进行第二预设数量的第二几何抽象处理，得到目标特征向量，其中，所述第二几何抽象处理包括：第二子采样处理、第二分组处理、第三多层感知机处理和第二点云稀疏化处理。
24、上述的基于语义-几何表征的机器人控制方法，可选的，基于所述目标特征向量确定所述机器人的待执行动作，包括：
25、将所述目标特征向量传递给第四多层感知机，得到待匹配目标特征向量；
26、基于预设的关联关系确定与所述待匹配目标特征向量关联的待执行动作，其中，所述预设关联关系表征执行动作和特征向量之间的关联关系。
27、一种基于语义-几何表征的机器人控制装置，所述装置包括：
28、第一获取和表征模块，用于获取目标区域中多个角度的二维图像，对所述二维图像进行语义表征，得到语义特征向量；
29、第二获取和表征模块，用于获取机器人的自身感知信息和所述目标区域的三维点云数据，基于所述自身感知信息和所述三维点云数据进行几何表征，得到几何特征向量，其中，所述自身感知信息用于表征所述机器人的状态信息；
30、融合模块，用于基于所述语义特征向量和所述几何特征向量进行融合，得到目标特征向量；
31、确定和执行模块，用于基于所述目标特征向量确定所述机器人的待执行动作，控制所述机器人执行所述待执行动作。
32、上述的基于语义-几何表征的机器人控制装置，可选的，所述第一获取和表征模块包括：
33、第一编码单元，用于将所述二维图像传递给图像编码器进行编码，得到语义特征图；
34、第一采样单元，用于将所述语义特征图进行采样得到目标语义特征图，其中，所述目标语义特征图与所述二维图像的尺寸相同；
35、第一投影单元，用于对所述目标语义特征图进行逆投影，得到语义特征向量。
36、上述的基于语义-几何表征的机器人控制装置，可选的，所述第一获取和表征模块包括：
37、第二编码单元，用于将所述二维图像传递给图像编码器进行编码，得到语义特征图；
38、获取和编码单元，用于获取文本指令，将所述文本指令传递给文本编码器进行编码，得到文本特征向量；
39、确定单元，用于基于所述语义特征图和所述文本特征向量确定注意力语义特征图，其中，所述注意力语义特征图用于定位所述文本指令在所述语义特征图中的关注部分
40、第二采样单元，用于将所述注意力语义特征图进行采样得到目标语义特征图，其中，所述目标语义特征图与所述二维图像的尺寸相同；
41、第二投影单元，用于对所述目标语义特征图进行逆投影，得到语义特征向量。
42、上述的基于语义-几何表征的机器人控制装置，可选的，第二获取和表征模块包括：
43、感知单元，用于将所述自身感知信息和所述三维点云数据传给第一多层感知机，得到几何表征；
44、抽象处理单元，用于对所述几何表征进行第一预设数量的第一几何抽象处理，得到几何特征向量，其中，所述第一几何抽象处理包括：第一子采样处理、第一分组处理、第二多层感知机处理和第一点云稀疏化处理。
45、一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述的基于语义-几何表征的机器人控制方法。
46、一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的基于语义-几何表征的机器人控制方法。
47、与现有技术相比，本发明包括以下优点：
48、本发明公开了一种基于语义-几何表征的机器人控制方法及相关装置，包括：获取目标区域中多个角度的二维图像，对所述二维图像进行语义表征，得到语义特征向量；获取机器人的自身感知信息和所述目标区域的三维点云数据，基于所述自身感知信息和所述三维点云数据进行几何表征，得到几何特征向量，其中，所述自身感知信息用于表征所述机器人的状态信息；基于所述语义特征向量和所述几何特征向量进行融合，得到目标特征向量；基于所述目标特征向量确定所述机器人的待执行动作，控制所述机器人执行所述待执行动作。上述过程，将二维图像的语义特征向量和三维点云的几何特征向量进行融合，得到目标特征向量，目标特征向量包含了目标区域的二维和三维信息，可以获得对目标区域的完整认知，提高了动作执行的准确性和效率。
1.一种基于语义-几何表征的机器人控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于语义-几何表征的机器人控制方法，其特征在于，对所述二维图像进行语义表征，得到语义特征向量，包括：
3.根据权利要求1所述的基于语义-几何表征的机器人控制方法，其特征在于，对所述二维图像进行语义表征，得到语义特征向量，包括：
4.根据权利要求1所述的基于语义-几何表征的机器人控制方法，其特征在于，基于所述自身感知信息和所述三维点云数据进行几何表征，得到几何特征向量，包括：
5.根据权利要求1所述的基于语义-几何表征的机器人控制方法，其特征在于，基于所述语义特征向量和所述几何特征向量进行融合，得到目标特征向量，包括：
6.根据权利要求1所述的基于语义-几何表征的机器人控制方法，其特征在于，基于所述目标特征向量确定所述机器人的待执行动作，包括：
7.一种基于语义-几何表征的机器人控制装置，其特征在于，所述装置包括：
8.根据权利要求7所述的基于语义-几何表征的机器人控制装置，其特征在于，所述第一获取和表征模块包括：
9.根据权利要求7所述的基于语义-几何表征的机器人控制装置，其特征在于，所述第一获取和表征模块包括：
10.根据权利要求7所述的基于语义-几何表征的机器人控制装置，其特征在于，第二获取和表征模块包括：
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1-6所述的基于语义-几何表征的机器人控制方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-6所述的基于语义-几何表征的机器人控制方法。
