本申请涉及三维重建，提供一种3d手势估计方法及头戴式显示设备。
背景技术：
1、目前，用户与ar、vr等头戴式显示设备最直接的交互方式为手势交互，通过头戴式显示设备上的深度相机，可以直接获取手部与相机间的距离，即深度信息，从而根据深度信息估计3d手势，实现与头戴式显示设备中的虚拟物体的捏取、抓握等自然交互。
2、由于基于深度相机的采集图像估计3d手部姿态具有精度高，开发难度低等优势，因此，使用深度相机进行3d手势估计是目前的一种主流方案。然而，由于结构光深度相机的成像原理，在手部姿态进行变化时，会出现手指缺失的问题，而深度图像中手指的缺失会极大的降低缺失手指的姿态估计，影响3d手势估计的准确性。
技术实现思路
1、本申请实施例提供了一种3d手势估计方法及头戴式显示设备，用于解决基于深度相机采集的图像进行3d手势估计时手指缺失问题，提高3d手势估计的准确性。
2、一方面，本申请实施例提供一种3d手势估计方法，包括：
3、获取深度相机连续采集的手部的rgb图像和深度图像；
4、从所述rgb图像中提取多个2d关节点，并分割出手部区域，以及，从所述深度图像中分割出手部目标点云；
5、将所述手部目标点云与预设的初始手部模型进行匹配，确定所述初始手部模型的初始自由度参数；
6、根据所述初始手部模型、所述多个2d关节点、所述手部区域和所述手部目标点云，建立多个约束项以优化所述初始自由度参数，得到目标自由度参数；其中，所述多个约束项至少包括基于所述初始手部模型到所述rgb图像的投影建立的至少一个约束项；
7、用所述目标自由度参数驱动所述初始手部模型变形，得到目标手部模型，并从所述目标手部模型中估计3d手势。
8、另一方面，本申请实施例提供一种头戴式显示设备，包括处理器、存储器、显示屏和深度相机，所述深度相机、所述显示屏、所述存储器和所述处理器通过总线连接：
9、所述显示屏用于显示虚拟画面；
10、所述存储器存储有计算机程序，所述处理器通过所述计算机程序，执行以下操作：
11、获取所述深度相机连续采集的手部的rgb图像和深度图像；
12、从所述rgb图像中提取多个2d关节点，并分割出手部区域，以及，从所述深度图像中分割出手部目标点云；
13、将所述手部目标点云与预设的初始手部模型进行匹配，确定所述初始手部模型的初始自由度参数；
14、根据所述初始手部模型、所述多个2d关节点、所述手部区域和所述手部目标点云，建立多个约束项以优化所述初始自由度参数，得到目标自由度参数；其中，所述多个约束项至少包括基于所述初始手部模型到所述rgb图像的投影建立的至少一个约束项；
15、用所述目标自由度参数驱动所述初始手部模型变形，得到目标手部模型，并从所述目标手部模型中估计3d手势以对所述显示屏显示的虚拟画面进行控制。
16、另一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的3d手势估计方法的步骤。
17、本申请实施例提供的一种3d手势估计方法及头戴式显示设备，从深度相机采集的深度图像中分割出手部目标点云，以及，从深度相机采集的rgb图像中提取多个2d关节点；采用模型优化匹配的方式，将手部目标点云与预设的初始手部模型进行匹配，确定初始手部模型的初始自由度参数，并根据初始手部模型、多个2d关节点、手部区域和手部目标点云，建立多个约束项以优化初始自由度参数，从而基于优化后的目标手部模型对初始手部模型变形后，得到3d手势，相对于基于ai模型的方法，无需使用大量的3d手势数据集进行训练，成本较低；并且，在优化过程中，使用了基于初始手部模型到rgb图像的投影建立的至少一个约束项，在手指遮挡的情况下，能够改善深度相机固有缺陷造成的手指部分深度数据丢失的问题，提高了3d手势估计的准确性和鲁棒性。
1.一种3d手势估计方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述从所述深度图像中分割出手部目标点云，包括：
3.如权利要求2所述的方法，其特征在于，所述在所述三维空间中所述手腕关节点到所述中指指根关节点的方向上，确定一个球体，包括：
4.如权利要求1所述的方法，其特征在于，所述基于所述初始手部模型到所述rgb图像的投影建立的至少一个约束项，包括：
5.如权利要求1所述的方法，其特征在于，所述基于所述初始手部模型到所述rgb图像的投影建立的至少一个约束项，包括：
6.如权利要求4或5所述的方法，其特征在于，所述多个约束项至少还包括以下一项或多项的任意组合：
7.一种头戴式显示设备，其特征在于，包括处理器、存储器、显示屏和深度相机，所述深度相机、所述显示屏、所述存储器和所述处理器通过总线连接：
8.如权利要求7所述的头戴式显示设备，其特征在于，所述处理器从所述深度图像中分割出手部目标点云，具体操作为：
9.如权利要求7所述的头戴式显示设备，其特征在于，所述基于所述初始手部模型到所述rgb图像的投影建立的至少一个约束项，包括：
10.如权利要求7所述的头戴式显示设备，其特征在于，所述基于所述初始手部模型到所述rgb图像的投影建立的至少一个约束项，包括：
