本技术属于人工智能,尤其涉及一种手势识别方法、装置、设备、计算机存储介质及车辆。
背景技术:
1、手势识别是通过数学算法识别人类手势的技术,因其无需常规输入设备即可实现自然交互,被广泛应用在各种人机交互场景中,例如在触控交互的场景中,可通过手势识别区分不同的触控操作,实现用户与电子设备之间的人机交互。
2、相关技术中,常通过摄像头拍摄用户做出手势时的图像,然后将图像输入到机器学习模型中,通过机器学习模型提取图像特征,并确定手势识别结果。但是,在图像的背景环境比较复杂时,这种手势识别方法存在准确度不高的缺陷。
3、随着交互性需求的日益提高,如何准确、高效地进行手势识别,成为当下亟待解决的问题。
技术实现思路
1、本技术实施例提供一种手势识别方法、装置、设备、计算机存储介质及车辆,能够准确、高效地进行手势识别,以提升用户与电子设备的交互体验。
2、第一方面,本技术实施例提供一种手势识别方法,包括:
3、获取第m帧视频帧,第m帧视频帧包括身体部位信息,m为正整数;
4、对第m帧视频帧中的身体部位信息进行识别,得到与身体部位信息对应的第一手势类型;
5、在第一手势类型为预设手势类型时,获取手势在第m帧视频帧中的第一位置坐标;
6、根据预设规则,确定第一位置坐标是否在预设的手势识别平面内,预设的手势识别平面根据n帧视频帧中的每帧视频帧分别对应的第二手势数据构建得到,第m帧视频帧位于n帧视频帧之后,n为正整数;
7、在第一位置坐标在预设的手势识别平面内时,基于第一手势类型,确定第m帧视频帧的手势识别结果。
8、在一种可选的实施方式中,在第一手势类型为预设手势类型时,获取手势在第m帧视频帧中的第一位置坐标,包括:
9、对身体部位信息进行关键点检测,得到与第一手势类型对应的多个手势关键点;
10、分别获取多个手势关键点在第m帧视频帧中的多个位置坐标;
11、对多个位置坐标进行求平均,得到第一位置坐标。
12、在一种可选的实施方式中,手势识别平面的构建方法包括:
13、获取n帧视频帧中每帧视频帧分别对应的第二手势数据,第二手势数据包括第二手势类型、手势在视频帧中的第二位置坐标以及第二手势深度,第二手势类型均为预设手势类型;
14、对第二位置坐标和第二手势深度分别进行求平均,得到平均位置坐标和第二平均深度;
15、根据第二平均深度与识别区域尺寸的关系,确定与第二平均深度对应的目标识别区域尺寸;
16、根据平均位置坐标、第二平均深度以及目标识别区域尺寸,构建手势识别平面。
17、在一种可选的实施方式中,根据平均位置坐标、第二平均深度以及目标识别区域尺寸,构建手势识别平面,包括:
18、将平均位置坐标确定为手势识别平面的中心位置坐标;
19、将第二平均深度确定为手势识别平面的深度;
20、基于中心位置坐标、手势识别平面的深度以及目标识别区域尺寸,构建手势识别平面。
21、在一种可选的实施方式中,根据第二平均深度与识别区域尺寸的关系,确定与第二平均深度对应的目标识别区域尺寸,包括:
22、根据第二平均深度,确定n帧视频帧中手势与双目视频帧采集设备之间的平均距离;
23、根据平均距离与识别区域尺寸的映射关系,确定与平均距离对应的识别区域宽度以及识别区域高度;
24、基于识别区域宽度、识别区域高度以及预设的识别区域尺寸偏移量,确定目标识别区域尺寸,识别区域尺寸偏移量包括识别区域宽度偏移量和/或识别区域高度偏移量。
25、在一种可选的实施方式中,在确定第一位置坐标是否在预设的手势识别平面内之后,方法还包括:
26、在第一位置坐标不在预设的手势识别平面内时,获取最新的k帧视频帧中每帧视频帧分别对应的第三手势数据,第三手势数据包括第三手势类型、手势在视频帧中的第三坐标位置以及第三手势深度,第三手势类型均为预设手势类型,k为正整数;
27、基于第三手势数据,更新手势识别平面。
28、在一种可选的实施方式中,基于第一手势类型,确定第m帧视频帧的手势识别结果,包括:
29、在第一手势类型为目标手势类型时,获取手势在第m帧视频帧中的第一手势深度;
30、计算第一手势深度与预设的手势识别平面的深度之间的差值;
31、在差值大于或等于预设阈值时,确定第m帧视频帧的手势识别结果为目标手势识别结果。
32、在一种可选的实施方式中,方法还包括:
33、在差值小于预设阈值时,确定第m帧视频帧的手势识别结果为其他手势识别结果。
34、第二方面,本技术实施例提供一种手势识别装置,包括:
35、获取模块,用于获取第m帧视频帧,第m帧视频帧包括身体部位信息,m为正整数;
36、识别模块,用于对第m帧视频帧中的身体部位信息进行识别,得到与身体部位信息对应的第一手势类型;
37、获取模块,还用于在第一手势类型为预设手势类型时,获取手势在第m帧视频帧中的第一位置坐标;
38、确定模块,用于根据预设规则,确定第一位置坐标是否在预设的手势识别平面内,预设的手势识别平面根据n帧视频帧中的每帧视频帧分别对应的第二手势数据构建得到,第m帧视频帧位于n帧视频帧之后,n为正整数;
39、确定模块,还用于在第一位置坐标在预设的手势识别平面内时,将第一手势类型对应的手势识别结果确定为第m帧视频帧的手势识别结果。
40、第三方面,本技术实施例提供一种电子设备,设备包括:处理器以及存储有计算机程序指令的存储器;
41、处理器执行计算机程序指令时实现如本技术第一方面任一可选实施方式的手势识别方法。
42、第四方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如本技术第一方面任一可选实施方式的手势识别方法。
43、第五方面,本技术实施例提供一种车辆,该车辆包括:如第二方面的手势识别装置或如第三方面的电子设备。
44、本技术实施例的手势识别方法、装置、设备、计算机存储介质及车辆,能够获取第m帧视频帧,对第m帧视频帧中的身体部位信息进行识别,得到与身体部位信息对应的第一手势类型。在第一手势类型为预设手势类型时,再获取手势在第m帧视频帧中的第一位置坐标,然后,根据预设规则确定第一位置坐标是否在预设的手势识别平面内。在第一位置坐标在预设的手势平面内时,再基于第一手势类型,确定第m帧视频帧的手势识别结果。这样,能够在第一手势类型符合预设手势类型时,再对手势进行进一步的识别,从而提升了手势识别的效率。此外,预设的手势识别平面为根据n帧历史视频帧对应的第二手势数据确定的,可认为该手势识别平面是依据用户的交互习惯确定的,基于该手势识别平面对第m帧视频帧的进行手势识别,能够提升手势识别的准确度和灵活性。本技术实施例能够基于视频帧对应的手势类型,以及根据用户的交互习惯确定的手势识别平面进行手势识别,从而能够提升手势识别的准确度和效率,进而提升用户与电子设备的交互体验。
1.一种手势识别方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述在所述第一手势类型为预设手势类型时,获取手势在所述第m帧视频帧中的第一位置坐标,包括:
3.根据权利要求1所述的方法,其特征在于,所述手势识别平面的构建方法包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述平均位置坐标、所述第二平均深度以及所述目标识别区域尺寸,构建所述手势识别平面,包括:
5.根据权利要求3或4所述的方法,其特征在于,所述根据所述第二平均深度与识别区域尺寸的关系,确定与所述第二平均深度对应的目标识别区域尺寸,包括:
6.根据权利要求1所述的方法,其特征在于,在所述确定所述第一位置坐标是否在预设的手势识别平面内之后,所述方法还包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述第一手势类型,确定所述第m帧视频帧的手势识别结果,包括:
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
9.一种手势识别装置,其特征在于,包括:
10.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-8中任意一项所述的手势识别方法。
12.一种车辆,其特征在于,所述车辆包括:如权利要求9所述的手势识别装置或权利要求10所述的电子设备。