背景技术:
1、面部关键点检测(例如,特征点)是在各种各样的实际应用中使用的过程,这些实际应用诸如面部识别、基于面部的认证、面部散景、动话表情(animoji)、面部美化和面部交换。在常规方法中,面部关键点直接从图像回归,或从由使用机器学习方法或深度学习方法来训练的系统或网络生成的热图获得。然而,此类系统是计算密集的,并且信息的复杂性在几何上增加了计算要求。随着此类系统必须处理的面部关键点的数量增加,此类系统越来越需要资源、对于移动计算设备应用来说不切实际,并且对于用于实时操作的片上具体实施来说是无用的。
技术实现思路
1、各种方面包括使用可以由计算设备的处理器执行的多级神经网络过程的系统和方法。各种方面可以将该系统和方法应用于图像中的关键点检测。各种方面可以包括:使用第一级神经网络来分析图像以限定并输出多个区域;使用相应第二级神经网络来分析该多个区域中的每一个区域以输出该多个区域中的每一个区域中的多个关键点;以及使用第三级神经网络来分析该多个关键点以确定针对该多个关键点中的每一个关键点的校正以提供校正的关键点。在一些方面,该校正的关键点可以适合于图像处理功能的执行。
2、各种实施方案包括由计算设备的处理器执行的用于图像中的关键点检测的方法,该方法可以包括:使用第一级神经网络来分析图像以限定并输出多个区域;使用相应第二级神经网络来分析该多个区域中的每一个区域以输出该多个区域中的每一个区域中的多个关键点;以及使用第三级神经网络来分析该多个关键点以确定针对该多个关键点中的每一个关键点的校正以提供校正的关键点。一些实施方案可以还包括基于该校正的关键点来执行图像处理功能。
3、在一些实施方案中,使用第一级神经网络来分析图像以限定多个区域可以包括:使用该第一级神经网络来分析该图像以确定一个或多个锚点,每个锚点包括针对该多个区域中的每一个区域的中心点。在一些实施方案中,使用第一级神经网络来分析图像以限定多个区域可以包括:使用该第一级神经网络来分析该图像以确定针对该图像的多维全局特征。在一些实施方案中,使用第一级神经网络来分析图像以限定多个区域可以包括:使用该第一级神经网络来分析该图像以导出用于该多个区域中的每一个区域的边界框。在一些实施方案中,使用已被训练为限定并输出多个区域的第一级神经网络来分析图像可以包括:应用该第一级神经网络以针对该多个区域中的每一个区域限定包括待从每个区域确定的关键点的最小边界框。
4、一些实施方案可以还包括:在该图像中标识人体的一部分的图像;以及将该人体的该一部分的该图像分割成该多个区域。
5、在一些实施方案中,使用相应第二级神经网络来分析该多个区域中的每一个区域以输出该多个区域中的每一个区域中的多个关键点可以包括:将该第二级神经网络应用于该图像以确定针对该多个区域中的每一个区域的多维局部特征。在一些实施方案中,使用第三级神经网络来分析该多个关键点以确定针对该多个关键点中的每一个关键点的校正以提供适合于图像处理功能的该执行的校正的关键点可以包括:将该第三级神经网络应用于该多个关键点并应用于针对该图像的多维全局特征和针对该多个区域中的每一个区域的多维局部特征中的一者或多者,以确定针对该多个关键点中的每一个关键点的该校正。
6、在一些实施方案中,每个第二级神经网络可以被训练为输出针对该每个第二级神经网络的相应区域的关键点。在一些实施方案中,可以并行地执行使用已被训练为输出该多个区域中的每一个区域中的多个关键点的相应第二级神经网络来分析该多个区域中的每一个区域。
7、另外的方面可以包括一种计算设备,该计算设备包括:存储器;以及处理器,该处理器耦合到该存储器,并且被配置有处理器可执行指令以执行上文所描述的方法中的任一种方法的操作。另外的方面可以包括在其上存储有处理器可执行指令的处理器可读存储介质,该处理器可执行指令被配置为使得计算设备的控制器执行上文所描述的方法中的任一种方法的操作。另外的方面可以包括一种计算设备,该计算设备包括用于执行上文所描述的方法中的任一种方法的功能的装置。
1.一种由计算设备的处理器执行的用于图像中的关键点检测的方法,包括:
2.根据权利要求1所述的方法,还包括基于所述校正的关键点来执行图像处理功能。
3.根据权利要求1所述的方法,其中使用第一级神经网络来分析图像以限定多个区域包括:
4.根据权利要求1所述的方法,其中使用第一级神经网络来分析图像以限定多个区域包括:
5.根据权利要求1所述的方法,其中使用第一级神经网络来分析图像以限定多个区域包括:
6.根据权利要求1所述的方法,其中使用已被训练为限定并输出多个区域的第一级神经网络来分析图像包括:
7.根据权利要求1所述的方法,还包括:
8.根据权利要求1所述的方法,其中使用相应第二级神经网络来分析所述多个区域中的每一个区域以输出所述多个区域中的每一个区域中的多个关键点包括:
9.根据权利要求1所述的方法,其中使用第三级神经网络来分析所述多个关键点以确定针对所述多个关键点中的每一个关键点的校正以提供校正的关键点包括:
10.根据权利要求1所述的方法,其中每个第二级神经网络已被训练为输出针对所述每个第二级神经网络的相应区域的关键点。
11.根据权利要求1所述的方法,其中并行地执行使用已被训练为输出所述多个区域中的每一个区域中的多个关键点的相应第二级神经网络来分析所述多个区域中的每一个区域。
12.一种计算设备,包括:
13.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,所述操作还包括基于所述校正的关键点来执行图像处理功能。
14.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,使得使用第一级神经网络来分析图像以限定多个区域包括:
15.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,使得使用第一级神经网络来分析图像以限定多个区域包括:
16.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,使得使用第一级神经网络来分析图像以限定多个区域包括:
17.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,使得使用已被训练为限定并输出多个区域的第一级神经网络来分析图像包括:
18.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,所述操作还包括:
19.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,使得使用相应第二级神经网络来分析所述多个区域中的每一个区域以输出所述多个区域中的每一个区域中的多个关键点包括:
20.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,使得使用第三级神经网络来分析所述多个关键点以确定针对所述多个关键点中的每一个关键点的校正以提供校正的关键点包括:
21.根据权利要求12所述的计算设备,其中所述处理器被配置有处理器可执行指令以执行操作,使得并行地执行使用已被训练为输出所述多个区域中的每一个区域中的多个关键点的相应第二级神经网络来分析所述多个区域中的每一个区域。
22.一种在其上存储有处理器可执行指令的非暂态处理器可读介质,所述处理器可执行指令被配置为使得计算设备的处理器执行操作,所述操作包括:
23.根据权利要求22所述的非暂态处理器可读介质,还包括基于所述校正的关键点来执行图像处理功能。
24.根据权利要求22所述的非暂态处理器可读介质,其中使用第一级神经网络来分析图像以限定多个区域包括:
25.根据权利要求22所述的非暂态处理器可读介质,其中使用第一级神经网络来分析图像以限定多个区域包括:
26.根据权利要求22所述的非暂态处理器可读介质,其中使用第一级神经网络来分析图像以限定多个区域包括:
27.根据权利要求22所述的非暂态处理器可读介质,其中使用已被训练为限定并输出多个区域的第一级神经网络来分析图像包括:
28.根据权利要求22所述的非暂态处理器可读介质,其中使用相应第二级神经网络来分析所述多个区域中的每一个区域以输出所述多个区域中的每一个区域中的多个关键点包括:
29.根据权利要求22所述的非暂态处理器可读介质,其中使用第三级神经网络来分析所述多个关键点以确定针对所述多个关键点中的每一个关键点的校正以提供校正的关键点函数包括:
30.一种计算设备,包括: