拍摄方法、拍摄装置及存储介质与流程

专利2022-05-09  96



1.本申请涉及拍摄技术领域,尤其涉及一种拍摄方法、拍摄装置及存储介质。


背景技术:

2.自动对焦是指用摄像装置上的光电传感器将物体反射的光接收,根据摄像装置内部芯片的计算与处理,最后由自动对焦装置对焦。自动对焦装置(马达)实际上是根据目标的深度信息来运动,以实现更好的对焦。
3.现有的自动对焦方式包括:(1)基于人脸图像框大小变化的自动对焦方式直接根据人脸图像框的大小变化来估计目标的深度信息的变化,这样估计的深度信息不精确,距离拍摄装置同样距离的不同姿态的人脸,检测到的人脸图像框大小变化较大,实际上深度信息基本不变。(2)相位对焦(pdaf,phase detection auto focus)方式,实现复杂,需要额外的装置或者要对传感器的像素重新设计,且对光线的要求比较高,对传感器的位置精度要求也比较高等。(3)反差对焦(cdaf,contrast detection auto focus)方式,需要计算多次才能够完成对焦,对焦速度慢,且在反差不明显时对焦效果很差。(4)基于单目深度估计的自动对焦方式:单目深度估计具有尺度不确定性,即距离拍摄装置同样距离的两个不同大小的人脸图像会被估计成两个不同深度信息的目标,同样对于不同姿态的人脸估计不够准确有效。


技术实现要素:

4.基于此,本申请提供一种拍摄方法、拍摄装置及存储介质。
5.第一方面,本申请提供了一种拍摄方法,包括:
6.获取目标人物的至少局部部位在当前帧图像中的当前姿态;
7.根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息;
8.根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦;
9.根据对焦结果进行拍摄。
10.第二方面,本申请提供了一种拍摄装置,所述装置包括:
11.存储器和处理器;
12.所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:
13.获取目标人物的至少局部部位在当前帧图像中的当前姿态;
14.根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息;
15.根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦;
16.根据对焦结果进行拍摄。
17.第三方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上所述的拍摄方法。
18.本申请实施例提供了一种拍摄方法、拍摄装置及存储介质,获取目标人物的至少局部部位在当前帧图像中的当前姿态;根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息;根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦;根据对焦结果进行拍摄。相比较直接比较帧图像中人脸图像的大小的变化,本申请实施例由于根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定对应的标准姿态的尺寸信息;根据该对应的标准姿态的尺寸信息与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦,通过这种方式,能够更精确地估计出目标人物的至少局部部位在当前帧图像和先前帧图像中的深度信息的变化,可靠性更高,能够根据精确估计的深度信息的变化的方向控制对焦装置运动,对焦速度快,可以快速对焦到某一个预估的对焦点,不需要在较大范围来回找最佳对焦点;而且本申请实施例的方法不需要额外的装置,成本比较低。
19.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
20.为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
21.图1是本申请拍摄方法一实施例的流程示意图;
22.图2是本申请拍摄方法中的人脸姿态信息的表示方式一实施例的示意图;
23.图3是本申请拍摄方法中根据标准正脸图像的大小的变化控制对焦装置的原理示意图;
24.图4是本申请拍摄方法另一实施例的流程示意图;
25.图5是本申请拍摄方法又一实施例的流程示意图;
26.图6是本申请拍摄方法又一实施例的流程示意图;
27.图7是本申请拍摄装置一实施例的结构示意图。
具体实施方式
28.下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
29.附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际
执行的顺序有可能根据实际情况改变。
30.现有的自动对焦方式中,基于人脸图像框大小变化的自动对焦方式,估计的深度信息不精确;相位对焦方式,实现复杂,需要额外的装置或者要对传感器的像素重新设计等;反差对焦方式,需要计算多次才能够完成对焦,对焦速度慢,且在反差不明显时对焦效果很差;基于单目深度估计的自动对焦方式,估计不够准确有效。
31.本申请实施例提供了一种拍摄方法、拍摄装置及存储介质,获取目标人物的至少局部部位在当前帧图像中的当前姿态;根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息;根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦;根据对焦结果进行拍摄。相比较直接根据帧图像中人脸图像的大小的变化,本申请实施例由于根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定对应的标准姿态的尺寸信息;根据该对应的标准姿态的尺寸信息与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦,通过这种方式,能够将同一位置的不同姿态的目标人物的至少局部部位在当前帧图像中的当前姿态转变成标准姿态,因此能够更精确地估计出目标人物的至少局部部位在当前帧图像和在先前帧图像中的深度信息的变化,可靠性更高,能够根据精确估计的深度信息的变化的方向控制对焦装置运动,对焦速度快,可以快速对焦到某一个预估的对焦点,不需要在较大范围来回找最佳对焦点;而且本申请实施例的方法不需要额外的装置,成本比较低。
32.下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
33.参见图1,图1是本申请拍摄方法一实施例的流程示意图,所述方法包括:
34.步骤s101:获取目标人物的至少局部部位在当前帧图像中的当前姿态。
35.如果帧图像上有多个人物,为了减少处理复杂度,通常需要在多个人物中确定目标人物;如果帧图像上只有一个人物,则该人物即为目标人物。目标人物的至少局部部位包括但不限于:脸部、肩部、脸部上的额头、脸部上的眉毛、整个人体,等等。
36.当前姿态可以是目标人物的至少局部部位在拍摄当前帧图像时的姿态,例如:正脸姿态、左侧脸姿态、右侧脸姿态、抬头脸姿态、低头脸姿态、正脸眉毛姿态、侧脸眉毛姿态、正脸额头姿态、侧脸额头姿态、正肩姿态、侧肩姿态(左侧肩或右侧肩)、耸肩姿态、高低肩姿态、身体正立姿态、身体转身姿态、身体下蹲姿态、身体弯腰姿态,等等。
37.确定好目标人物的至少局部部位后,确定当前帧图像的目标人物的至少局部部位的图像,根据目标人物的至少局部部位的图像的信息对目标人物的至少局部部位的朝向的角度信息进行估计,即目标人物的至少局部部位的当前姿态估计。
38.姿态一般可以用旋转矩阵、旋转向量、四元数或欧拉角表示(这四个量也可以互相转换)。一般而言,欧拉角可读性更好一些,使用更为广泛。常用的三个欧拉角用pitch、yaw、roll表示;其中,pitch为俯仰角,表示物体绕x轴旋转;yaw为偏航角,表示物体绕y轴旋转;roll为翻滚角,表示物体绕z轴旋转。以目标人物的至少局部部位包括目标人物的脸部为例,参见图2,本申请实施例获得的人脸姿态信息用三个欧拉角pitch、yaw、roll表示。
39.步骤s102:根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述
目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息。
40.标准姿态可以是统一的、用于比较的基准姿态,例如,可以是目标人物正面时至少局部部位的姿态,也可以是目标人物侧面(左侧面或右侧面)固定角度时至少局部部位的姿态,等等。由于目标人物正面时至少局部部位的姿态相对来说更加容易实现和控制,通常采用目标人物正面时至少局部部位的姿态作为标准姿态,例如:正脸姿态、正脸时额头的姿态、正脸时眉毛的姿态、身体正立时肩部的姿态、身体正立姿态,等等。
41.目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息可以是目标人物的至少局部部位在当前帧图像中对应的标准姿态的图像的尺寸信息,其中尺寸信息可以是大小信息、面积信息,等等,例如尺寸信息可以是:高度信息、宽度信息,也可以是高度信息和宽度信息,等等。采用高度信息和/或宽度信息可以简化实施过程。
42.在实际环境中目标人物在同样位置,如果目标人物的至少局部部位处于不同姿态,在帧图像上的目标人物的至少局部部位图像的尺寸信息会不一样。反过来假如通过帧图像上目标人物的不同姿态的至少局部部位的图像的尺寸信息来估计该目标人物的至少局部部位的图像的深度信息,就会得到各种不同的深度信息,导致目标人物的至少局部部位的图像的深度信息估计不准确。
43.本申请实施例,将目标人物的至少局部部位在当前帧图像中的当前姿态的图像转换为目标人物的至少局部部位在当前帧图像中对应的标准姿态的图像,即同样位置,同一人物,其至少局部部位的不同姿态,在帧图像上对应的标准姿态的图像的尺寸信息是一样,因此能够更精确地估计出目标人物的至少局部部位在当前帧图像中的深度信息,可靠性更高。
44.步骤s103:根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦。
45.本实施例中,先前帧图像可以是当前帧图像之前的图像,例如:可以是上一帧图像、上几帧图像(例如上两帧、上五帧,等等),也可以是第一帧图像。先前帧图像采用上一帧图像,可以使对焦过程更为连续,对焦速度更快。
46.根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的图像的尺寸信息与目标人物的至少局部部位在先前帧图像中对应的标准姿态的图像的尺寸信息的变化,能够更精确地估计出目标人物的至少局部部位在当前帧图像和在先前帧图像中的深度信息的变化,可靠性更高,而且能够精确估计深度信息的变化的方向,根据深度信息的变化的方向控制对焦装置运动,对焦速度快,可以快速对焦到某一个预估的对焦点,不需要在较大范围来回找最佳对焦点。
47.以目标人物的至少局部部位包括目标人物的脸部、标准姿态包括正脸姿态为例说明,参见图3,图3是本申请拍摄方法中根据正脸姿态的图像的尺寸信息的变化控制对焦装置的原理示意图。目标人物(即真实人脸)在时刻a的位置为o1,物距为oo1,控制对焦装置朝能够清晰成像的焦距fa运动,目标人脸的脸部在时刻a通过镜头后在像平面上的成像(即时刻a目标人脸的脸部在像平面上的当前姿态的图像)转换为对应的正脸姿态的图像后为a’a’;目标人物从位置o1向远离镜头的方向移动,在时刻b的位置为o2,物距为oo2,控制对焦装置朝能够清晰成像的焦距fb运动,目标人物的脸部在时刻b通过镜头后在像平面上的成像(即时刻b目标人脸的脸部在像平面上的当前姿态的图像)转换为对应的正脸姿态的图像
后为b’b’。根据目标人物从位置o1向远离镜头的方向移动至时刻b的位置o2,可知:目标人物在时刻a到时刻b的变化方向是向远离镜头的方向移动,真实物距变大,即oo1到oo2变大;根据目标人物的脸部在时刻a和时刻b对应的正脸姿态的成像a’a’、b’b’的尺寸信息的变化可知,图像变小,那么焦距应该变大,因此,可以得到应该控制对焦装置从时刻a的焦距fa向焦距变大的方向(向右移动)移动至时刻b的焦距fb。
48.例如:目标人物的脸部在当前帧图像中对应的正脸姿态的图像的尺寸信息(例如面积信息)为m1,目标人物的脸部在上一帧图像中对应的正脸姿态的图像的尺寸信息为m2,且m1大于m2,即正脸姿态的图像的尺寸变大,说明目标人物更加靠近拍摄装置,物距变短,焦距应该变小,对焦装置需要在上一帧图像对应的焦距位置向减小焦距或增加像距(向左移动)的方向移动,从而快速确定对焦装置的移动方向,控制对焦装置运动,可以快速对焦到某一个预估的对焦点。
49.又如:以目标人物的至少局部部位包括目标人物的整个身体,当前姿态包括目标人物的转身姿态,标准姿态包括目标人物的正立姿态为例说明,获取目标人物的整个身体在当前帧图像中的转身姿态,根据目标人物的整个身体在当前帧图像中的转身姿态,确定所述目标人物的整个身体在当前帧图像中对应的正立姿态的图像的尺寸信息,例如高度信息为h1。目标人物的整个身体在上一帧图像中对应的正立姿态的图像的高度信息为h2,且h1小于h2,即正立姿态的图像的高度变小,说明目标人物更加远离拍摄装置,物距变长,焦距应该变大,对焦装置需要在上一帧图像对应的焦距位置向增加焦距或减小像距(向右移动)的方向移动,从而快速确定对焦装置的移动方向,控制对焦装置运动,可以快速对焦到某一个预估的对焦点。
50.又如:以目标人物的至少局部部位包括目标人物的整个身体,当前姿态包括目标人物的下蹲姿态,标准姿态包括目标人物的正立姿态为例说明,获取目标人物的整个身体在当前帧图像中的下蹲姿态,根据目标人物的整个身体在当前帧图像中的下蹲姿态,确定所述目标人物的整个身体在当前帧图像中对应的正立姿态的图像的尺寸信息(例如高度信息和宽度信息)hl1。目标人物的整个身体在上一帧图像中对应的正立姿态的图像的尺寸信息为hl2,且hl1大于hl2,即正立姿态的图像的尺寸变大,说明目标人物更加靠近拍摄装置,物距变短,焦距应该变小,对焦装置需要在上一帧图像对应的焦距位置向减小焦距或增加像距(向左移动)的方向移动,从而快速确定对焦装置的移动方向,控制对焦装置运动,可以快速对焦到某一个预估的对焦点。
51.步骤s104:根据对焦结果进行拍摄。
52.本申请实施例获取目标人物的至少局部部位在当前帧图像中的当前姿态;根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息;根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦;根据对焦结果进行拍摄。相比较直接根据帧图像中人脸图像的大小的变化,本申请实施例由于根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定对应的标准姿态的尺寸信息;根据该对应的标准姿态的尺寸信息与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦,通过这种方式,能够将同一位置的不同姿态的目标人物的至少局部部位在当前帧图像中的当前姿态转变成标准姿态,因此
能够更精确地估计出目标人物的至少局部部位在当前帧图像和在先前帧图像中的深度信息的变化,可靠性更高,能够根据精确估计的深度信息的变化的方向控制对焦装置运动,对焦速度快,可以快速对焦到某一个预估的对焦点,不需要在较大范围来回找最佳对焦点;而且本申请实施例的方法不需要额外的装置,成本比较低。
53.在实际应用中,识别人脸,并捕捉人脸姿态技术应用更为广泛,在一实施例中,目标人物的至少局部部位包括目标人物的脸部,标准姿态包括正脸姿态。
54.即步骤s101,所述获取目标人物的至少局部部位在当前帧图像中的当前姿态,可以包括:获取目标人物的脸部在当前帧图像中的当前姿态;步骤s102,所述根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,可以包括:根据目标人物的脸部在当前帧图像中的当前姿态,确定所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息;步骤s103,所述根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦,可以包括:根据所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息与在先前帧图像中对应的正脸姿态的尺寸信息的变化,控制对焦装置进行对焦。
55.在一实施例中,如果帧图像上有多个人脸图像,步骤s101,所述获取目标人物的脸部在当前帧图像中的当前姿态之前,可以包括:获取目标人物的脸部在当前帧图像的人脸图像。
56.其中,所述获取目标人物的脸部在当前帧图像中的人脸图像,还可以包括:获取当前帧图像的对焦区域的对焦人脸图像;将所述对焦人脸图像作为所述目标人物的脸部在当前帧图像中的人脸图像。
57.多个人脸图像中的任何一个人脸图像可以作为目标人物的人脸图像。由于对焦人脸图像是拍摄装置对焦的目标的成像,其成像相比其他人脸图像会更加清晰可辨,更加有利于确定对应的正脸姿态的图像的尺寸信息,能够为得到更为准确的深度信息的变化提供技术支持。
58.其中,如果拍摄装置具有检测人脸的功能,所述获取目标人物的脸部在当前帧图像中的人脸图像,可以包括:
59.a1:通过人脸检测算法获取当前帧图像的多个人脸输出区域。
60.a2:将当前帧图像的对焦区域与多个人脸输出区域进行匹配,得到当前帧图像与对焦区域匹配的人脸输出区域。
61.a3:将当前帧图像与对焦区域匹配的人脸输出区域中的人脸图像作为所述目标人物的脸部在当前帧图像中的人脸图像。
62.人脸检测算法可以是在图像上检测出人脸图像的位置,通常以矩形框形式输出,是人脸匹配、人脸属性识别、人脸核身、人脸检索等技术的基础。人脸检测算法包括但不限于:双镜头人脸检测器(dsfd,dual shot face detector)、卷积神经网络(cnn,convolutional neural network)、多任务级联卷积神经网络(mtcnn,multi

task cascaded convolutional network)、紧凑级联卷积神经网络(compact cascade cnn),等等。
63.由于人脸检测算法可以在图像上检测出人脸图像的位置,通过人脸检测算法能够
快速获得多个人脸输出区域,与对焦区域匹配后,得到与对焦区域匹配的人脸输出区域,进而能够快速将与对焦区域匹配的人脸输出区域中的人脸图像确定为目标人物的脸部在当前帧图像中的人脸图像。
64.人脸姿态估计方法有很多,较为准确的方式可以采用人脸姿态估计算法估计人脸姿态估。即步骤s101,所述获取目标人物的脸部在当前帧图像中的当前姿态,可以包括:通过人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。
65.人脸姿态估计算法包括但不限于:基于关键点约束的人脸姿态估计方法、基于三点透视的人脸姿态估计算法、基于人脸特征点和线性回归的3d人脸姿态估计方法,等等。
66.在一实施例中,采用基于人脸关键点的人脸姿态估计算法,即步骤s101,所述通过人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态,可以包括:通过基于人脸关键点的人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。
67.在另一实施例中,采用基于深度学习的人脸姿态估计算法,即步骤s101,所述通过人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态,可以包括:通过基于深度学习的人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。
68.基于人脸关键点的人脸姿态估计算法和基于深度学习的人脸姿态估计算法是现有比较常用、较为成熟的两种人脸姿态估计算法,对人脸姿态的估计较为稳定,对计算资源的要求较为适中。
69.通过人脸的当前姿态确定对应的正脸姿态的图像的尺寸信息的实现方式很多,例如:可以将人脸姿态进行分类确定人脸姿态类别,每个人脸姿态类别具有对应的数据库图像,根据估计得到的人脸姿态确定所属的人脸姿态类别,根据所属的人脸姿态类别确定对应的数据库图像,根据对应的数据库图像合成正脸姿态的图像,从而得到正脸姿态的图像的尺寸信息;或者,可以通过人脸姿态矫正技术得到正脸姿态的图像的尺寸信息;等等。
70.在一实施例中,采用较为简单方便的方式得到正脸姿态的图像的尺寸信息。即步骤s102,所述根据目标人物的脸部在当前帧图像中的当前姿态,确定所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息,可以包括:子步骤s1021、子步骤s1022以及子步骤s1023,如图4所示。
71.子步骤s1021:检测目标人物的脸部在当前帧图像中的人脸图像的关键点。
72.子步骤s1022:根据目标人物的脸部在当前帧图像中的当前姿态,将目标人物的脸部在当前帧图像中的人脸图像的关键点映射到正脸姿态下的关键点。
73.子步骤s1023:将包括所有的、映射的关键点的最小外接矩形作为目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息。
74.最小外接矩形(mbr,minimum bounding rectangle)是指以二维坐标表示的若干二维形状(例如点、直线、多边形)的最大范围,即以给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标定下边界的矩形。最小外接矩形是最小外接框(minimum bounding box)的二维形式。
75.由于最小外接矩形是包括所有的、映射的关键点的最大范围,通过这种方式,得到的正脸姿态的图像的尺寸信息比较准确。
76.下面详细说明步骤s103的具体内容。
77.在一实施例中,步骤s103,所述根据所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息与在先前帧图像中对应的正脸姿态的尺寸信息的变化,控制对焦装置进行对焦,可以包括:子步骤s103a1和子步骤s103a2,如图5所示。
78.子步骤s103a1:根据目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息与在上一帧图像中对应的正脸姿态的尺寸信息的变化,确定目标人物的脸部在当前帧图像和上一帧图像中对应的深度信息的变化。
79.子步骤s103a2:根据所述深度信息变化,控制对焦装置进行对焦。
80.本实施例通过目标人物的脸部在当前帧图像和上一帧图像各自对应的正脸姿态的图像的尺寸信息的变化,确定目标人物的脸部在当前帧图像和上一帧图像的人脸图像对应的深度信息的变化,进而根据所述深度信息的变化,确定焦距的变化,进而根据焦距的变化控制对焦装置进行对焦。
81.其中,子步骤s103a2,所述根据所述深度信息的变化,控制对焦装置进行对焦,还可以包括:
82.根据所述深度信息的变化,估计得到所述对焦装置的变化趋势和变化量;根据所述对焦装置的变化趋势和变化量,控制所述对焦装置到达初步位置;通过自动对焦方式进一步控制到达初步位置的对焦装置进行对焦。
83.对焦装置的变化趋势和变化量可以是对焦装置的运动方向趋势和该运动方向趋势下的运动量。由于对焦装置的变化趋势和变化量是估计得到,根据所述对焦装置的变化趋势和变化量,控制所述对焦装置进行对焦,该过程是一个比较快速、比较粗略的调整,可以使对焦装置快速到达初步位置,在该初步位置基础上,可以通过自动对焦方式进一步精细化、在微小的局部调整对焦装置进行对焦,可以实现更好的对焦效果。
84.其中,所述自动对焦方式包括反差对焦方式。
85.在另一实施例中,先前帧图像可以是第一帧图像,第一帧图像可以采用通常的自动对焦方式进行对焦得到,因此可以确定目标人物的脸部在第一帧图像对应的正脸姿态的图像的尺寸信息以及第一帧图像的最佳成像焦距,后续帧图像可以都与第一帧图像进行比较。即步骤s103,所述根据所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息与在先前帧图像中对应的正脸姿态的尺寸信息的变化,控制对焦装置进行对焦,可以包括:子步骤s103b1和子步骤s103b2,如图6所示。
86.子步骤s103b1:根据目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息、在第一帧图像对应的正脸姿态的尺寸信息以及第一帧图像的最佳成像焦距,确定当前帧图像的最佳成像焦距。
87.子步骤s103b2:根据当前帧图像的最佳成像焦距,控制对焦装置进行对焦。
88.本实施例中,目标人物的脸部在第一帧图像对应的正脸姿态的图像的尺寸信息以及第一帧图像的最佳成像焦距已知的情况下,将目标人物的脸部在第一帧图像对应的正脸姿态的图像的尺寸信息以及最佳成像焦距作为基准值,之后目标人物的脸部在每一帧图像对应的正脸姿态的图像的尺寸信息和这个作为基准的正脸姿态的图像的尺寸信息进行对比,就可以计算出每一帧图像的真实的最佳成像焦距,进而可以根据每一帧图像的最佳成像焦距,控制对焦装置进行对焦。
89.子步骤s103b1,所述根据所述目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息、在第一帧图像对应的正脸姿态的尺寸信息以及第一帧图像的最佳成像焦距,确定所述当前帧图像的最佳成像焦距之前,还可以包括:通过自动对焦方式得到所述目标人物的脸部在第一帧图像对应的正脸姿态的尺寸信息和第一帧图像的最佳成像焦距。
90.其中,所述自动对焦方式包括反差对焦方式。
91.当然,在实际应用中,上述两种方式可以结合起来实施,即第一帧图像可以使用自动对焦方式(例如cdaf)进行精确对焦,得到目标人物的脸部在第一帧图像对应的正脸姿态的图像的尺寸信息和一个精确的深度信息,对应着一个清晰成像的焦距f0。当前帧图像不是第一帧图像时,根据目标人物的脸部在当前帧图像对应的正脸姿态的图像的尺寸信息与目标人物的脸部在先前帧图像(例如上一帧图像)对应的正脸姿态的图像的尺寸信息的变化,确定所述深度信息的变化;根据所述深度信息的变化,控制对焦装置进行对焦。
92.其中,步骤s103中,所述控制对焦装置进行对焦,可以包括:采用比例积分微分控制系统控制所述对焦装置进行对焦。
93.参见图7,图7是本申请拍摄装置一实施例的结构示意图,需要说明的是,本实施例的拍摄装置能够执行上述拍摄方法中的步骤,相关内容的详细说明,请参见上述拍摄方法的相关内容,在此不再赘叙。
94.所述拍摄装置100包括:存储器1和处理器2;处理器2与存储器1通过总线连接。
95.其中,处理器2可以是微控制单元、中央处理单元或数字信号处理器,等等。
96.其中,存储器1可以是flash芯片、只读存储器、磁盘、光盘、u盘或者移动硬盘等等。
97.所述存储器1用于存储计算机程序;所述处理器2用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:
98.获取目标人物的至少局部部位在当前帧图像中的当前姿态;根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息;根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦;根据对焦结果进行拍摄。
99.其中,所述处理器在执行所述计算机程序时,实现如下步骤:获取目标人物的脸部在当前帧图像中的当前姿态;根据所述目标人物的脸部在当前帧图像中的当前姿态,确定所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息;根据所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息与在先前帧图像中对应的正脸姿态的尺寸信息的变化,控制对焦装置进行对焦。
100.其中,所述处理器在执行所述计算机程序时,实现如下步骤:获取目标人物的脸部在当前帧图像中的人脸图像。
101.其中,所述处理器在执行所述计算机程序时,实现如下步骤:获取当前帧图像的对焦区域的对焦人脸图像;将所述对焦人脸图像作为所述目标人物的脸部在当前帧图像中的人脸图像。
102.其中,所述处理器在执行所述计算机程序时,实现如下步骤:通过人脸检测算法获取当前帧图像的多个人脸输出区域;将当前帧图像的对焦区域与多个人脸输出区域进行匹配,得到当前帧图像与对焦区域匹配的人脸输出区域;将当前帧图像与对焦区域匹配的人
脸输出区域中的人脸图像作为所述目标人物的脸部在当前帧图像中的人脸图像。
103.其中,所述处理器在执行所述计算机程序时,实现如下步骤:通过人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。
104.其中,所述处理器在执行所述计算机程序时,实现如下步骤:通过基于人脸关键点的人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。
105.其中,所述处理器在执行所述计算机程序时,实现如下步骤:通过基于深度学习的人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。
106.其中,所述处理器在执行所述计算机程序时,实现如下步骤:检测目标人物的脸部在当前帧图像中的人脸图像的关键点;根据所述目标人物的脸部在当前帧图像中的当前姿态,将所述目标人物的脸部在当前帧图像中的人脸图像的关键点映射到正脸姿态下的关键点;将包括所有的、映射的关键点的最小外接矩形作为所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息。
107.其中,所述处理器在执行所述计算机程序时,实现如下步骤:根据所述目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息与在上一帧图像中对应的正脸姿态的尺寸信息的变化,确定所述目标人物的脸部在当前帧图像和上一帧图像中对应的深度信息的变化;根据所述深度信息的变化,控制对焦装置进行对焦。
108.其中,所述处理器在执行所述计算机程序时,实现如下步骤:根据所述深度信息的变化,估计得到所述对焦装置的变化趋势和变化量;根据所述对焦装置的变化趋势和变化量,控制所述对焦装置到达初步位置;通过自动对焦方式进一步控制到达初步位置的对焦装置进行对焦。
109.其中,所述处理器在执行所述计算机程序时,实现如下步骤:根据所述目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息、在第一帧图像对应的正脸姿态的尺寸信息以及第一帧图像的最佳成像焦距,确定所述当前帧图像的最佳成像焦距;根据所述当前帧图像的最佳成像焦距,控制对焦装置进行对焦。
110.其中,所述处理器在执行所述计算机程序时,实现如下步骤:通过自动对焦方式得到所述目标人物的脸部在第一帧图像对应的正脸姿态的尺寸信息和第一帧图像的最佳成像焦距。
111.其中,所述自动对焦方式包括反差对焦方式。
112.其中,所述处理器在执行所述计算机程序时,实现如下步骤:采用比例积分微分控制系统控制所述对焦装置进行对焦。
113.本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上任一项所述的拍摄方法。相关内容的详细说明请参见上述相关内容部分,在此不再赘叙。
114.其中,该计算机可读存储介质可以是上述拍摄装置的内部存储单元,例如硬盘或内存。该计算机可读存储介质也可以是外部存储设备,例如配备的插接式硬盘、智能存储卡、安全数字卡、闪存卡,等等。
115.应当理解,在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
116.还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关
联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
117.以上所述,仅为本申请的具体实施例,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

技术特征:
1.一种拍摄方法,其特征在于,包括:获取目标人物的至少局部部位在当前帧图像中的当前姿态;根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息;根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦;根据对焦结果进行拍摄。2.根据权利要求1所述的方法,其特征在于,所述获取目标人物的至少局部部位在当前帧图像中的当前姿态,包括:获取目标人物的脸部在当前帧图像中的当前姿态;所述根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,包括:根据目标人物的脸部在当前帧图像中的当前姿态,确定所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息;所述根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦,包括:根据所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息与在先前帧图像中对应的正脸姿态的尺寸信息的变化,控制对焦装置进行对焦。3.根据权利要求2所述的方法,其特征在于,所述获取目标人物的脸部在当前帧图像中的当前姿态之前,包括:获取目标人物的脸部在当前帧图像中的人脸图像。4.根据权利要求3所述的方法,其特征在于,所述获取目标人物的脸部在当前帧图像中的人脸图像,包括:获取当前帧图像的对焦区域的对焦人脸图像;将所述对焦人脸图像作为所述目标人物的脸部在当前帧图像中的人脸图像。5.根据权利要求3所述的方法,其特征在于,所述获取目标人物的脸部在当前帧图像中的人脸图像,包括:通过人脸检测算法获取当前帧图像的多个人脸输出区域;将当前帧图像的对焦区域与多个人脸输出区域进行匹配,得到当前帧图像与对焦区域匹配的人脸输出区域;将当前帧图像与对焦区域匹配的人脸输出区域中的人脸图像作为所述目标人物的脸部在当前帧图像中的人脸图像。6.根据权利要求2所述的方法,其特征在于,所述获取目标人物的脸部在当前帧图像中的当前姿态,包括:通过人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。7.根据权利要求6所述的方法,其特征在于,所述通过人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态,包括:通过基于人脸关键点的人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。
8.根据权利要求6所述的方法,其特征在于,所述通过人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态,包括:通过基于深度学习的人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。9.根据权利要求2所述的方法,其特征在于,所述根据目标人物的脸部在当前帧图像中的当前姿态,确定所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息,包括:检测目标人物的脸部在当前帧图像中的人脸图像的关键点;根据所述目标人物的脸部在当前帧图像中的当前姿态,将所述目标人物的脸部在当前帧图像中的人脸图像的关键点映射到正脸姿态下的关键点;将包括所有的、映射的关键点的最小外接矩形作为所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息。10.根据权利要求2所述的方法,其特征在于,所述根据所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息与在先前帧图像中对应的正脸姿态的尺寸信息的变化,控制对焦装置进行对焦,包括:根据所述目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息与在上一帧图像中对应的正脸姿态的尺寸信息的变化,确定所述目标人物的脸部在当前帧图像和上一帧图像中对应的深度信息的变化;根据所述深度信息的变化,控制对焦装置进行对焦。11.根据权利要求10所述的方法,其特征在于,所述根据所述深度信息的变化,控制对焦装置进行对焦,包括:根据所述深度信息的变化,估计得到所述对焦装置的变化趋势和变化量;根据所述对焦装置的变化趋势和变化量,控制所述对焦装置到达初步位置;通过自动对焦方式进一步控制到达初步位置的对焦装置进行对焦。12.根据权利要求2所述的方法,其特征在于,所述根据所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息与在先前帧图像中对应的正脸姿态的尺寸信息的变化,控制对焦装置进行对焦,包括:根据所述目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息、在第一帧图像对应的正脸姿态的尺寸信息以及第一帧图像的最佳成像焦距,确定所述当前帧图像的最佳成像焦距;根据所述当前帧图像的最佳成像焦距,控制对焦装置进行对焦。13.根据权利要求12所述的方法,其特征在于,所述根据所述目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息、在第一帧图像对应的正脸姿态的尺寸信息以及第一帧图像的最佳成像焦距,确定所述当前帧图像的最佳成像焦距之前,包括:通过自动对焦方式得到所述目标人物的脸部在第一帧图像对应的正脸姿态的尺寸信息和第一帧图像的最佳成像焦距。14.根据权利要求11或13所述的方法,其特征在于,所述自动对焦方式包括反差对焦方式。15.根据权利要求1所述的方法,其特征在于,所述控制对焦装置进行对焦,包括:采用比例积分微分控制系统控制所述对焦装置进行对焦。
16.一种拍摄装置,其特征在于,所述装置包括:存储器和处理器;所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序并在执行所述计算机程序时,实现如下步骤:获取目标人物的至少局部部位在当前帧图像中的当前姿态;根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息;根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦;根据对焦结果进行拍摄。17.根据权利要求16所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:获取目标人物的脸部在当前帧图像中的当前姿态;根据所述目标人物的脸部在当前帧图像中的当前姿态,确定所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息;根据所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息与在先前帧图像中对应的正脸姿态的尺寸信息的变化,控制对焦装置进行对焦。18.根据权利要求17所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:获取目标人物的脸部在当前帧图像中的人脸图像。19.根据权利要求18所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:获取当前帧图像的对焦区域的对焦人脸图像;将所述对焦人脸图像作为所述目标人物的脸部在当前帧图像中的人脸图像。20.根据权利要求18所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:通过人脸检测算法获取当前帧图像的多个人脸输出区域;将当前帧图像的对焦区域与多个人脸输出区域进行匹配,得到当前帧图像与对焦区域匹配的人脸输出区域;将当前帧图像与对焦区域匹配的人脸输出区域中的人脸图像作为所述目标人物的脸部在当前帧图像中的人脸图像。21.根据权利要求17所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:通过人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。22.根据权利要求21所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:通过基于人脸关键点的人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。23.根据权利要求21所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:
通过基于深度学习的人脸姿态估计算法估计得到所述目标人物的脸部在当前帧图像中的当前姿态。24.根据权利要求17所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:检测目标人物的脸部在当前帧图像中的人脸图像的关键点;根据所述目标人物的脸部在当前帧图像中的当前姿态,将所述目标人物的脸部在当前帧图像中的人脸图像的关键点映射到正脸姿态下的关键点;将包括所有的、映射的关键点的最小外接矩形作为所述目标人物的脸部在当前帧图像中对应的正脸姿态的尺寸信息。25.根据权利要求17所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:根据所述目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息与在上一帧图像中对应的正脸姿态的尺寸信息的变化,确定所述目标人物的脸部在当前帧图像和上一帧图像中对应的深度信息的变化;根据所述深度信息的变化,控制对焦装置进行对焦。26.根据权利要求25所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:根据所述深度信息的变化,估计得到所述对焦装置的变化趋势和变化量;根据所述对焦装置的变化趋势和变化量,控制所述对焦装置到达初步位置;通过自动对焦方式进一步控制到达初步位置的对焦装置进行对焦。27.根据权利要求17所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:根据所述目标人物的脸部在当前帧图像对应的正脸姿态的尺寸信息、在第一帧图像对应的正脸姿态的尺寸信息以及第一帧图像的最佳成像焦距,确定所述当前帧图像的最佳成像焦距;根据所述当前帧图像的最佳成像焦距,控制对焦装置进行对焦。28.根据权利要求27所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:通过自动对焦方式得到所述目标人物的脸部在第一帧图像对应的正脸姿态的尺寸信息和第一帧图像的最佳成像焦距。29.根据权利要求26或28所述的拍摄装置,其特征在于,所述自动对焦方式包括反差对焦方式。30.根据权利要求16所述的拍摄装置,其特征在于,所述处理器在执行所述计算机程序时,实现如下步骤:采用比例积分微分控制系统控制所述对焦装置进行对焦。31.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1

15任一项所述的拍摄方法。
技术总结
一种拍摄方法、拍摄装置及存储介质,该方法包括:获取目标人物的至少局部部位在当前帧图像中的当前姿态(S101);根据目标人物的至少局部部位在当前帧图像中的当前姿态,确定所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息(S102);根据所述目标人物的至少局部部位在当前帧图像中对应的标准姿态的尺寸信息,与在先前帧图像中对应的标准姿态的尺寸信息的变化,控制对焦装置进行对焦(S103);根据对焦结果进行拍摄(S104)。根据对焦结果进行拍摄(S104)。根据对焦结果进行拍摄(S104)。


技术研发人员:程正喜 封旭阳
受保护的技术使用者:深圳市大疆创新科技有限公司
技术研发日:2020.07.28
技术公布日:2021/6/29

转载请注明原文地址:https://doc.8miu.com/read-157.html

最新回复(0)