成像系统以及相关成像方法与流程

1.本技术涉及一种传感系统，尤其涉及一种成像系统以及相关成像方法。


背景技术：

2.飞行时间(time of flight，tof)测距技术通过从发射端连续发送光信号至目标物，并在接收端接收从目标物返回的光信号，从而计算光信号从发射端返回接收端的飞行时间，得到目标物与发射端/接收端之间的距离。飞行时间测距技术大致可以分为点光源与面光源两种不同方案，其中点光源的方案能将能量集中在有限数目的光斑，较适用于远距离的应用。本技术针对点光源的方案加以改良，在不影响飞行时间测距技术的准确度的前提下，满足低耗能的需求。


技术实现要素：

3.本技术的目的之一在于公开一种成像系统以及相关电子装置及成像系统的操作方法，来解决上述问题。
4.本技术的一实施例公开了一种成像系统，包括：飞行时间传感器，包括：像素阵列，所述像素阵列用来传感由目标物反射至所述像素阵列的光反射信号，所述光反射信号包含多个反射光点，所述多个反射光点击中所述像素阵列中的多个像素；深度信息估计单元，用来读取所述像素阵列并据以得到所述多个反射光点的飞行时间以进行深度信息估计；二维图像传感器，用来进行二维视频帧传感；光流估计单元，用来针对所述二维图像传感器在不同时间得到的不同二维视频帧进行光流估计；以及深度信息建立单元，耦接至所述光流估计单元以及所述深度信息估计单元；其中所述光流估计单元针对所述二维图像传感器在第一时间得到的第一二维视频帧以及在所述第一时间之后的第二时间得到的第二二维视频帧进行光流估计以产生光流估计结果，以及所述深度信息建立单元依据所述光流估计结果以及所述飞行时间传感器在所述第一时间得到的第一深度视频帧产生对应所述第二时间的第二深度视频帧。
5.本技术的一实施例公开了一种成像方法，包括：在第一时间进行二维视频帧传感以得到第一二维视频帧；在所述第一时间传感光反射信号以进行深度信息估计，以得到第一深度视频帧；在所述第一时间之后的第二时间进行二维视频帧传感以得到第二二维视频帧；针对所述第一二维视频帧以及所述第二二维视频帧进行光流估计以产生光流估计结果；以及依据所述光流估计结果以及所述第一深度视频帧产生对应所述第二时间的第二深度视频帧。
6.本技术所公开的成像系统及相关成像方法能降低功耗及/或提升三维估计的效能。
附图说明
7.图1为本技术的成像系统的第一实施例的示意图。
8.图2a为利用本技术的成像系统在第一时间得到的第一二维视频帧及对其抽取特征的示意图。
9.图2b为利用本技术的成像系统在第二时间得到的第二二维视频帧及对其抽取特征的示意图。
10.图3a为利用本技术的成像系统在第一时间得到的第一深度视频帧的示意图。
11.图3b为利用本技术的成像系统在第二时间产生的第二深度视频帧的第一实施例的示意图。
12.图4a为未进行深度补偿得到的深度视频帧的示意图。
13.图4b为利用本技术的成像系统进行深度补偿得到的深度视频帧的示意图。
14.图5为本技术的成像系统的第二实施例的示意图。
具体实施方式
15.以下揭示内容提供了多种实施方式或例示，其能用以实现本揭示内容的不同特征。下文所述之组件与配置的具体例子系用以简化本揭示内容。当可想见，这些叙述仅为例示，其本意并非用于限制本揭示内容。举例来说，在下文的描述中，将一第一特征形成于一第二特征上或之上，可能包括某些实施例其中所述的第一与第二特征彼此直接接触；且也可能包括某些实施例其中还有额外的组件形成于上述第一与第二特征之间，而使得第一与第二特征可能没有直接接触。此外，本揭示内容可能会在多个实施例中重复使用组件符号和/或标号。此种重复使用乃是基于简洁与清楚的目的，且其本身不代表所讨论的不同实施例和/或组态之间的关系。
16.再者，在此处使用空间上相对的词汇，譬如「之下」、「下方」、「低于」、「之上」、「上方」及与其相似者，可能是为了方便说明图中所绘示的一组件或特征相对于另一或多个组件或特征之间的关系。这些空间上相对的词汇其本意除了图中所绘示的方位之外，还涵盖了装置在使用或操作中所处的多种不同方位。可能将所述设备放置于其他方位(如，旋转90度或处于其他方位)，而这些空间上相对的描述词汇就应该做相应的解释。
17.虽然用以界定本技术较广范围的数值范围与参数皆是约略的数值，此处已尽可能精确地呈现具体实施例中的相关数值。然而，任何数值本质上不可避免地含有因个别测试方法所致的标准偏差。在此处，「相同」通常系指实际数值在一特定数值或范围的正负10％、5％、1％或0.5％之内。或者是，「相同」一词代表实际数值落在平均值的可接受标准误差之内，视本技术所属技术领域中具有通常知识者的考虑而定。当可理解，除了实验例之外，或除非另有明确的说明，此处所用的所有范围、数量、数值与百分比(例如用以描述材料用量、时间长短、温度、操作条件、数量比例及其他相似者)均经过「相同」的修饰。因此，除非另有相反的说明，本说明书与附随申请专利范围所揭示的数值参数皆为约略的数值，且可视需求而更动。至少应将这些数值参数理解为所指出的有效位数与套用一般进位法所得到的数值。在此处，将数值范围表示成由一端点至另一端点或介于二端点之间；除非另有说明，此处所述的数值范围皆包括端点。
18.飞行时间测距技术大致可以分为点光源与面光源两种不同方案，其中在点光源的方案中，飞行时间测距装置会发射出有限数目的多个光点(又可称作光斑或散斑)至目标物，并依据多个光点反射回来的反射光点来计算所述多个光点照射到的位置的深度。在面
光源的方案中，飞行时间测距装置会利用面光源发射出均匀光至目标物，并依据所述均匀光反射回来的反射光来计算深度。由于点光源的方案能够将能量集中在有限数目的光点，因此较适用于远距离的应用。但为了确保反射光点从远距离反射回来仍带有足够的能量，所述飞行时间测距装置在发射所述多个光点时必须消耗较高的能量，因此造成功耗的上升。
19.本技术提出的实施例可以在不影响准确度的前提下，降低飞行时间测距装置的功耗，甚至可以同时提高精度。
20.图1是本公开的成像系统的第一实施例的功能方框示意图。成像系统100可由三维成像系统来实施，用以获得周遭目标物的深度信息(或深度视频帧，如图4a及图4b)。举例来说(但本公开不限于此)，成像系统100可以是飞行时间成像系统qw，其可通过测量目标物102与成像系统100之间的距离，获得目标物102的深度信息。值得注意的是，在某些实施例中，成像系统100可以是三维成像系统，其可根据接收端收到的光反射信号的图案形变，判断目标物102的深度信息。为简洁起见，以下以成像系统100实施为飞行时间成像系统的实施例来说明本公开的成像方案。然而，本领域所属技术人员应可了解本公开的成像方案可应用于其他根据发射端和接收端的光信号来得到深度视频帧的三维成像系统。
21.成像系统100采用点光源的方案，包括(但不限于)发光模组110、飞行时间传感器120、二维图像传感器126、光流估计单元128、深度信息建立单元130及光源控制单元132。发光模组110用以产生一光信号ls，其中光信号ls可具有一预定图案(pattern)，使能量可集中在所述预定图案，比如预定图案可以是散斑阵列，光能量集中于散斑阵列的每个散斑点。发光模组110可包括光源112及光学元件114。光学元件114可用来改变光源112输出的光源信号li的行进路线、照射范围等，从而产生具有所述预定图案的光信号ls。光信号ls投影在目标物102上可形成彼此分开的多个光点(light spot)，以减少背景噪声对测量结果的影响。在此实施例中，光源112输出的光源信号li为不可见光，例如红外光。
22.举例来说(但本公开不限于此)，光源112可包括垂直腔面發射激光器(vertical
‑
cavity surface
‑
emitting laser，vcsel)阵列，光学元件114可包括衍射光学组件(diffractive optical element，doe)或折射光学组件(refractiveoptical element，roe)，用以将光源信号li进行锥形衍射(或锥形折射)以产生光信号ls，使光信号ls投影在目标物102上可形成彼此分开的多个光点。在某些实施例中，在光源112及光学元件114之间还包含有准直透镜，用来将光源信号li整形成平行光。
23.飞行时间传感器120用以传感从目标物102返回的光反射信号lr以产生深度视频帧，本技术的深度视频帧用以构成深度视频，也就是说，飞行时间传感器120以深度视频帧率连续拍摄的多张深度视频帧可构成深度视频，举例来说，成像系统100设置于手机上，使用者便可通过手机软件来进行三维视频的拍摄以及观看。其中光反射信号lr是由目标物102反射光信号ls所产生。在此实施例中，飞行时间传感器120包括(但不限于)像素阵列122和深度信息估计单元124。光信号ls投射至目标物102的表面，以对应的形成多个光点并经所述目标物反射至像素阵列122，多个光点可以击中像素阵列122中的多个像素，因此在像素阵列122上形成彼此分开的多个反射光点。
24.深度信息估计单元124耦接于像素阵列122，用以读取像素阵列122中像素单元的数据，并得到多个反射光点在像素阵列122上的位置信息，即所述多个反射光点照射到像素
阵列122的哪些像素单元。由于成像系统100采用点光源的方案，在目标物102和成像系统100之间的距离在容许的范围内的前提下，深度信息估计单元124可以判断出各反射光点应该对应发光模组110发出的光信号ls的光点中的哪一个。因此深度信息估计单元124可以得到所述多个反射光点的飞行时间，并据以进行深度信息估计以获得目标物102的深度信息。
25.一般来说，只有利用发光模组110发出光信号ls后再利用飞行时间传感器120对光反射信号lr进行传感才能建立深度视频帧。但当在时间轴上连续地进行深度信息估计时，连续两帧深度视频帧的内容会相当地接近，例如两帧深度视频帧的内容是同样的场景但画面些微的往某个方向移动。也就是说，某帧深度视频帧的内容可以说是前一帧深度视频帧的内容的微幅变化。由于一般情况下场景在时间轴上变化都不会太快，所以某帧深度视频帧的内容甚至可以和前几帧深度视频帧的内容都相当近似。经过以上的分析，本技术以时间轴上较早的深度视频帧为基础来辅助建立在时间轴上较晚的深度视频帧，因此得以改变发光模组110的工作方式以节省功耗。其细节说明如下。
26.具体来说，本技术的成像系统100相较于一般用于三维的成像系统，额外增加了二维图像传感器126，二维图像传感器126可用来传感环境光照射在目标物102后反射至二维图像传感器126的光信号l，在本实申请中，二维图像传感器126可以是彩色(rgb)二维图像传感器或单色(bw)二维图像传感器，用以感测光信号l中的可见光部份。
27.由于二维图像传感器126在一般环境光下即可感测，不需像飞行时间传感器120还要额外的发光模组110，因此二维图像传感器126的功耗相对较低得多。因此本技术利用二维图像传感器126针对同一个目标物来感测时间轴上的连续两帧二维视频帧，再利用光流估计单元128来估计出所述连续二维视频帧之间的光流，即光流可以表示为二维视频帧中各像点对应的物体的移动速度和方向的信息，而以连续两二维视频帧来看，光流也可以表示为二维视频帧中各像点对应的物体在连续两二维视频帧之间的位移向量(包含方向和距离)。深度信息建立单元130便可依据所述光流来调整深度视频帧的内容，并据以补偿之后的深度视频帧。光流估计作为一种底层视觉技术，常作为一些高层视觉任务的辅助信息。光流通过提供视频帧之间的运动信息将帧之间的关联关系考虑在内。
28.一般的三维成像系统使用一致的功率来进行三维传感以产生每张深度视频帧，且在产生深度视频帧的时候每张深度视频帧是独立产生，并不会利用在时间轴上较早的深度视频帧来产生在时间轴上较晚的深度视频帧。本技术为了进一步降低三维成像系统的功耗，通过光流估计，得以将时间轴上较早的深度视频帧中的信息调整后并入时间轴上较晚的深度视频帧，得以有效地回收原本没有被利用的信息，因此可以在至少不降低三维感测精度的前提下，减少实际的发光模组110及飞行时间传感器120的平均功耗，其细节说明于后。在本技术中，光流估计的目标是在给定的连续两帧二维视频帧中得出部份或全部像素对应的物体的位移向量。举例来说，光流估计可以是稀疏像素匹配或稠密像素匹配。以稀疏像素匹配为例，光流估计单元128针对二维图像传感器126在第一时间t1得到的第一二维视频帧抽取特征点，如图2a所示，图中具有点状标记处即为所抽取的特征点。抽取特征可以通过影像处理的方式来达成，例如对二维视频帧进行多种不同程度的降采样、滤波，并观察经过影像处理后的二维视频帧在二维空间上的变化以找出特征点，包含边缘、转角等特征，对于这些特征的信息能够越丰富越好，例如边缘的方向、转角是朝向顺时针还逆时针的方式弯曲等。
29.光流估计单元128会以同样的方式针对二维图像传感器126在第二时间t2得到的第二二维视频帧抽取特征，如图2b所示，图中具有点状标记处即为所抽取的特征点。有了两张二维视频帧，光流估计单元128便可依据各特征的信息，将图2b的第二二维视频帧中的特征点一一和图2a的第一二维视频帧中的特征点关联起来。举例来说，图2a的第一二维视频帧中某特征点的特征信息和图2b的第二二维视频帧中某特征点的特征信息相同或高度近似，且两者在视频帧中的位置差异在一定的范围之内，则被认定彼此关联，即代表场景中相同的位置，例如图2a的第一二维视频帧中沙发的右前角和图2b的第二二维视频帧中沙发的右前角彼此的特征信息高度近似，因此光流估计单元128判断两者代表场景中同个位置，光流估计单元128于是计算沙发的右前角在图2b的第二二维视频帧中相较于图2a的第一二维视频帧的位移向量。
30.应注意的是，特征点的数量和位置强烈地相关于二维视频帧中的场景的内容，以图2a和图2b的情况为例，光流估计单元128不一定能在所有位置抽取出特征点，例如没有复杂变化的地板、桌面、沙发坐垫处。因此，在特征点有限的情况下，可利用有限的特征点的位移向量来内插出非特征点处的位移。以尽量地补满场景中所有位置(例如所有像素点)在二维视频帧中的位移来得到图2a为例的第一二维视频帧和图2b为例的第二二维视频帧的向量完整光流。
31.又，以稠密像素匹配为例，光流估计单元128则是基于学习的方法来进行光流估计。例如采用深度学习框架，不抽取特征点，而是以建立模型的方式来得到二维视频帧的光流，即得到二维视频帧中各像点对应的物体的移动速度和方向的信息。应注意的是，本技术不对光流估计单元128的实现方式作特定的限制，只要能够进行光流估计，即属于本技术的范围。
32.在本实施例中，二维图像传感器126在第一时间t1和第二时间t2都会进行相同的二维视频帧传感；但发光模组110及飞行时间传感器120则不一定会在第一时间t1和第二时间t2都用完整的功率来工作。以下分三种情况来个别说明，即本技术至少包含以下三种实施方式。
33.＜情况一＞
34.光源控制单元132会控制发光模组110在第一时间t1以完整的功率来产生光信号ls，而在第二时间t2不产生光信号ls，也就是在发光模组110在第二时间t2的功耗为零。请注意，由于发光模组110发出光信号ls经过目标物102返回光反射信号lr至飞行时间传感器120，再由深度信息估计单元124计算出深度视频帧的整体经过时间非常短，和本技术中所指的第一时间t1和第二时间t2之间的差距相比，并非相同的数量级，因此忽视不计。也就是说，发光模组110在第一时间t1发射光信号ls，而深度信息估计单元124也在第一时间t1计算出第一深度视频帧。
35.请参考图3a，其为深度信息估计单元124在第一时间t1得到的第一深度视频帧的示意图，其中的9个黑点(实际上数量可以更多更密集)代表光反射信号lr中的9个光点照射在像素阵列122，因此第一深度视频帧包含这9个黑点处的深度信息。由于发光模组110在第二时间t2不产生光信号ls，因此深度信息估计单元124在第二时间t2不会得到对应的深度视频帧。但本技术可基于在第一时间t1得到的第一深度视频帧，并加上光流估计单元128产生的光流信息来产生第二时间t2的第二深度视频帧，如图3b所示。
36.图3b中，白点表示第二时间t2若正常地发射光信号ls的话，光反射信号lr中的9个光点照射在像素阵列122的位置，图3b中的黑点表示在第一时间t1的9个黑点在第一深度视频帧中对应的物体，在第二深度视频帧中对应的位置。也就是说，依据图3a的各黑点的位置，加上图3a的各黑点对应的光流信息，即可得到图3b的黑点位置。具体来说，在第二时间t2不产生光信号ls的情况下，9个白点处的深度信息是完全缺乏的。不过，深度信息建立单元130依据光流估计单元128估计出的光流信息得到图3a的第一时间t1的第一深度视频帧的9个黑点在第二时间t2相较于第一时间t1的位移向量(请注意9个黑点的位移向量可以各不相同)，并依据所述位移向量将第一时间t1的第一深度视频帧的9个黑点对应的深度信息放置在第二深度视频帧中，即图3b的9个黑点处，以重建出第二深度视频帧。因此，第二深度视频帧同样可以得到9个位置的深度信息，以大致补偿在第二时间t2不产生光信号ls造成的深度信息检测缺失，使得系统在深度信息输出频率可以与原来t1、t2两个时间持续发光测量深度的方案基本持平。由于光源112的功耗主导了成像系统100的功耗，因此总的来看，本情况(情况一)能够大致降低成像系统100一半的功耗，但不降低深度信息的输出频率，在光流信息准确的大致情况下，此三维感测的精度大致不变。
37.＜情况二＞
38.光源控制单元132会控制发光模组110在第一时间t1以完整的功率(较高功率)来产生光信号ls，而在第二时间t2以较低的功率产生光信号ls，在本实施例中，发光模组110在第二时间t2的功率为完整功率的一半，即在第二时间t2的光信号ls的强度为第一时间t1的光信号ls的强度的一半。请再次参考图3b，在此情况下，图3b中的白点表示第二时间t2利用仅有一半能量的光信号ls得到的9个位置的深度信息，相较于图3a使用全能量(即不省功率的状况)的光信号ls得到的9个位置的深度信息，图3b的白点位置的深度信息的精度较差。
39.不过，如情况一所述，深度信息建立单元130依据第一时间t1得到的第一深度视频帧的9个黑点及光流信息，重建出在第二时间t2的9个黑点的深度信息，即图3b的9个黑点处。总的来说，由于第二深度视频帧除了得到9个黑点位置的完整深度信息作为额外的补偿以外，还具有精度较差的9个白点位置的深度信息，在9个黑点位置和9个白点位置皆不重叠的情况下(即第一时间t1得到的第一深度视频帧的9个黑点处对应的物体到了第二时间t2在第二深度视频帧中皆有移动的情况下)，等于光信号ls带有的光点变密了，包含了第二深度视频帧中9个白点位置加上9个黑点位置，等效于光信号ls带有18个光点，因此总共包含的信息不降反增，因此可提高三维感测的精度，且还能降低约25％的功耗。在最极端的情况下，即第一时间t1得到的第一深度视频帧中的所有物体和第二时间t2得到的第二深度视频帧中的所有物体皆没有相对移动，则第二深度视频帧中9个黑点位置和9个白点位置完全重叠，此时对于提高三维感测的精度的帮助没有像9个黑点位置和9个白点位置完全或部分不重叠时来的大。
40.＜情况三＞
41.光源控制单元132会控制发光模组110在第一时间t1和第二时间t2都以完整的功率来产生光信号ls。请再次参考图3b，在此情况下，图3b中的白点表示第二时间t2利用全能量的光信号ls得到的9个位置的深度信息，相较于图3a使用全能量的光信号ls得到的9个黑点位置的深度信息，图3b的白点位置的深度信息的精度不变。
42.如情况一和情况二所述，深度信息建立单元130依据第一时间t1得到的第一深度视频帧的9个黑点及光流信息，重建出在第二时间t2的9个黑点的深度信息，即图3b的9个黑点处。总的来说，在9个黑点位置和9个白点位置皆不重叠的情况下(即第一时间t1得到的第一深度视频帧的9个黑点处对应的物体到了第二时间t2在第二深度视频帧中皆有移动的情况下)，由于第二深度视频帧除了得到9个黑点位置的完整深度信息以外，还具有9个白点位置的完整深度信息，在不提升功耗的情况下总共包含的信息为两倍，因此最多可提高三维感测的精度为原本的两倍。相似地，若第二深度视频帧中9个黑点位置和9个白点位置完全重叠，则对于提高三维感测的精度的帮助没有像9个黑点位置和9个白点位置完全或部分不重叠时来的大。
43.图4a为第一时间t1得到的第一深度视频帧的示意图，也就是未进行深度重建得到的深度视频帧的情况。图4b为在第二时间t2依据上述情况二或情况三的实施例重建出的的第二深度视频帧的示意图。请注意,由图4a和图4b的圆圈处可以看出，图4b的第二深度视频帧中的盆栽的树叶在细节呈现上较图4a来得丰富且贴近真实。
44.在本技术中，光源控制单元132可以用固定的模式调整光源112的功率，即改变发出的光源信号li的强度。例如光源控制单元132在固定时间间隔的第一时间t1、第二时间t2、第三时间t3、第四时间t4...控制光源112发出的光源信号li的强度为完整强度、不发光、完整强度、不发光...；或是完整强度、一半强度、完整强度、一半强度...；或是完整强度、完整强度、完整强度、完整强度...。
45.在某些实施例中，深度信息建立单元130在时间tn建立深度视频帧时，除了可利用前一帧(时间tn
‑
1)的深度视频帧的深度信息来补偿时间tn的深度视频帧以外，还可以将前一帧之前的一帧或多帧深度视频帧也纳入来补偿时间tn的深度视频帧，即利用时间tn
‑
2甚至更早之前的时间的深度视频帧来补偿时间tn的深度视频帧，可以更提高时间tn的深度视频帧中的深度信息量。
46.图5是本公开的成像系统的第二实施例的功能方框示意图。成像系统500和成像系统100的差异在于，成像系统500的光源控制单元132会参考光流估计单元128的光流估计结果来判断如何调整光源112的功率，举例来说，当场景的复杂度太低导致光流估计单元128判断估计出的光流信息的信息量太低或把握度太低时，会导致深度信息建立单元130无法适当地利用较早的深度视频帧来补偿较晚的深度视频帧。本实施例中，光流估计单元128会通知光源控制单元132此情况，光源控制单元132便会避免在此情况下降低光源112的功率，以避免造成精度大幅下降。相反地，当场景的复杂度很高时，光流估计单元128便会通知光源控制单元132可以降低光源112的功率以节省功耗。
47.图1和图5的成像系统100/500可以应用在电子装置中。在某些实施例中，电子装置可为例如智能型手机、个人数字助理、手持式计算机系统或平板计算机等任何电子装置。
48.上文的叙述简要地提出了本技术某些实施例之特征，而使得本技术所属技术领域具有通常知识者能够更全面地理解本揭示内容的多种态样。本技术所属技术领域具有通常知识者当可明了，其可轻易地利用本揭示内容作为基础，来设计或更动其他工艺与结构，以实现与此处所述之实施方式相同的目的和/或达到相同的优点。本技术所属技术领域具有通常知识者应当明白，这些均等的实施方式仍属于本揭示内容之精神与范围，且其可进行各种变更、替代与更动，而不会悖离本揭示内容之精神与范围。