一种用于扫描光场成像系统的动态场景拍摄方法及装置与流程

1.本发明涉及扫描光场成像系统技术领域，特别涉及一种用于扫描光场成像系统的动态场景拍摄方法。


背景技术：

2.近年来，超高像素数目成像逐渐进入人们的视野。随着机器视觉、无人机、高清监视系统等行业或设备的普及与扩散，人们对于高分辨率、大像素数目成像的需求日益明显。
3.决定成像系统成像质量或成像分辨率的三方面限制条件如下：一是像感器的采样率：普遍流行的像感器时下主要分为ccd和cmos两类，将像素数目做多，像元尺寸做小都有利于更高清的分辨率图像生成；二是系统的光学衍射极限：根据瑞利分辨率判据，成像系统中各透镜的数值孔径决定了系统的分辨能力；三是像差，像差普遍存在于自然环境中，比如大气的散射等。同时像差也存在于镜头之中，由于镜头属于人工磨制的器件，会存在与理论光学中的理想透镜模型的偏差。另一方面，随着镜头尺寸的逐渐增大，理想光学系统中的近轴光学理论不再适用，离轴光线的轨迹难以像近轴光线那样易于预测。以上三点都限制了系统的成像能力，进一步地，阻拦十亿像素成像的发展。
4.得益于工业的发展，光学系统可以达到的衍射极限已经足以满足我们宏观场景拍摄的需求，同时也有足够的工艺制作出大面阵小像元尺寸的高分辨率像感器。而阻拦这些工艺进一步发展的正是像差的存在。物理模型上，随着单镜头尺寸的增长，像差会随之逐步提升。因此随着像素数目的提升、有效像素数目会被限制在一个有限的尺度上。在这样的条件下，无论如何增加像感器的像素数目或是镜头的数值孔径，图像都很难进一步提升分辨率与清晰度。
5.在这样的条件下，十亿像素的发展经历了两个阶段。第一个阶段通过缩小光学孔径尺寸，减小像差的存在，可以突破原有普通相机的有效像素数目局限。但这种方案会导致通光量减小，曝光时间增大，信噪比大幅度降低。第二个阶段通过多镜头拍摄拼接，形成十亿像素成像。该种方案通过增多镜头数目的方式减小像差随单镜头尺寸增大而相应增大的幅度，比减小孔径的方式更好的突破了像差限制，达到较好的成像效果。但该两种方案都没有实际上解决像差的问题，可以达到的最佳成像效果也远远小于光学衍射极限性能。
6.扫描光场系统通过使用微透镜进行稠密的空间上的移动采样，可以打破空间分辨率与角度分辨率之间的相互约束。在获得高空间分辨率的同时获得多角度采样。但是，扫描光场成像系统牺牲了一定的时间分辨率，通过多帧之间的融合实现高分辨率成像。
7.上述扫描光场成像技术通过牺牲时间分辨率获得高空间分辨率。因此在拍摄高速动态场景时会出现严重的伪影，导致无法进行扫描光场多帧融合的高分辨率成像。


技术实现要素：

8.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
9.为此，本发明的第一个目的在于提出一种用于扫描光场成像系统的动态场景拍摄
方法，可以使用扫描光场进行动态场景的无伪影高分辨率拍摄。
10.本发明的第二个目的在于提出一种拟合深度图像的几何运动细节重建装置。
11.为达上述目的，本发明第一方面实施例提出了一种用于扫描光场成像系统的动态场景拍摄方法，包括：s1，通过扫描光场系统采集得到光场原始图像；s2，将所述光场原始图像通过变换得到三维图像堆栈；s3，将所述三维图像堆栈中的图像进行单独处理，组合得到图像对；s4，对所述图像对进行配准，计算得到所述图像对的坐标变换关系；s5，根据所述坐标变换关系进行散点插值，获得高分辨率扫描光场单视角图像。
12.另外，根据本发明上述实施例的用于扫描光场成像系统的动态场景拍摄方法还可以具有以下附加的技术特征：进一步地，在本发明的一个实施例中，所送方法还包括：将所述三维图像堆栈中每一视角图像进行配准，以实现扫描光场动态场景拍摄。
13.进一步地，在本发明的一个实施例中，所述将所述三维图像堆栈中的图像进行单独处理，组合得到图像对，包括：将融合单视角图像根据拍摄时间分布解耦成低分辨率的单视角时间序列图像，获取其中某一序列图像与其它时间序列内的图像并两两组合。
14.进一步地，在本发明的一个实施例中，所述对所述图像对进行配准，包括：将一个扫描周期内的某一时间帧作为标准，将所述标准与所述扫描周期内的其它时间帧进行配准估算。
15.进一步地，在本发明的一个实施例中，所述根据所述坐标变换关系进行散点插值，获得高分辨率扫描光场单视角图像，包括：将融合单视角图与所述坐标变换关系进行散点插值，获得正常分布的所述高分辨率扫描光场单视角图像。
16.本发明实施例的用于扫描光场成像系统的动态场景拍摄方法，通过扫描光场系统采集得到光场原始图像，将光场原始图像通过变换得到三维图像堆栈，将三维图像堆栈中的图像进行单独处理，组合得到图像对，对图像对进行配准，计算得到图像对的坐标变换关系，根据坐标变换关系进行散点插值，获得高分辨率扫描光场单视角图像。本发明通过采用上述方法，可以使用扫描光场进行动态场景的无伪影高分辨率拍摄。
17.为达上述目的，本发明第二方面实施例提出了一种用于扫描光场成像系统的动态场景拍摄装置，包括：采集模块，用于通过扫描光场系统采集得到光场原始图像；变换模块，用于将所述光场原始图像通过变换得到三维图像堆栈；组合模块，用于将所述三维图像堆栈中的图像进行单独处理，组合得到图像对；计算模块，用于对所述图像对进行配准，计算得到所述图像对的坐标变换关系；单视角模块，用于根据所述坐标变换关系进行散点插值，获得高分辨率扫描光场单视角图像。
18.本发明实施例的用于扫描光场成像系统的动态场景拍摄装置，通过扫描光场系统采集得到光场原始图像，将光场原始图像通过变换得到三维图像堆栈，将三维图像堆栈中
的图像进行单独处理，组合得到图像对，对图像对进行配准，计算得到图像对的坐标变换关系，根据坐标变换关系进行散点插值，获得高分辨率扫描光场单视角图像。本发明通过采用上述方法，可以使用扫描光场进行动态场景的无伪影高分辨率拍摄。
19.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
20.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本发明一个实施例的用于扫描光场成像系统的动态场景拍摄方法的流程图。
21.图2为根据本发明一个实施例的用于扫描光场成像系统的动态场景拍摄装置的结构示意图。
具体实施方式
22.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
23.下面参考附图描述本发明实施例的用于扫描光场成像系统的动态场景拍摄方法和装置。
24.本技术实施例的用于扫描光场成像系统的动态场景拍摄方法，解决了传统扫描光场成像技术通过牺牲时间分辨率获得高空间分辨率，因此在拍摄高速动态场景时会出现严重的伪影，导致无法进行扫描光场多帧融合的高分辨率成像的技术问题，本发明可以使用扫描光场进行动态场景的无伪影高分辨率拍摄。
25.图1为本发明实施例所提供的一种用于扫描光场成像系统的动态场景拍摄方法的流程图。
26.如图1所示，该用于扫描光场成像系统的动态场景拍摄方法包括：步骤s1，通过扫描光场系统采集得到光场原始图像。
27.具体的，通过光场系统或扫描光场系统采集包含不同角度信息的光场原始图像。
28.步骤s2，将光场原始图像通过变换得到三维图像堆栈。
29.可以理解的是，可以通过重排列等方法，将光场原始图像变换成具有不同角度信息的三维图像堆栈。
30.步骤s3，将三维图像堆栈中的图像进行单独处理，组合得到图像对。
31.可以理解的是，将步骤s2中不同视角图像各自进行单独处理。处理方法如下：将融合单视角图根据拍摄时间分布解耦成低分辨率的单视角时间序列图像，取其中某一图像作为范例，与其它时间序列内的图像两两组合。
32.步骤s4，对图像对进行配准，计算得到图像对的坐标变换关系。
33.可以理解的是，通过将一个扫描周期内的某一时间帧作为标准，将其与该扫描周期内的其它时间帧（如5*5周期扫描内即有24帧其它帧）进行配准估算，计算出两两图像间
的坐标变换关系。
34.步骤s5，根据坐标变换关系进行散点插值，获得高分辨率扫描光场单视角图像。
35.可以理解的是，将步骤s3中的图像对分别进行配准或光流估计，计算出图像对中场景的坐标变换关系之后，通过散点插值方法，将融合单视角图与其计算出来的坐标变换关系进行散点插值，获得正常分布的高分辨率扫描光场单视角图像。
36.也就是说，对一个扫描周期内重排列后的高分辨率伪影单视角图根据坐标变换关系进行散点插值，估算出最优的无伪影高分辨率单视角图像。需要注意不同视角图像间的关系是互相解耦的。需要对不同视角进行单独的运算与处理。
37.本发明实施例还包括：将三维图像堆栈中每一视角图像进行配准，以实现扫描光场动态场景拍摄。
38.应当理解的是，对每一视角进行步骤s4和步骤s5，以此类推可以实现扫描光场动态场景拍摄。
39.图2为根据本发明一个实施例的用于扫描光场成像系统的动态场景拍摄装置的结构示意图。
40.如图2所示，该用于扫描光场成像系统的动态场景拍摄装置10包括：采集模块100、变换模块200、组合模块300、计算模块400和单视角模块500。
41.采集模块100，用于通过扫描光场系统采集得到光场原始图像；添加模块200，用于将光场原始图像通过变换得到三维图像堆栈；组合模块300，用于将三维图像堆栈中的图像进行单独处理，组合得到图像对；计算模块400，用于对图像对进行配准，计算得到图像对的坐标变换关系；单视角模块500，用于根据坐标变换关系进行散点插值，获得高分辨率扫描光场单视角图像。
42.进一步地，该装置10还包括：动态场景模块，用于将三维图像堆栈中每一视角图像进行配准，以实现扫描光场动态场景拍摄。
43.进一步地，上述组合模块300，具体用于：将融合单视角图像根据拍摄时间分布解耦成低分辨率的单视角时间序列图像，获取其中某一序列图像与其它时间序列内的图像并两两组合。
44.进一步地，该装置10还包括：配准模块，用于将一个扫描周期内的某一时间帧作为标准，将标准与扫描周期内的其它时间帧进行配准估算。
45.进一步，上述单视角模块500，具体用于：将融合单视角图与坐标变换关系进行散点插值，获得正常分布的高分辨率扫描光场单视角图像。
46.根据本发明实施例提出的用于扫描光场成像系统的动态场景拍摄装置，通过扫描光场系统采集得到光场原始图像，将光场原始图像通过变换得到三维图像堆栈，将三维图像堆栈中的图像进行单独处理，组合得到图像对，对图像对进行配准，计算得到图像对的坐标变换关系，根据坐标变换关系进行散点插值，获得高分辨率扫描光场单视角图像。本发明通过采用上述方法，可以使用扫描光场进行动态场景的无伪影高分辨率拍摄。
47.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
48.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
49.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。