本公开内容的各方面一般涉及图像处理。一些特征可以实现并提供改进的图像处理，包括具有增加的图像细节和/或动态范围的图像。
背景技术：
1、图像捕获设备是可以捕获一个或多个数字图像的设备，无论是针对照片的静止图像还是针对视频的图像序列。捕获设备可以被合并到各种设备中。举例来说，图像捕获设备可以包括独立数码相机或数字视频摄像机、配备有相机的无线通信设备手持机(诸如，移动电话、蜂窝式或卫星无线电电话、个人数字助理(pda)、面板或平板计算机)、游戏设备、计算机设备(诸如，网络摄像机、视频监控相机、或具有数字成像或视频能力的其它设备)。
2、当使用图像捕获设备捕获具有宽色域的对场景的表示时，动态范围可能对于图像质量是重要的。传统的图像传感器具有有限的动态范围，其可能小于人眼的动态范围。动态范围可以指在图像的亮部分与图像的暗部分之间的光范围。常规图像传感器可以增加曝光时间以在使图像的亮部分饱和的代价下改进图像的暗部分中的细节。或者，常规图像传感器可以减少曝光时间以在丢失图像的暗部分中的细节的代价下改进图像的亮部分中的细节。因此，图像捕获设备常规地通过调整曝光时间来平衡冲突期望，从而保留图像的亮部分或暗部分中的细节。高动态范围(hdr)摄影通过合并来自图像传感器的多个被记录图像来改进使用这些常规图像传感器的摄影。这些被记录图像被一个接一个地连续地被记录，并且然后被合并。然而，对图像的连续记录导致在记录图像帧之间的重影或失配，这降低了通过合并被记录图像帧获得的hdr摄影的质量。
技术实现思路
1、下面概括了本公开内容的一些方面以提供对所讨论的技术的基本理解。该概括不是对本公开内容的全部预期特征的详尽概述，以及既不旨在标识本公开内容的全部方面的关键或重要元素，也不旨在描绘本公开内容的任何或全部方面的范围。其唯一目的是以概括的形式呈现本公开内容的一个或多个方面的一些概念，作为稍后呈现的更详细描述的序言。
2、图像传感器可以被配置为利用不同的灵敏度记录图像帧，使得所述图像帧可以被合并以产生具有改进的质量的摄影。可以在一个或多个高光区域和/或暗区域中通过较高的细节观测到改进的质量。图像传感器配置可以包括具有第一灵敏度的第一组传感器元件和具有不同于第一灵敏度的第二灵敏度的第二组传感器元件。第一组传感器元件可以以第一灵敏度捕获对场景的第一表示；并且第二组传感器元件可以以第二灵敏度捕获对场景的第二表示。一种这样的图像传感器配置是在下面的实施例中被描述为分割像素图像传感器，然而其它图像传感器配置可以被用以获得第一灵敏度和第二灵敏度。单个图像传感器内的不同的灵敏度可以允许在至少部分地重叠的时间中记录第一数据和第二数据。可以根据第一数据和第二数据中的至少一个并且在一些实施例中根据第一数据和第二数据两者，来确定用于摄影的输出图像帧。
3、根据本公开内容的实施例的具有用于记录对场景的表示的不同的灵敏度的图像传感器可以被用以产生标准动态范围(sdr)摄影或高动态范围(hdr)摄影。一种用于处理至少部分地在重叠时间段中从一个或多个传感器捕获的第一数据和第二数据的方法可以包括：从图像传感器或从被耦合到所述图像传感器的存储器接收包括第一数据和第二数据的图像数据。可以从利用第一灵敏度捕获对场景的第一表示的第一组传感器元件接收所述第一数据。可以从利用不同于所述第一灵敏度的第二灵敏度捕获对所述场景的第二表示的第二组传感器元件接收所述第二数据。在一些实施例中，从一个图像传感器并行地捕获所述第一数据和所述第二数据，其中，所述第一组传感器元件具有与所述第二组传感器元件相比的不同配置，诸如在本公开内容的实施例中描述的分割像素图像传感器中。
4、在本公开内容的一个方面中，一种用于图像处理的方法包括：接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以比拜耳图案大的包括颜色滤光片阵列(cfa)的颜色图案配置的均匀传感器元件阵列；确定输出图像帧的输出动态范围；以及基于所述输出动态范围以及所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
5、在本公开内容的附加方面中，一种装置包括至少一个处理器和被耦合到所述至少一个处理器的存储器。所述至少一个处理器被配置为执行包括以下各项的步骤：接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以比拜耳图案大的包括颜色滤光片阵列(cfa)的颜色图案配置的均匀传感器元件阵列；确定输出图像帧的输出动态范围；以及基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
6、在本公开内容的附加方面中，一种装置包括：用于接收以第一灵敏度捕获的对应于场景的第一数据的单元，所述第一数据由第一组传感器元件捕获；用于接收以第二灵敏度捕获的对应于所述场景的第二数据的单元，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以比拜耳图案大的包括颜色滤光片阵列(cfa)的颜色图案配置的均匀传感器元件阵列；用于确定输出图像帧的输出动态范围的单元；以及用于基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧的单元。
7、在本公开内容的另一方面中，一种装置包括：图像传感器，其包括第一组传感器元件和第二组传感器元件，其中，所述第一组传感器元件和所述第二组传感器元件包括表示大于拜耳图案的颜色滤光片阵列(cfa)的颜色图案的均匀传感器元件阵列；存储器，其存储处理器可读代码并且被耦合到所述图像传感器；以及至少一个处理器，其被耦合到所述存储器并且被耦合到所述图像传感器，所述至少一个处理器被配置为执行所述处理器可读代码以使所述至少一个处理器执行包括以下各项的步骤：在至少部分地重叠的时间期间将从所述图像传感器捕获的第一数据和第二数据记录到所述存储器中，所述第一数据来自利用第一灵敏度捕获对场景的第一表示的所述第一组传感器元件，并且所述第二数据来自利用不同于所述第一灵敏度的第二灵敏度捕获对所述场景的第二表示的所述第二组传感器元件；确定输出图像帧的输出动态范围；以及基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
8、在本公开内容的附加方面中，一种非暂时性计算机可读介质，其存储了当由处理器执行时使所述处理器执行操作的指令。所述操作包括：接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以比拜耳图案大的包括颜色滤光片阵列(cfa)的颜色图案配置的均匀传感器元件阵列；确定输出图像帧的输出动态范围；以及基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
9、图像捕获设备(可以捕获一个或多个数字图像(无论是静止图像照片还是针对视频的图像序列)的设备)可以被并入到各种各样的设备中。举例来说，图像捕获设备可以包括独立数码相机或数字视频摄像机、配备有相机的无线通信设备手持机(诸如移动电话、蜂窝式或卫星无线电电话、个人数字助理(pda)、面板或平板计算机)、游戏设备、计算机设备(诸如，网络摄像机、视频监控相机、或具有数字成像或视频能力的其它设备)。
10、一般来说，本公开内容描述涉及具有图像传感器和图像信号处理器(isp)的数码相机的图像处理技术。isp可以被配置为控制对来自一个或多个图像传感器的图像帧的捕获并且处理来自所述一个或多个图像传感器的一个或多个图像帧以生成被校正的图像帧中的场景的视图。被校正的图像帧可以是形成视频序列的图像帧序列的一部分。视频序列可以包括从所述图像传感器或其它图像传感器接收的其它图像帧和/或基于来自所述图像传感器或另一图像传感器的输入的其它被校正的图像帧。在一些实施例中，对一个或多个图像帧的处理可以是在图像传感器内(诸如在合并读出(binning)模块中)执行的。在本文公开的实施例中描述的图像处理技术可以由电路(诸如在图像传感器中、在图像信号处理器(isp)中、在应用处理器(ap)中或在这些组件中的两个或全部组件的组合中的合并读出模块)执行。
11、在示例中，图像信号处理器可以响应于加载软件(诸如，相机应用)而接收对于捕获图像帧序列的指令，以从图像捕获设备产生预览显示。图像信号处理器可以被配置为基于从一个或多个图像传感器接收的图像帧来产生输出帧的单个流。输出帧的单个流可以包括来自图像传感器的原始图像数据、来自图像传感器的被合并读出的图像数据、或由图像信号处理器内的一个或多个算法(诸如在合并读出模块中)处理的被校正的图像帧。例如，通过图像后处理引擎(ipe)和/或用于执行色调映射、人像照明、对比度增强、伽马校正等中的一项或多项的其它图像处理电路处理从图像传感器获得的图像帧，可以在图像信号处理器中处理该图像帧，该图像传感器可能已经在输出到图像信号处理器之前对数据执行了一些处理。
12、在由图像信号处理器使用图像校正(诸如，在本文中的各种实施例中描述的合并读出)确定表示场景的输出帧之后，输出帧可以作为单个静止图像和/或作为视频序列的一部分被显示在设备显示器上，作为图片或视频序列被保存到存储设备，在网络上被发送、和/或被打印到输出介质。例如，图像信号处理器可以被配置为从不同的图像传感器获得图像数据的输入帧(例如，像素值)，并且既而产生图像数据的对应输出帧(例如，预览显示帧、静态图像捕获、针对视频的帧、用于对象跟踪的帧等)。在其它示例中，图像信号处理器可以将图像数据的帧输出到各种输出设备和/或相机模块以用于进一步处理，诸如用于3a参数同步(例如，自动聚焦(af)、自动白平衡(awb)和自动曝光控制(aec))，经由输出帧产生视频文件，配置帧以用于显示，配置帧以用于存储，通过网络连接发送帧等。也即，图像信号处理器可以从一个或多个图像传感器获得输入帧，每个图像传感器都被耦合到一个或多个相机镜头，并且既而可以产生输出帧的流并将其输出到各种输出目的地。
13、在一些方面中，可以通过合并本公开内容的图像校正的各方面与诸如高动态范围(hdr)摄影或多帧噪声减少(mfnr)之类的其它计算摄影技术来产生被校正的图像帧。利用hdr摄影，使用不同的曝光时间、不同的光圈、不同的镜头和/或其它特性来捕获第一图像帧和第二图像帧，其中，不同的曝光时间、不同的光圈、不同的镜头和/或其它特性当两个图像帧被合并时可能导致被融合的图像的改进的动态范围。在一些方面中，可以针对mfnr摄影执行方法，其中，第一图像帧和第二图像帧是使用相同曝光时间或不同的曝光时间来捕获的，并且被融合以生成具有与所捕获的第一图像帧相比减少的噪声的被校正的第一图像帧。
14、在一些方面中，设备可以包括图像信号处理器或处理器(例如，应用处理器)，其包括用于相机控制和/或处理的特定功能，诸如启用或禁用合并读出模块或以其它方式控制图像校正的各方面。在本文中描述的方法和技术可以完全由图像信号处理器或处理器执行，或各种操作可以在图像信号处理器与处理器之间被拆分，并且在一些方面中跨附加处理器被拆分。
15、所述装置可以包括一个、两个或更多个图像传感器，例如包括第一图像传感器。当存在多个图像传感器时，第一图像传感器可以具有与第二图像传感器相比较大的视场(fov)，或者第一图像传感器可以具有与第二图像传感器相比不同的灵敏度或不同的动态范围。在一个示例中，第一图像传感器可以是广角图像传感器，并且第二图像传感器可以是长焦(tele)图像传感器。在另一示例中，第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且第二传感器被配置为通过具有不同于第一光轴的第二光轴的第二镜头获得图像。另外地或替代地，第一镜头可以具有第一放大率，并且第二镜头可以具有不同于第一放大率的第二放大率。该配置可以与移动设备上的镜头集群一起发生，诸如在其中多个图像传感器以及相关联的镜头位于移动设备的前侧或后侧上的偏移位置中。可以包括具有更大、更小或相同视场的附加图像传感器。在本文中描述的图像校正技术可以被应用于从多传感器设备中的图像传感器中的任何图像传感器捕获的图像帧。
16、在本公开内容的附加方面中，公开了一种被配置用于图像处理和/或图像捕获的设备。所述装置包括用于捕获图像帧的单元。所述装置还包括用于捕获表示场景的数据的一个或多个单元，诸如，图像传感器(包括电荷耦合器件(ccd)、拜耳滤光片传感器、红外(ir)检测器、紫外(uv)检测器、互补金属氧化物半导体(cmos)传感器)、飞行时间检测器。所述装置还可以包括用于将光线累积及/或聚焦到一个或多个图像传感器中的一个或多个单元(包括简单镜头、复合镜头、球面镜头和非球面镜头)。可以控制这些组件以捕获被输入到在本文中描述的图像处理技术的第一图像帧和/或第二图像帧。
17、对于本领域普通技术人员来说，在结合附图阅读对特定示例性方面的以下描述之后，其它方面、特征和实现将变得显而易见。虽然下文可能关于某些方面和图论述了特征，但是各个方面可以包括在本文中论述的有利特征中的一个或多个特征。换句话说，虽然可能将一个或多个方面论述为具有某些有利特征，但是此类特征中的一个或多个特征还可以是根据各个方面来使用的。以类似的方式，虽然下文可以将示例性方面论述为设备、系统或方法方面，但是示例性方面可以是在各种设备、系统和方法中实现的。
18、该方法可以被嵌入在计算机可读介质中，作为包括使处理器执行该方法的步骤的指令的计算机程序代码。在一些实施例中，所述处理器可以是移动设备的一部分，所述移动设备包括：第一网络适配器，其被配置为在多个网络连接中的第一网络连接上发送数据，诸如作为记录或作为流数据的图像或视频；以及处理器，其被耦合到所述第一网络适配器和所述存储器。所述处理器可以使在无线通信网络(诸如，5g nr通信网络)上发送在本文中描述的被校正的图像帧。
19、前文已经相当宽泛地概述了根据本公开内容的示例的特征和技术优点，以便可以更好地理解以下的详细描述。后文将描述附加特征和优点。所公开的概念和特定示例可以容易用作用于修改或设计用于执行本公开内容的相同目的的其它结构的基础。这样的等效的构造不背离所附权利要求书的保护范围。当结合附图考虑时，根据以下描述，将更好地理解本文公开的概念的特性(其组织和操作方法二者)以及相关联的优点。提供附图中的每个附图以用于说明和描述的目的，并且不作为对权利要求的限制的定义。
20、虽然在本技术中通过对一些示例的说明来描述各方面和实现方案，但是本领域技术人员将理解的是，在许多其它布置和场景中可能产生附加实现方案和用例。在本文中描述的创新可以是跨越许多不同的平台类型、设备、系统、形状、大小、封装布置来实现的。例如，各方面和/或各用途可以经由集成芯片实现方案和其它基于非模块组件的设备(例如，终端用户设备、车辆、通信设备、计算设备、工业设备、零售/购买设备、医疗设备、实现人工智能(ai)的设备等)而产生。虽然一些示例可能是或可能不是专门针对用例或应用的，但是可以存在所描述的创新的各种各样的适用性。实现方案的范围可以从芯片级或模块化组件到非模块化非芯片级实现方案、并且进一步到并入所描述的创新的一个或多个方面的聚合式、分布式或原始设备制造商(oem)设备或系统。在一些实际设置中，并入所描述的方面和特征的设备还可以必要地包括用于实现并实行所要求保护并且描述的方面的附加组件和特征。例如，对无线信号的发送和接收必要地包括：用于模拟和数字目的的多个组件(例如，包括：天线、射频(rf)链、功率放大器、调制器、缓冲器、处理器、交织器、加法器/求和器等的硬件组件)。在本文中描述的创新旨在可以是在具有不同大小、形状和构造的各种设备、芯片级组件、系统、分布式布置、终端用户设备等中实行的。
1.一种方法，包括：
2.根据权利要求1所述的方法，其中，所述第一组传感器元件与中性密度(nd)滤光片相关联，所述中性密度(nd)滤光片被配置为减少到所述第一组传感器元件的入射光。
3.根据权利要求1所述的方法，其中，所述第一组传感器元件与第一电容相关联，所述第一电容大于与所述第二组传感器元件相关联的第二电容。
4.根据权利要求1所述的方法，其中，所述第二组传感器元件利用不同于所述第一组传感器元件的用于捕获所述第一数据的第一曝光时间的第二曝光时间捕获所述第二数据。
5.根据权利要求1所述的方法，其中，确定所述输出图像帧包括将第一数据与对应的第二数据合并以生成具有所述输出动态范围的所述输出图像帧，其中，所述输出动态范围高于所述第一数据的第一动态范围并且高于所述第二数据的第二动态范围。
6.根据权利要求1所述的方法，其中，确定所述输出图像帧包括：
7.根据权利要求6所述的方法，其中，确定所述输出图像帧还包括：
8.根据权利要求7所述的方法，其中，修改所述第三数据中的高光区域包括：
9.根据权利要求7所述的方法，其中，修改所述第三数据中的高光区域包括：
10.根据权利要求1所述的方法，其中，接收图像数据包括：
11.一种装置，包括：
12.根据权利要求11所述的装置，其中，所述第一组传感器元件与中性密度(nd)滤光片相关联，所述中性密度(nd)滤光片被配置为减少到所述第一组传感器元件的入射光。
13.根据权利要求11所述的装置，其中，所述第一组传感器元件与第一电容相关联，所述第一电容大于与所述第二组传感器元件相关联的第二电容。
14.根据权利要求11所述的装置，其中，所述第二组传感器元件利用不同于所述第一组传感器元件的用于捕获所述第一数据的第一曝光时间的第二曝光时间捕获所述第二数据。
15.根据权利要求11所述的装置，其中，确定所述输出图像帧包括将第一数据与对应的第二数据合并以生成具有所述输出动态范围的所述输出图像帧，其中，所述输出动态范围高于所述第一数据的第一动态范围并且高于所述第二数据的第二动态范围。
16.根据权利要求11所述装置，其中，确定所述输出图像帧包括：
17.根据权利要求16所述的装置，其中，确定所述输出图像帧还包括：
18.根据权利要求17所述的装置，其中，修改所述第三数据中的高光区域包括：
19.根据权利要求17所述的装置，其中，修改所述第三数据中的高光区域包括：
20.根据权利要求11所述的装置，其中，接收所述第一数据包括通过第一浮动节点读出所述第一组传感器元件；并且其中，接收所述第二数据包括通过第二浮动节点读出所述第二组传感器元件。
21.根据权利要求11所述的装置，还包括图像传感器，所述图像传感器包括所述第一组传感器元件和所述第二组传感器元件，其中，所述第一组传感器元件和所述第二组传感器元件包括表示大于拜耳图案的颜色滤光片阵列(cfa)的所述颜色图案的所述均匀传感器元件阵列。
22.一种装置，包括：
23.根据权利要求22所述的装置，还包括被耦合到所述第二组传感器元件的中性密度滤光片。
24.根据权利要求22所述的装置，其中，所述图像传感器包括：
25.根据权利要求24所述的装置，其中，将所述第一数据和所述第二数据记录到所述存储器中包括：
26.根据权利要求24所述的装置，其中，所述图像传感器包括被耦合在所述第二浮动节点和所述第二组传感器元件之间的电容器。
27.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器执行操作，所述操作包括：
28.根据权利要求27所述的非暂时性计算机可读介质，其中，确定所述输出图像帧包括将所述第一数据与对应的第二数据合并以生成具有所述输出动态范围的所述输出图像帧，其中，所述输出动态范围高于所述第一数据的第一动态范围并且高于所述第二数据的第二动态范围。
29.根据权利要求27所述的非暂时性计算机可读介质，其中，确定所述输出图像帧包括：
30.根据权利要求29所述的非暂时性计算机可读介质，其中，修改所述第三数据中的高光区域包括：
