用于RCCB图像传感器的多帧动态范围扩展方法及系统与流程

本发明涉及图像处理方法，更具体的说，本发明主要涉及一种用于rccb图像传感器的多帧动态范围扩展方法及系统。

背景技术：

在人类的日常生活场景中，如黑暗的隧道口或暗夜下的汽车前大灯等，同一场景不同区域的亮度变化范围超过8个数量级，即动态范围大于160db。人眼由于经过长期进化能够适应6个数量级以上的亮度变化，即动态范围高于120db。

图像传感器是一种将光学图像转换成电子信号的设备，它被广泛地应用在数码相机和其他电子光学设备中。图像传感器包含多个按照行列分布的基本感光单元，称为像素。每个像素可以把入射光强度转换成对应强度的电信号，得到一张反映光强度分布的二维黑白图像。为了得到彩色图像，需要在图像传感器上增加彩色滤镜。rggb滤镜bayer阵列是目前最常用的方式，它模拟人眼对色彩的敏感程度，采用1红2绿1蓝，即rggb的排列方式将灰度信息转换成彩色信息。现有技术中，rggb滤镜将进入图像传感器的光通量降低到约1/3，不利于黑暗环境的应用。rccb滤镜bayer阵列是一种多应用于车载图像传感器的新型滤镜阵列，它与现有技术中的rggb滤镜bayer阵列的区别在于所有绿色（g）像素的位置滤镜变为透明（c），如图3所示，提高了图像传感器整体通光量，在夜间可以显著改善信噪比，提高目标的可识别度。

并且，图像传感器单次光电转换最多只能提供70db左右的动态范围，远远不能满足反映和记录真实世界中高动态场景的需求。为提供不亚于人眼的动态范围，通常采用多次光电转换的方法，用较大的光电转换率记录场景中光线较暗的像素，用较小的光电转换率记录场景中光线较强的像素，通过多帧图像融合，将动态范围扩展至100～140db。

同时，由于rccb滤镜bayer阵列中的c通道通光量远大于r和b通道，常常会出现在同一邻域附近选用了来自不同光电转换率产生的r，c和b数据的情况，并且由于光电转换率的精度不足及器件非线性，所述邻域内通常出现r、c和b之间相对比例失真，形成局部色彩偏差的缺陷。而局部色彩偏差缺陷需要额外的后期处理来弱化，造成系统开销和成本的上升，增加了系统总延时，降低了系统实时性。因此所述局部色彩偏差缺陷严重影响rccb图像传感器对交通信号灯和交通指示标志的识别，不利于汽车辅助驾驶等关键安全领域的应用。有必要针对此类缺陷针对图像传感器的图像处理方法做进一步的研究和改进。

技术实现要素：

本发明的目的之一在于针对上述不足，提供一种用于rccb图像传感器的多帧动态范围扩展方法及系统，以期望解决现有技术中邻域内常出现各通道之间的相对比例失真，形成局部色彩偏差的缺陷，需要后期处理来弱化，造成系统开销和成本的上升，增加了系统总延时，降低了系统实时性等技术问题。

为解决上述的技术问题，本发明采用以下技术方案：

本发明一方面提供了一种用于rccb图像传感器的多帧动态范围扩展方法，所述的方法包括如下步骤：

步骤a、以行为单位，从输入接口获取两组原始图像数据和；所述图像数据和来自于行缓存单元或由上一级融合单元所输出；

步骤b、从原始图像数据和中通过亮度提取过程提取亮度信息和；

步骤c、根据所述亮度信息，以及和的光电转换比率，计算中每个像素的融合权重系数；

步骤d、根据亮度信息和，计算出反映和每个像素相对运动或亮度偏移严重程度的参考值；

步骤e、根据参考值，计算运动补偿系数：

步骤f、根据融合权重系数和运动补偿系数，计算每个像素的融合结果，得到动态范围扩展后的输出图像。

进一步的，上述步骤b中进行亮度提取过程包括如下步骤：

用表示所述图像和亮度值数据中任意元素的坐标；

原始图像数据i为按照bayerrccb格式周期性排列的像素平面；

通过下式计算原始图像数据中r/b位置像素的c通道值估计，并计算像素的水平梯度和垂直梯度；

再通过下式生成r/b位置的水平插值，垂直插值和中心插值；

根据和选择、或作为缺少c位置的插值结果，通过下式构成完整的c平面；

最后通过下式计算亮度信息y；

。

所述步骤c中计算像素的融合权重系数的方法为：

用表示所述图像和亮度值数据中任意元素的坐标；

用表示输入图像当前位置像素的亮度值；

构造平面直角坐标系，横轴为亮度，纵轴为融合权重系数；

从系统配置中获取分段折线方程的横坐标、、、、；

从系统配置中获取分段折线方程的纵坐标、、；

用所述横坐标、、、、和纵坐标、、构造分段折线方程，对所述进行系数映射，通过下式计算输入图像当前位置的融合权重系数：

。

上述步骤d中参考值的计算方法为从系统配置中获取当前输入原始数据和的光电转换比率r，通过下式计算参考值，

。

上述步骤e中根据参考值，计算运动补偿系数的方法为：

从系统配置中获取开始补偿运动的阈值；

从系统配置中获取完全补偿运动的阈值；

通过下式计算得到所述运动补偿系数：

；

所述步骤f中得到动态范围扩展后的输出图像的方法为：

从系统配置中获取当前输入原始数据和的光电转换比率；

通过下式，利用、、、、计算当前位置像素的融合结果；

。

本发明另一方面还提供了一种用于rccb图像传感器的多帧动态范围扩展系统，所述的系统用于执行上述方法，其包括多个行缓存单元，所述多个行缓存单元均接入接口单元，且每个行缓存单元还接入各自的融合单元，其中一个融合单元接入输出单元，所述融合单元还均接入控制单元，所述接口单元用于接入传感器单元。

作为优选，进一步的技术方案是：所述行缓存单元为四个，分别为第一行缓存单元、第二行缓存单元、第三行缓存单元与第四行缓存单元，所述第一行缓存单元、第二行缓存单元均接入第一融合单元，所述第三行缓存单元与第四行缓存单元分别接入第二融合单元与第三融合单元，所述第一融合单元、第二融合单元与第三融合单元依次连接，并由第三融合单元接入所述输出单元；所述第一融合单元、第二融合单元与第三融合单元均接入控制单元。

更进一步的技术方案是：多个行缓存单元用于分别缓存和对齐图像传感器产生的多组不同光电转换率的图像数据，分别用、、、表示。

更进一步的技术方案是：所述第一融合单元用于检测和补偿中的运动亮度偏移，融合和图像数据，输出融合图像；所述第二融合单元用于检测和补偿中的运动亮度偏移，并融合和图像数据，输出融合图像；所述第三融合单元用于检测和补偿中的运动亮度偏移，并融合和图像数据，输出融合图像。

更进一步的技术方案是：所述图像传感器单元用于以行交替方式生成四种不同光电转换率的原始数据；所述接口单元用于连接图像传感器单元，将其产生的行交替图像数据分离并输入到系统；所述控制单元为系统提供必要的配置参数存储功能；所述输出单元根据一定的接口格式将最终融合图像输出到外部或下一级处理单元。

与现有技术相比，本发明的有益效果之一是：通过上述的方法与系统，可解决rccb图像传感器在多帧融合应用中常见的局部色彩偏差缺陷，处理过程只需要少量行缓存，并且可以直接在原始格式数据上进行处理，降低了系统延时，复杂度和成本，亦可方便地扩展到各种可编程器件及专用集成电路中应用，更适于在各类图像采集设备上推广应用。

附图说明

图1为用于说明本发明一个实施例的系统示意框图；

图2为用于说明本发明一个实施例中方法执行流程图；

图3为用于说明本发明在bayerrccb格式上进行亮度信息提取的原理图；

图4为用于说明本发明一个实施例的方法中计算融合系数过程中的分段折线映射原理示意图。

具体实施方式

下面结合附图对本发明作进一步阐述。

参考图1与2所示，本发明的一个实施例是一种用于rccb图像传感器的多帧动态范围扩展系统，在本实施例中，仅以4帧动态范围扩展系统为例加以说明，该系统包括图像传感器单元，接口单元、行缓存单元（1到4）、控制单元、融合单元（1到3）和输出单元组成的流水线结构，多个行缓存单元均接入接口单元，且每个行缓存单元还接入各自的融合单元，其中一个融合单元接入输出单元，并且融合单元还均接入控制单元，接口单元用于接入传感器单元。更为具体的是，如图1所示出的，行缓存单元为四个，分别为行缓存单元1、行缓存单元2、行缓存单元3与行缓存单元4，行缓存单元1、行缓存单元2均接入融合单元1，行缓存单元3与行缓存单元4分别接入融合单元2与融合单元3，融合单元1、融合单元2与融合单元3依次连接，并由融合单元3接入输出单元；融合单元1、融合单元2与融合单元3均接入控制单元。

在系统中，按照数据的流动次序，前述图像传感器单元生成4种不同光电转换率的原始数据，以行交替的方式经过接口单元，分离并流入所述的行缓存单元（1到4），进一步流入融合单元（1到3），最终通过输出单元流出所述系统；各个单元中除了图像传感器单元之外全部或者部分（至少包含融合单元1到3）以一个可编程器件的形式实现，其中一种表现形式是在某种通用处理芯片（cpu或dsp）上运行软件。

基于上述的结构的系统，另一种表现形式是在现场可编程门阵列器件（fpga）上实现专用图像处理流水线；基于前述的思路，还有一种表现形式是用专用集成电路芯片（asic）或片上系统（soc）实现专用图像处理流水线。

由上述系统结构以及图1示出的可知，接口单元用于实现与图像传感器单元的通信协议，在图像传感器与系统之间建立数据传输通道，将其产生的行交替图像数据分离为4组不同光电转换率的图像数据输入到系统。行缓存单元（1到4）用于缓存和对齐图像传感器产生的4组不同光电转换率的图像数据。融合单元（1到3）用于通过级联的方式检测和补偿各组较低光电转换率的图像数据中的运动亮度偏移，融合各组图像数据，得到最终融合图像，通过输出单元根据一定的接口格式输出到外部或下一级处理单元。前述图像传感器单元用于以行交替方式生成四种不同光电转换率的原始数据。控制单元为系统提供必要的配置参数存储功能；所述输出单元根据一定的接口格式将最终融合图像输出到外部或下一级处理单元。

基于上述的系统结构，本发明的另一实施例是一种用于rccb图像传感器的多帧动态范围扩展方法，该方法按照如下步骤执行：

s1、以行为单位，从输入获取两组原始图像数据和；

s2、从输入原始数据和中通过亮度提取过程提取亮度信息和；所述输入图像数据可来自于行缓存单元，也可来自于上一级融合单元的输出；

s3、根据所述亮度信息，以及和的光电转换比率，计算中每个像素的融合权重系数；

s4、根据亮度信息和，计算出反映和每个像素相对运动或亮度偏移严重程度的参考值

s5、根据参考值，计算运动补偿系数：

s6、根据融合权重系数和运动补偿系数，计算每个像素的融合结果，得到动态范围扩展后的输出图像。

优选地，上述步骤s2中，从输入原始数据中提取亮度信息的一种计算方法如下：

s21、用表示所述图像和亮度值数据中任意元素的坐标；

s22、原始数据i为按照bayerrccb格式周期性排列的像素平面，如果图3所示；

s23、计算原始数据中r/b位置像素的c通道值估计，计算像素的水平梯度和垂直梯度；

此处优选地是，上述乘法运算可以通过左位移实现；

s25、生成r/b位置的水平插值，垂直插值和中心插值；

此处优选地是，上述除法运算可以通过右位移实现；

s26、根据和选择、或作为缺少c位置的插值结果，构成完整的c平面；

此处优选地是，上述乘法运算可以通过左位移实现

s27、计算亮度信息y；

进一步地，利用所述亮度信息，以及从系统配置中获取的一组参数，计算中每个像素的融合权重系数；

优选地，在上述步骤s3中，融合权重系数的一种计算方法如下：

s31、用表示所述图像和亮度值数据中任意元素的坐标；

s32、用表示输入图像当前位置像素的亮度值；

s33、构造平面直角坐标系，横轴为亮度，纵轴为融合权重系数；

s34、从系统配置中获取分段折线方程的横坐标、、、、；

s35、从系统配置中获取分段折线方程的纵坐标、、；

s36、用所述横坐标、、、、和纵坐标、、构造分段折线方程，对所述进行系数映射，即：

计算输入图像当前位置的融合权重系数。

在上述步骤s4中，利用所述亮度信息和，计算反映当前位置每个像素相对运动或亮度偏移严重程度的参考值：从系统配置中获取当前输入原始数据和的光电转换比率r，计算参考值，即：。

在上述步骤s5中，计算运动补偿系数的方法为从系统配置中获取一组参数，具体为：

从系统配置中获取开始补偿运动的阈值；

从系统配置中获取完全补偿运动的阈值；

通过公式计算，即：

得到当前位置的运动补偿系数。

进一步地，在上述步骤s5中，根据所述融合权重系数和运动补偿系数，以及从系统配置中获取当前输入原始数据和的光电转换比率r；

在上述的步骤s6中，利用、、、、r计算当前位置像素的融合结果，即：

。

在本发明中，rccb图像传感器的多帧动态范围扩展方法可以方便地以各种集成电路的形式实现，包括asic、fpga等，整个系统具备很好的扩展性，方便集成其他的图像算法，能保证处理的运算实时性。

本发明实施例中，基于集成电路的实施例是以fpga为例子来实现的，本领域技术人员可以很方便地扩展到其他集成电路来实现。

除上述以外，还需要说明的是在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。