一种多路图像数据传输系统、方法及设备与流程

专利2022-05-09  113


本文件涉及计算机技术领域,尤其涉及一种多路图像数据传输系统、方法及设备。



背景技术:

现有的在双操作系统间进行camera图像数据传输,图像的分辨率、帧率、压缩率和传输速度强相关。通常的办法采用降低图像分辨率、或者降低图像帧率、或提高图像有损压缩率、或者组合使用达到减小单位时间图像数据的传输量,使传输到的目标系统得不到高分辨率和未压缩的原始图像数据。

如果对图像原始数据未压缩的传输,通常采用图像传输协议转换芯片,先将camera图像数据输入转换芯片,再由转换芯片输出到传输的目标系统上,但是通常一个转芯片只能接入一路camera图像数据和输出到目标系统上,如果需要实现两路camera图像数据的传输,常规方案通常选择多个图像传输协议转换芯片,也有通过单fpga芯片将2路camera数据按行交错合并后通过bt656协议传输的,该方案合并、拆分并恢复2路camera数据的过程比较复杂且耗时,且帧率难以保证,而且由于使用的是并行传输bt656协议,难以实现大分辨率、高帧率的高速传输。

因此,需要提供更加一种可实现单转换芯片传输多路camera数据的方案。



技术实现要素:

本说明书实施例提供一种多路图像数据传输系统,用以在能够准确区分帧数据所属的摄像机的基础上,实现单转换芯片传输多路camera数据。

本说明书实施例还提供一种多路图像数据传输系统,包括:第一系统芯片、第二系统芯片和转换芯片,其中:

所述第一系统芯片为第一操作系统的系统级芯片,所述第二系统芯片为第二操作系统的系统级芯片,所述第一系统芯片通过所述转换芯片与所述第二系统芯片连接;

所述第一系统芯片,用于采集多个摄像机的原始图像的帧数据,依据预约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记并发送至所述转换芯片,各摄像机对应的标记规则不同;

所述转换芯片,用于对接收到的帧数据进行信号转换处理并输出至所述第二系统芯片;

所述第二系统芯片,用于按照约定的标记规则,解析每帧数据的标记,确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

本说明书实施例还提供一种多路图像数据传输方法,应用于多操作系统,包括:

第一系统芯采集多个摄像机的原始图像的帧数据,依据预约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记并发送至所述转换芯片,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

转换芯片对接收到的帧数据进行信号转换处理并输出至所述第二系统芯片;

第二系统芯片按照约定的标记规则,解析每帧数据的标记,确定每帧数据所属的摄像机,得到各摄像机对应的图像数据,所述第二系统芯片为第二操作系统的系统级芯片。

本说明书实施例还提供一种多路图像数据传输方法,应用于第一操作系统的第一系统芯片,包括:

第一系统芯采集多个摄像机的原始图像的帧数据;

依据与第二系统芯片约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记,各摄像机对应的标记规则不同,所述第二系统芯片为第二操作系统的系统级芯片;

将标记完成的每帧数据通过同一转换芯片传输至所述第二系统芯片,由所述第二系统芯片解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

本说明书实施例还提供一种多路图像数据传输方法,应用于第二操作系统的第二系统芯片,包括:

第二系统芯片接收转换芯片传输的帧数据,所述帧数据为第一系统芯片采集的多个摄像机的原始图像数据中的帧数据并经过依据与所述第二系统芯片约定的各摄像机对应的标记规则进行标记处理得到,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

本说明书实施例还提供一种多路图像数据传输装置,包括:

采集模块,用于采集多个摄像机的原始图像的帧数据;

标记模块,用于依据与第二系统芯片约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记,各摄像机对应的标记规则不同,所述第二系统芯片为第二操作系统的系统级芯片;

传输模块,用于将标记完成的每帧数据通过同一转换芯片传输至所述第二系统芯片,由所述第二系统芯片解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

本说明书实施例还提供一种多路图像数据传输装置,包括:

接收模块,用于接收转换芯片传输的帧数据,所述帧数据为第一系统芯片采集的多个摄像机的原始图像数据中的帧数据并经过依据与所述第二系统芯片约定的各摄像机对应的标记规则进行标记处理得到,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

解析模块,用于解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

本说明书实施例还提供一种电子设备,其特征在于,包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上述的方法的步骤。

本说明书实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行如上述的方法的步骤。

本说明书一个实施例实现了,第一操作系统和第二操作系统通过约定为各摄像机配置不同的标记规则,并由第一操作系统依据标记规则对各摄像机采集的帧数据进行标记,使得第二操作系统能够准确区分帧数据所属的摄像机,从而实现单转换芯片传输多路camera数据的方案,而且能够准确区分帧数据所属的摄像机,具有节省时间消耗和内存开销,帧率无损耗的优点。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:

图1为本说明书一实施例提供的一种多路图像数据传输系统的结构示意图;

图2为本说明书一实施例提供的第一系统芯片的结构示意图;

图3为本说明书另一实施例提供的一种多路图像数据传输系统的结构示意图;

图4为本说明书一实施例提供的转换芯片标记帧数据的效果示意图;

图5为本说明书一实施例提供的一种多路图像数据传输方法的流程示意图;

图6为本说明书另一实施例提供的一种多路图像数据传输方法的流程示意图;

图7为本说明书又一实施例提供的一种多路图像数据传输方法的流程示意图;

图8为本说明书一实施例提供的一种多路图像数据传输装置的结构示意图;

图9为本说明书另一实施例提供的一种多路图像数据传输装置的结构示意图;

图10为本说明书一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本文件保护的范围。

以下结合附图,详细说明本说明书各实施例提供的技术方案。

图1为本说明书一实施例提供的一种多路图像数据传输系统的结构示意图,参见图1,所述系统具体可以包括:第一系统芯片、第二系统芯片和转换芯片,其中:

所述第一系统芯片为第一操作系统的系统级芯片,可记为soca,所述第二系统芯片为第二操作系统的系统级芯片,可记为socb,第一操作系统和第二操作系统可以是两个相同的操作系统,也可以是不同的操作系统,如linux android、linux linux;所述第一系统芯片通过所述转换芯片与所述第二系统芯片连接;

所述第一系统芯片,用于采集多个摄像机的原始图像的帧数据,依据预约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记并发送至所述转换芯片,各摄像机对应的标记规则不同;

其中,摄像机可以是指连续输出原始图像数据的图像传感器,具有数据量大帧率高特性,也可以是其他类型的摄像机,此处不再限定;原始图像的帧数据是指camera输出的未压缩的原始图像,通常为yuv格式、rgb格式。

所述转换芯片,用于对接收到的帧数据进行信号转换处理并输出至所述第二系统芯片;

所述第二系统芯片,用于按照约定的标记规则,解析每帧数据的标记,确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

对于各摄像机对应的标记规则,需要说明的是,其实际是第一操作系统与第二操作系统之间预先约定的,约定原则包括不同摄像机对应的标记规则不同,具体的标定规则可不再限定。

下面对本系统中各个部分进行详细说明:

参见图2,第一系统芯片包括:输出接口和多个图像信号处理器isp,其中:

各摄像机均有一一对应的isp;

所述多个isp,用于采集各自对应摄像机的原始图像数据并均通过所述输出接口输出至所述转换芯片。

以图2示出的双摄像机的场景为例,第一系统芯片包括图像信号处理器isp1和ips2,且isp1与camera1对应,isp2与camera2对应;isp1采集camera1的原始图像数据,isp2采集camera2的原始图像数据,并通过同一输出接口输出,即输出2路camera数据。

参见图3,所述转换芯片可以为hdmitomipi的芯片,相应地,第一系统芯片的输出接口可以为hdmi输出接口,第二系统芯片的输入接口为mipiphy接口,其中,所述hdmitomipi的芯片采用yuv格式输出,hdmi为用于传输视频和声音的高清多媒体接口,mipi为一种高速的视频传输接口,常用于camera和显示屏。

由此可知,本实施例采用非拼接方式传输,即soca采集camera1和camera2的原始图像帧数据并各自分别发往同一个hdmiout,互不干扰,然后通过转换芯片传输给socb。该方案的优点有:1.无需拼接和拆分帧数据,节省了时间消耗和内存开销,帧率几乎无损耗。2.兼容2个camera帧率不一致的情况,2个camera画面的同步性互不影响。

所述第一系统芯片,用于将各摄像机采集的yuv帧数据中指定位置的y值分别标记为指定值,各摄像机对应的标记规则所对应的指定位置和/或指定值不同。

下面以双摄像机为例,对第一系统芯片的标记过程进行示例性说明:

所述多个摄像机包括第一摄像机和第二摄像机,所述第一摄像机和所述第二摄像机对应标记规则不同;

示例1、标记规则为:指定位置相同,y值不同

所述第一系统芯片,用于基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第一指定位置的y值标记为第二指定值。

示例2、标记规则为:指定位置不同,y值相同

所述第一系统芯片,用于基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第一指定值。

示例3、标记规则为:指定位置不同,y值不同

所述第一系统芯片,用于基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第二指定值。

由此可知,本实施例针对socb端如何准确的区分出某一帧数据是属于camera1的还是camera2的问题,通过为各摄像机配置不同的标记规则,并由第一系统芯片依据标记规则对各摄像机采集的帧数据进行标记,实现从混合了多路camera数据流中准确的区分某一帧数据属于哪个摄像头,而无需拼接和拆分多路帧数据,节省了时间消耗和内存开销,帧率无损耗。

进一步地,第二系统芯片在接收到yuv帧数据后,为确保区分精确度,还对所述yuv帧数据中所述指定位置的值进行求平均处理,并将得到的平均值与参考值进行对比,得到所述yuv帧数据所属的摄像机。

在一具体示例中,hdmi在此采用hdmi协议支持的yuv422(或yuv444)格式输出,并在soca端对camera1采集的yuv数据的第一行(或其他行)y值标记为某个固定值(如0xff),对camera2采集的yuv数据第一行y值标记为区别于camera1的标记值(如0x00)。其中,对yuv帧数据的y分量第一行数据做标记如图4所示。

而且,需要说明的是,该方案camera的yuv数据的在整个传输链路中都是直接拷贝的,不存在转换的过程。对于硬件电路噪声、hdmi转换芯片色彩转换公式差异等因素的影响,可能导致的少许波动,通过对2路camera的每一帧yuv数据的第一行y值都作各自固定的差异性标记,所以不会受环境光线的影响,稳定性高,区分的准确率也非常高,几乎不会出现误判的情况。

在socb端接收到yuv帧数据后,只需要对每帧yuv数据的第一行y值计算其算数平均值,如果值接近0xff(camera1的标记值),则该帧数据属于camera1;如果值接近0x00(camera2的标记值),则该帧数据属于camera2;如果值接近0x7f,则无法区分,直接丢弃。其中,socb通过如下公式计算所述yuv帧数据中所述指定位置的指定值的平均值:

其中,表示socb端接收的yuv帧数据的第一行y值的平均值;n表示yuv帧数据第一行的像素点个数;yi表示yuv帧数据y分量第一行从左往右数,第i个y的值。

综上所述,本实施例中,第一操作系统和第二操作系统通过约定为各摄像机配置不同的标记规则,并由第一操作系统依据标记规则对各摄像机采集的帧数据进行标记,使得第二操作系统能够准确区分帧数据所属的摄像机,从而实现单转换芯片传输多路camera数据的方案,而且能够准确区分帧数据所属的摄像机,具有节省时间消耗和内存开销,帧率无损耗的优点。

图5为本说明书一实施例提供的一种多路图像数据传输方法的流程示意图,可由图1对于的系统执行,参见图5,所述方法具体可以包括如下步骤:

步骤502、第一系统芯采集多个摄像机的原始图像的帧数据,依据预约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记并发送至所述转换芯片,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

步骤504、转换芯片对接收到的帧数据进行信号转换处理并输出至所述第二系统芯片;

步骤506、第二系统芯片按照约定的标记规则,解析每帧数据的标记,确定每帧数据所属的摄像机,得到各摄像机对应的图像数据,所述第二系统芯片为第二操作系统的系统级芯片。

可选的,所述依据预约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记,包括:

第一系统芯片将各摄像机采集的yuv帧数据中指定位置的y值分别标记为指定值,各摄像机对应的标记规则所对应的指定位置和/或指定值不同。

可选的,所述多个摄像机包括第一摄像机和第二摄像机,所述第一摄像机和所述第二摄像机对应标记规则不同。

可选的,所述第一系统芯片将各摄像机采集的yuv帧数据中指定位置的y值分别标记为指定值,包括:

所述第一系统芯片基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第一指定位置的y值标记为第二指定值。

可选的,所述第一系统芯片将各摄像机采集的yuv帧数据中指定位置的y值分别标记为指定值,包括:

所述第一系统芯片基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第一指定值。

可选的,所述第一系统芯片将各摄像机采集的yuv帧数据中指定位置的y值分别标记为指定值,包括:

所述第一系统芯片基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第二指定值。

可选的,所述第二系统芯片按照约定的标记规则,解析每帧数据的标记,确定每帧数据所属的摄像机,包括:

所述第二系统芯片接收到yuv帧数据后,对所述yuv帧数据中所述指定位置的值进行求平均处理,并将得到的平均值与参考值进行对比,得到所述yuv帧数据所属的摄像机。

可选的,所述第二系统芯片通过如下公式计算所述yuv帧数据中所述指定位置的指定值的平均值:

其中,表示socb端接收的yuv帧数据的第一行y值的平均值;n表示yuv帧数据第一行的像素点个数;yi表示yuv帧数据y分量第一行从左往右数,第i个y的值。

由此可知,本实施例中,第一操作系统和第二操作系统通过约定为各摄像机配置不同的标记规则,并由第一操作系统依据标记规则对各摄像机采集的帧数据进行标记,使得第二操作系统能够准确区分帧数据所属的摄像机,从而实现单转换芯片传输多路camera数据的方案,而且能够准确区分帧数据所属的摄像机,具有节省时间消耗和内存开销,帧率无损耗的优点。

图6为本说明书另一实施例提供的一种多路图像数据传输方法的流程示意图,可由图1中的第一系统芯片执行,参见图6,所述方法具体可以包括如下步骤:

步骤602、第一系统芯采集多个摄像机的原始图像的帧数据;

步骤604、依据与第二系统芯片约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记,各摄像机对应的标记规则不同,所述第二系统芯片为第二操作系统的系统级芯片;

步骤606、将标记完成的每帧数据通过同一转换芯片传输至所述第二系统芯片,由所述第二系统芯片解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

可选的,所述转换芯片为hdmitomipi的芯片,所述hdmitomipi的芯片采用yuv格式输出,步骤604的实现方式可以为:

所述第一系统芯片,用于将各摄像机采集的yuv帧数据中指定位置的y值分别标记为指定值,各摄像机对应的标记规则所对应的指定位置和/或指定值不同。

具体可以示例为:

所述第一系统芯片基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第一指定位置的y值标记为第二指定值。

或者,

所述第一系统芯片基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第一指定值。

或者,

所述第一系统芯片基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第二指定值。

图7为本说明书又一实施例提供的一种多路图像数据传输方法的流程示意图,可由图1中的第二系统芯片执行,参见图7,所述方法具体可以包括如下步骤:

步骤702、第二系统芯片接收转换芯片传输的帧数据,所述帧数据为第一系统芯片采集的多个摄像机的原始图像数据中的帧数据并经过依据与所述第二系统芯片约定的各摄像机对应的标记规则进行标记处理得到,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

步骤704、解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。具体地:

所述第二系统芯片接收到yuv帧数据后,对所述yuv帧数据中所述指定位置的值进行求平均处理,并将得到的平均值与参考值进行对比,得到所述yuv帧数据所属的摄像机。

其中,所述第二系统芯片通过如下公式计算所述yuv帧数据中所述指定位置的指定值的平均值:

其中,表示socb端接收的yuv帧数据的第一行y值的平均值;n表示yuv帧数据第一行的像素点个数;yi表示yuv帧数据y分量第一行从左往右数,第i个y的值。

由此可知,本实施例中,第一操作系统和第二操作系统通过约定为各摄像机配置不同的标记规则,并由第一操作系统依据标记规则对各摄像机采集的帧数据进行标记,使得第二操作系统能够准确区分帧数据所属的摄像机,从而实现单转换芯片传输多路camera数据的方案,而且能够准确区分帧数据所属的摄像机,具有节省时间消耗和内存开销,帧率无损耗的优点。

图8为本说明书一实施例提供的一种多路图像数据传输装置的结构示意图,参见图8,所述装置具体可以包括:

采集模块801,用于采集多个摄像机的原始图像的帧数据;

标记模块802,用于依据与第二系统芯片约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记,各摄像机对应的标记规则不同,所述第二系统芯片为第二操作系统的系统级芯片;

传输模块803,用于将标记完成的每帧数据通过同一转换芯片传输至所述第二系统芯片,由所述第二系统芯片解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

可选的,所述转换芯片为hdmitomipi的芯片,所述hdmitomipi的芯片采用yuv格式输出,标记模块802,具体用于:

将各摄像机采集的yuv帧数据中指定位置的y值分别标记为指定值,各摄像机对应的标记规则所对应的指定位置和/或指定值不同。

具体可以示例为:

标记模块802基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第一指定位置的y值标记为第二指定值。

或者,

标记模块802基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第一指定值。

或者,

标记模块802基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第二指定值。

图9为本说明书另一实施例提供的一种多路图像数据传输装置的结构示意图,参见图9,所述装置具体可以包括:

接收模块901,用于接收转换芯片传输的帧数据,所述帧数据为第一系统芯片采集的多个摄像机的原始图像数据中的帧数据并经过依据与所述第二系统芯片约定的各摄像机对应的标记规则进行标记处理得到,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

解析模块902,用于解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。具体地:

解析模块902接收到yuv帧数据后,对所述yuv帧数据中所述指定位置的值进行求平均处理,并将得到的平均值与参考值进行对比,得到所述yuv帧数据所属的摄像机。

其中,解析模块902通过如下公式计算所述yuv帧数据中所述指定位置的指定值的平均值:

其中,表示socb端接收的yuv帧数据的第一行y值的平均值;n表示yuv帧数据第一行的像素点个数;yi表示yuv帧数据y分量第一行从左往右数,第i个y的值。

由此可知,本实施例中,第一操作系统和第二操作系统通过约定为各摄像机配置不同的标记规则,并由第一操作系统依据标记规则对各摄像机采集的帧数据进行标记,使得第二操作系统能够准确区分帧数据所属的摄像机,从而实现单转换芯片传输多路camera数据的方案,而且能够准确区分帧数据所属的摄像机,具有节省时间消耗和内存开销,帧率无损耗的优点。

另外,对于上述装置实施方式而言,由于其与方法实施方式基本相似,所以描述的比较简单,相关之处参见方法实施方式的部分说明即可。而且,应当注意的是,在本说明书的装置的各个部件中,根据其要实现的功能而对其中的部件进行了逻辑划分,但是,本说明书不受限于此,可以根据需要对各个部件进行重新划分或者组合。

图10为本说明书一实施例提供的一种电子设备的结构示意图,参见图10,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成多路图像数据传输装置。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。

网络接口、处理器和存储器可以通过总线系统相互连接。总线可以是isa(industrystandardarchitecture,工业标准体系结构)总线、pci(peripheralcomponentinterconnect,外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

存储器用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器可能包含高速随机存取存储器(random-accessmemory,ram),也可能还包括非易失性存储器(non-volatilememory),例如至少1个磁盘存储器。

处理器,用于执行所述存储器存放的程序,并具体执行:

采集多个摄像机的原始图像的帧数据;

依据与第二系统芯片约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记,各摄像机对应的标记规则不同,所述第二系统芯片为第二操作系统的系统级芯片;

将标记完成的每帧数据通过同一转换芯片传输至所述第二系统芯片,由所述第二系统芯片解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

或者,

接收转换芯片传输的帧数据,所述帧数据为第一系统芯片采集的多个摄像机的原始图像数据中的帧数据并经过依据与所述第二系统芯片约定的各摄像机对应的标记规则进行标记处理得到,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

上述如本说明书图8或9所示实施例揭示的多路图像数据传输装置或管理者(master)节点执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。

多路图像数据传输装置还可执行图6和7示出的方法,并实现管理者节点执行的方法。

基于相同的发明创造,本说明书实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行图1和5对应的实施例提供的多路图像数据传输方法。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitorymedia),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。


技术特征:

1.一种多路图像数据传输系统,其特征在于,包括:第一系统芯片、第二系统芯片和转换芯片,其中:

所述第一系统芯片为第一操作系统的系统级芯片,所述第二系统芯片为第二操作系统的系统级芯片,所述第一系统芯片通过所述转换芯片与所述第二系统芯片连接;

所述第一系统芯片,用于采集多个摄像机的原始图像的帧数据,依据预约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记并发送至所述转换芯片,各摄像机对应的标记规则不同;

所述转换芯片,用于对接收到的帧数据进行信号转换处理并输出至所述第二系统芯片;

所述第二系统芯片,用于按照约定的标记规则,解析每帧数据的标记,确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

2.根据权利要求1所述的系统,其特征在于,所述第一系统芯片包括:输出接口和多个图像信号处理器isp,其中:

各摄像机均有一一对应的isp;

所述多个isp,用于采集各自对应摄像机的原始图像数据并均通过所述输出接口输出至所述转换芯片。

3.根据权利要求1所述的系统,其特征在于,所述输出接口为hdmi输出接口,所述转换芯片为hdmitomipi的芯片,所述hdmitomipi的芯片采用yuv格式输出;

所述第一系统芯片,用于将各摄像机采集的yuv帧数据中指定位置的y值分别标记为指定值,各摄像机对应的标记规则所对应的指定位置和/或指定值不同。

4.根据权利要求3所述的系统,其特征在于,所述多个摄像机包括第一摄像机和第二摄像机,所述第一摄像机和所述第二摄像机对应标记规则不同;

所述第一系统芯片,用于基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第一指定位置的y值标记为第二指定值。

5.根据权利要求3所述的系统,其特征在于,所述多个摄像机包括第一摄像机和第二摄像机,所述第一摄像机和所述第二摄像机对应标记规则不同;

所述第一系统芯片,用于基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第一指定值。

6.根据权利要求3所述的系统,其特征在于,所述多个摄像机包括第一摄像机和第二摄像机,所述第一摄像机和所述第二摄像机对应标记规则不同;

所述第一系统芯片,用于基于所述第一摄像机对应的标记规则,将所述第一摄像机采集的yuv帧数据中第一指定位置的y值标记为第一指定值,将所述第二摄像机采集的yuv帧数据中第二指定位置的y值标记为第二指定值。

7.根据权利要求3所述的系统,其特征在于,

所述第二系统芯片,用于接收到yuv帧数据后,对所述yuv帧数据中所述指定位置的值进行求平均处理,并将得到的平均值与参考值进行对比,得到所述yuv帧数据所属的摄像机。

8.根据权利要求3所述的系统,其特征在于,所述第二系统芯片通过如下公式计算所述yuv帧数据中所述指定位置的指定值的平均值:

其中,表示socb端接收的yuv帧数据的第一行y值的平均值;n表示yuv帧数据第一行的像素点个数;yi表示yuv帧数据y分量第一行从左往右数,第i个y的值。

9.一种多路图像数据传输方法,其特征在于,包括:

第一系统芯采集多个摄像机的原始图像的帧数据,依据预约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记并发送至所述转换芯片,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

转换芯片对接收到的帧数据进行信号转换处理并输出至所述第二系统芯片;

第二系统芯片按照约定的标记规则,解析每帧数据的标记,确定每帧数据所属的摄像机,得到各摄像机对应的图像数据,所述第二系统芯片为第二操作系统的系统级芯片。

10.一种多路图像数据传输方法,其特征在于,应用于第一操作系统的第一系统芯片,包括:

第一系统芯片采集多个摄像机的原始图像的帧数据;

依据与第二系统芯片约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记,各摄像机对应的标记规则不同,所述第二系统芯片为第二操作系统的系统级芯片;

将标记完成的每帧数据通过同一转换芯片传输至所述第二系统芯片,由所述第二系统芯片解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

11.一种多路图像数据传输方法,其特征在于,应用于第二操作系统的第二系统芯片,包括:

第二系统芯片接收转换芯片传输的帧数据,所述帧数据为第一系统芯片采集的多个摄像机的原始图像数据中的帧数据并经过依据与所述第二系统芯片约定的各摄像机对应的标记规则进行标记处理得到,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

12.一种多路图像数据传输装置,其特征在于,包括:

采集模块,用于采集多个摄像机的原始图像的帧数据;

标记模块,用于依据与第二系统芯片约定的各摄像机对应的标记规则,分别对各摄像机的每帧数据进行标记,各摄像机对应的标记规则不同,所述第二系统芯片为第二操作系统的系统级芯片;

传输模块,用于将标记完成的每帧数据通过同一转换芯片传输至所述第二系统芯片,由所述第二系统芯片解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

13.一种多路图像数据传输装置,其特征在于,包括:

接收模块,用于接收转换芯片传输的帧数据,所述帧数据为第一系统芯片采集的多个摄像机的原始图像数据中的帧数据并经过依据与所述第二系统芯片约定的各摄像机对应的标记规则进行标记处理得到,所述第一系统芯片为第一操作系统的系统级芯片,各摄像机对应的标记规则不同;

解析模块,用于解析每帧数据的标记确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。

14.一种电子设备,其特征在于,包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求9至11中任一项所述的方法的步骤。

15.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行如权利要求9至11中任一项所述的方法的步骤。

技术总结
本说明书实施例提供一种多路图像数据传输系统、方法及设备。系统包括:第一系统芯片,用于采集多个摄像机的原始图像的帧数据并通过HDMI分别发送至同一转换芯片,在发送给转换芯片前对不同摄像头的帧数据依据约定作对应的标记;转换芯片,用于将第一系统芯片输出的HDMI信号转换为MIPI信号,并传输给第二系统芯片;第二系统芯片,用于按照约定的标记规则,解析每帧数据的标记,确定每帧数据所属的摄像机,得到各摄像机对应的图像数据。由此可实现单转换芯片传输多路camera数据的方案,第二系统芯片使用单个ISP即可采集到多路摄像头数据,且能够准确区分帧数据所属的摄像机,具有节省时间消耗和内存开销,帧率无损耗的优点。

技术研发人员:徐朝庆;何胜远;王梁
受保护的技术使用者:杭州海康威视数字技术股份有限公司
技术研发日:2021.04.30
技术公布日:2021.08.03

转载请注明原文地址:https://doc.8miu.com/read-1874.html

最新回复(0)