一种高空坠物识别方法及系统与流程

专利2022-05-09  28


本申请涉及数据处理技术领域,尤其是涉及一种高空坠物识别方法及系统。



背景技术:

高空坠物一直是一个重点隐患,随机性强,危害性大,并且,随着高层建筑数量的增加,高空坠物出现的频次也越来越高,目前多采用推断和数据计算的方式来确定。



技术实现要素:

本申请提供一种高空坠物识别方法及系统,可以通过对视频的分析来确定高空坠物的发生位置。

第一方面,本申请提供了一种高空坠物识别方法,包括:

响应于获取到的视频流,将视频流转换为图像并在时间序列上将图像按照生成时间排序;

在时间序列上,抽取两张图像,分别记为第一图像和第二图像,第一图像和第二图像之间的图像数量等于预设数量;

对第一图像进行解析,识别出其中的监控区域,记为第一监控区域并对第一监控区域进行编号,第一监控区域的数量为一个或者多个;

对第二图像进行解析,识别出其中的监控区域,记为第二监控区域并对第一监控区域进行编号,第二监控区域的数量与第一监控区域的数量相同;

将第二监控区域和与之对应的第一监控区域进行相似度判定;以及

在判定为不相似时记录下第二图像的生成时间以及该第二监控区域的编号;

其中,时间序列上的图像均需要被抽取后与其他的图像进行对比。

通过采用上述技术方案,可以通过对生成时间的不同的两张图像的对比来发现异常,从而确定发生异常的区域,能够快速将与发生高空坠物相关联的位置识别出来。

在第一方面的一种可能的实现方式中,在识别监控区域的过程中,通过色差识别图像中物品的边缘,并依据识别出的边缘构建二维识别模型;

在将第二监控区域和与之对应的第一监控区域进行对比的过程中,对比分别属于这两个监控区域的两个二维识别模型的形似程度。

通过采用上述技术方案,使用色差的方式来构建模型,进而确定监控区域是否发生了变化,这种构建模型的方式处理速度快,有助于提高确定发生位置的准确度。

在第一方面的一种可能的实现方式中,分别属于第二监控区域和与之对应的第一监控区域的两个二维识别模型进行对比的过程中,如果这两个二维识别模型的相似程度超过设定相似度值,则判定这两个二维识别模型的关系为相似。

通过采用上述技术方案,可以通过模糊判定的方式来提高判定的准确程度。

在第一方面的一种可能的实现方式中,在分别属于第二监控区域和与之对应的第一监控区域的两个二维识别模型进行对比的过程中,还包括:

选取二维识别模型上的多个点作为特征点;

计算同一个特征点在第二监控区域上和与第二监控区域对应的第一监控区域上的距离,该距离小于设定距离参考值时将该特征点记为重合点;

计算重合点在全部特征点中的占比;以及

在占比小于设定占比参考值时,判定第二监控区域和与之对应的第一监控区域的关系为不相似。

通过采用上述技术方案,使用特征点来来进行相似程度的判断,能够进一步缩短判断的时间,提高判断的准确程度。

第二方面,本申请提供了一种高空坠物识别装置,包括:

第一处理单元,用于响应于获取到的视频流,将视频流转换为图像并在时间序列上将图像按照生成时间排序;

第一选取单元,用于在时间序列上,抽取两张图像,分别记为第一图像和第二图像,第一图像和第二图像之间的图像数量等于预设数量;

第一解析单元,用于对第一图像进行解析,识别出其中的监控区域,记为第一监控区域并对第一监控区域进行编号,第一监控区域的数量为一个或者多个;

第二解析单元,用于对第二图像进行解析,识别出其中的监控区域,记为第二监控区域并对第一监控区域进行编号,第二监控区域的数量与第一监控区域的数量相同;

第一判定单元,用于将第二监控区域和与之对应的第一监控区域进行相似度判定;以及

标记单元,用于在判定为不相似时记录下第二图像的生成时间以及该第二监控区域的编号;

其中,时间序列上的图像均需要被抽取后与其他的图像进行对比。

在第二方面的一种可能的实现方式中,还包括:

边缘模型构建单元,用于在识别监控区域的过程中,通过色差识别图像中物品的边缘,并依据识别出的边缘构建二维识别模型;

第二判定单元,用于在将第二监控区域和与之对应的第一监控区域进行对比的过程中,对比分别属于这两个监控区域的两个二维识别模型的形似程度。

在第二方面的一种可能的实现方式中,分别属于第二监控区域和与之对应的第一监控区域的两个二维识别模型进行对比的过程中,如果这两个二维识别模型的相似程度超过设定相似度值,则判定这两个二维识别模型的关系为相似。

在第二方面的一种可能的实现方式中,还包括:

第二选取单元,用于在分别属于第二监控区域和与之对应的第一监控区域的两个二维识别模型进行对比的过程中,选取二维识别模型上的多个点作为特征点;

第一计算单元,用于计算同一个特征点在第二监控区域上和与第二监控区域对应的第一监控区域上的距离,该距离小于设定距离参考值时将该特征点记为重合点;

第二计算单元,用于计算重合点在全部特征点中的占比;以及

第三判定单元,用于在占比小于设定占比参考值时,判定第二监控区域和与之对应的第一监控区域的关系为不相似。

第三方面,本申请提供了一种高空坠物识别系统,所述系统包括:

一个或多个存储器,用于存储指令;以及

一个或多个处理器,用于从所述存储器中调用并运行所述指令,执行如第一方面及第一方面任意可能的实现方式中所述的高空坠物识别方法。

第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质包括:

程序,当所述程序被处理器运行时,如第一方面及第一方面任意可能的实现方式中所述的高空坠物识别方法被执行。

第五方面,本申请提供了一种计算机程序产品,包括程序指令,当所述程序指令被计算设备运行时,如第一方面及第一方面任意可能的实现方式中所述的高空坠物识别方法被执行。

第六方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于实现上述各方面中所涉及的功能,例如,生成,接收,发送,或处理上述方法中所涉及的数据和/或信息。

该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。

在一种可能的设计中,该芯片系统还包括存储器,该存储器,用于保存必要的程序指令和数据。该处理器和该存储器可以解耦,分别设置在不同的设备上,通过有线或者无线的方式连接,或者处理器和该存储器也可以耦合在同一个设备上。

附图说明

图1是本申请实施例提供的一种图像的对比关系示意图。

图2是本申请实施例提供的一种第一监控区域和第二监控区域的对应关系示意图。

图3是本申请实施例提供的一种使用二维识别模型进行相似度判定的过程示意图。

图4是本申请实施例提供的一种二维识别模型的生成过程示意图。

图5是本申请实施例提供的一种二维识别模型的相似度判定过程示意图。

具体实施方式

以下结合附图,对本申请中的技术方案作进一步详细说明。

本申请实施例公开的高空坠物识别方法,应用于视频监控系统中的分析服务器,该视频监控系统由图像采集系统和分析服务器两部分组成,图像采集系统负责采集视频流,分析服务器负责对图像采集系统采集的视频流进行分析。

本申请实施例公开的一种高空坠物识别方法,该方法包括以下步骤:

s101,响应于获取到的视频流,将视频流转换为图像并在时间序列上将图像按照生成时间排序;

s102,在时间序列上,抽取两张图像,分别记为第一图像和第二图像,第一图像和第二图像之间的图像数量等于预设数量;

s103,对第一图像进行解析,识别出其中的监控区域,记为第一监控区域并对第一监控区域进行编号,第一监控区域的数量为一个或者多个;

s104,对第二图像进行解析,识别出其中的监控区域,记为第二监控区域并对第一监控区域进行编号,第二监控区域的数量与第一监控区域的数量相同;

s105,将第二监控区域和与之对应的第一监控区域进行相似度判定;以及

s106,在判定为不相似时记录下第二图像的生成时间以及该第二监控区域的编号;

其中,时间序列上的图像均需要被抽取后与其他的图像进行对比。

工作过程中,图像采集系统会将采集到的视频流发送给分析服务器,对于分析服务器而言,在接收到图像采集系统发送的视频流后,就会开始对视频流进行分析,具体的说,请参阅图1,图中使用虚线将需要进行对比的图像连接起来,在步骤s101中,分析服务器会收到视频流,在收到视频流后,分析服务器会将进行转换,视频流经过转换后,会形成多张图像,对于这些经过转换得到的图像,在时间序列上,会将其按照生成时间进行排序,视频流是连续生成的,因此,图像的转换也是连续不断的。

接着执行步骤s102,该步骤中,会在时间序列上抽取两张图像,并且将这两张图像分别记为第一图像和第二图像,第一图像和第二图像之间存在多张图像,存在于第一图像和第二图像之间的图像的数量是一个定值,例如可以是五张、十张或者其他的数值。应理解,该数值是一个预设的,是一个定值,并且可以根据修改指令进行修改。

然后执行步骤s103,请参阅图2,该步骤中,会对第一图像进行解析,识别出其中的监控区域,记为第一监控区域,并对第一监控区域进行编号。第一监控区域的数量为一个或者多个,具体的说,对于一张图像,可以将其图上的区域分为监控区域和非监控区域,在高空坠物这个识别场景中,监控区域就是图像中的窗户区域,非监控区域就是图像中的非窗户区域。

对于监控区域的识别,可以使用预设的识别模型算法或者经过定向训练的神经网络进行识别,识别过程可以使用如下方式,众所周知,窗户主要由框体和玻璃两部分组成,而框体和玻璃的形状都是比较规则的,在大多数情况下,都是矩形,那么在识别的过程中,就可以使用形状识别的方式来进行识别。

继续执行步骤s104,该步骤中,会对第二图像进行解析,识别出其中的监控区域,记为第二监控区域并对第二监控区域进行编号,第二监控区域的数量与第一监控区域的数量是相同的,具体的说,对于一张图像,可以将其图上的区域分为监控区域和非监控区域,在高空坠物这个识别场景中,监控区域就是图像中的窗户区域,非监控区域就是图像中的非窗户区域。

对于监控区域的识别,可以使用预设的识别模型算法或者经过定向训练的神经网络进行识别,识别过程可以使用如下方式,众所周知,窗户主要由框体和玻璃两部分组成,而框体和玻璃的形状都是比较规则的,在大多数情况下,都是矩形,那么在识别的过程中,就可以使用形状识别的方式来进行识别。

另外,基于矩形的变形,例如正方形、平行四边形和矩形等,都可以纳入形状识别的范围内。

对第一图像和第二图像进行处理后,开始进行后续的对比,对比在步骤s105中执行,该步骤中,会对第二监控区域和与之对应的第一监控区域进行相似度判定,举例说明,

第一图像中存在三个监控区域,为了描述方便,将其进行编号,分别为11、12和13;第二图像中同样存在三个监控区域,为了描述方便,也将其进行编号,分别为21、22和23。

在对比过程中,编号为11和编号为21的监控区域进行对比,编号为12和编号为22的监控区域进行对比,编号为13和编号为23的监控区域进行对比。

相似度判定的结果有两个,一个是相似,一个是不相似,在判定结果为不相似时,执行步骤s106,该步骤中,会在判定为不相似时记录下第二图像的生成时间以及该第二监控区域的编号,具体的说,就是将时间和位置记录下来,其中时间对应的是第二图像的生成时间,位置对应的是第二监控区域的编号。

在时间序列上,视频流处理后生成的图像均需要被抽取后与其他的图像进行对比,举例说明,设定第一图像和第二图像间的图像的数量为三张,那么第一张图像需要和第五张图像进行对比,第二张图像需要和第六张图像进行对比,第三张图像需要和第七张图像进行对比,第四张图像需要和第八张图像进行对比,第五张图像需要和第九张图像进行对比,以此类推。

应理解,对于高空坠物的出现,有时间和地点两个参考量,时间对应的是监控区域发生变化的时间,地点对应的是监控区域的编号,通过这两个参考量,就可以对可能发生高空坠物的潜在区域识别出来。

以一个具体的场景为例,某处高层建筑处发生了高空坠物的情况,此时工作人员会从分析服务器中获取分析数据,通过分析数据来确定潜在区域,潜在区域的数量可以是一个,也可以多个,那么在后续的询问和取证过程中,就可以进行快速定位,从而最终确定具体的楼层和房间。

在实际的情况中,高空坠物大多由人引发,打开窗户后扔下物体,因此对于窗户进行监控是更加合适的,如果窗户出现了变动,就会被列入到疑似范围内。

相比于计算坠落物体的速度等方式,这种方式明显是更加合适的,因为对于一个发生的高空坠物事件,可能存在一个或者多个与之相关联的监控区域,对这些监控区域的位置和高度进行初步判断,然后通过走访和询问的方式就可以确定具体的监控区域。

作为申请提供的高空坠物识别方法的一种具体实施方式,请参阅图3,在识别监控区域的过程中,通过色差识别图像中物品的边缘,并依据识别出的边缘构建二维识别模型,并在将第二监控区域和与之对应的第一监控区域进行对比的过程中,对比分别属于这两个监控区域的两个二维识别模型的形似程度。

应理解,对于一个建筑物而言,其主体的颜色、窗户门框的颜色和玻璃的颜色是存在差别的,利用这种颜色上的差别能够很容易的进行识别并构建与之对应的二维识别模型。

例如,可以将图像看作是一个一个的像素点组成的,这些像素点的颜色相同或者不同,每个像素点的颜色可以用数值进行显示,请参阅图4,那么就可以将图像转换为一个矩阵,矩阵中各位置处的数字是不同的,使用卷积核进行特征提取,就可以构建出一个基于色差的二维识别模型,多次提取时,使用不同的卷积核。

得到两个二维识别模型后,对这两个二维识别模型的相似程度进行判断,相似度判定的结果有两个,一个是相似,一个是不相似,在判定结果为不相似时,执行步骤s106,该步骤中,会在判定为不相似时记录下第二图像的生成时间以及该第二监控区域的编号,具体的说,就是将时间和位置记录下来,其中时间对应的是第二图像的生成时间,位置对应的是第二监控区域的编号。

二维识别模型的相似程度可以用重合度来进行表示,设定一个重合度阈值,如果重合度高于这个阈值,就认为这两个二维识别模型是相似的,反之则是不相似的。

当然,也可以使用特征点的方式来进行判断,应理解,二维识别模型是由线段组成的,那么两条线段的连接点就可以作为特征点来使用,该种情况下,特征点对应的就是窗户上的边角处,如果窗户的边角处发生了移动,说明窗户发生了移动。

判定时,可以使用距离判定的方法,直接计算这两个相关联的特征点之间的距离,同时考虑到采集误差和计算误差等影响因素,如果计算出来的距离值在允许范围内,说明窗户没有发生移动,反之,则说明窗户发生了移动。

此外,另一种方法也是可行的,请参阅图5,具体步骤如下:

s201,选取二维识别模型上的多个点作为特征点;

s202,计算同一个特征点在第二监控区域上和与第二监控区域对应的第一监控区域上的距离,该距离小于设定距离参考值时将该特征点记为重合点;

s203,计算重合点在全部特征点中的占比;以及

s204,在占比小于设定占比参考值时,判定第二监控区域和与之对应的第一监控区域的关系为不相似。

具体的说,就是会选取多个特征点,然后计算这些特征点是否发生了移动,发生移动的特征点记为重合点,然后计算重合点在全部特征点中的占比,举例说明,

选取的特征点的数量为十组,经过计算胡,其中存在9个重合点,重合点在全部特征点中的占比为90%,设定的占比参考值为85%,此时认为该监控区域是没有发生变化的。

本申请实施例还提供了一种高空坠物识别装置,包括:

第一处理单元,用于响应于获取到的视频流,将视频流转换为图像并在时间序列上将图像按照生成时间排序;

第一选取单元,用于在时间序列上,抽取两张图像,分别记为第一图像和第二图像,第一图像和第二图像之间的图像数量等于预设数量;

第一解析单元,用于对第一图像进行解析,识别出其中的监控区域,记为第一监控区域并对第一监控区域进行编号,第一监控区域的数量为一个或者多个;

第二解析单元,用于对第二图像进行解析,识别出其中的监控区域,记为第二监控区域并对第一监控区域进行编号,第二监控区域的数量与第一监控区域的数量相同;

第一判定单元,用于将第二监控区域和与之对应的第一监控区域进行相似度判定;以及

标记单元,用于在判定为不相似时记录下第二图像的生成时间以及该第二监控区域的编号;

其中,时间序列上的图像均需要被抽取后与其他的图像进行对比。

进一步地,还包括:

边缘模型构建单元,用于在识别监控区域的过程中,通过色差识别图像中物品的边缘,并依据识别出的边缘构建二维识别模型;

第二判定单元,用于在将第二监控区域和与之对应的第一监控区域进行对比的过程中,对比分别属于这两个监控区域的两个二维识别模型的形似程度。

进一步地,分别属于第二监控区域和与之对应的第一监控区域的两个二维识别模型进行对比的过程中,如果这两个二维识别模型的相似程度超过设定相似度值,则判定这两个二维识别模型的关系为相似。

进一步地,还包括:

第二选取单元,用于在分别属于第二监控区域和与之对应的第一监控区域的两个二维识别模型进行对比的过程中,选取二维识别模型上的多个点作为特征点;

第一计算单元,用于计算同一个特征点在第二监控区域上和与第二监控区域对应的第一监控区域上的距离,该距离小于设定距离参考值时将该特征点记为重合点;

第二计算单元,用于计算重合点在全部特征点中的占比;以及

第三判定单元,用于在占比小于设定占比参考值时,判定第二监控区域和与之对应的第一监控区域的关系为不相似。

在一个例子中,以上任一装置中的单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个专用集成电路(applicationspecificintegratedcircuit,asic),或,一个或多个数字信号处理器(digitalsignalprocessor,dsp),或,一个或者多个现场可编程门阵列(fieldprogrammablegatearray,fpga),或这些集成电路形式中至少两种的组合。

再如,当装置中的单元可以通过处理元件调度程序的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessingunit,cpu)或其它可以调用程序的处理器。再如,这些单元可以集成在一起,以片上系统(system-on-a-chip,soc)的形式实现。

在本申请中可能出现的对各种消息/信息/设备/网元/系统/装置/动作/操作/流程/概念等各类客体进行了赋名,可以理解的是,这些具体的名称并不构成对相关客体的限定,所赋名称可随着场景,语境或者使用习惯等因素而变更,对本申请中技术术语的技术含义的理解,应主要从其在技术方案中所体现/执行的功能和技术效果来确定。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

还应理解,在本申请的各个实施例中,第一、第二等只是为了表示多个对象是不同的。例如第一时间窗和第二时间窗只是为了表示出不同的时间窗。而不应该对时间窗的本身产生任何影响,上述的第一、第二等不应该对本申请的实施例造成任何限制。

还应理解,在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例还提供了一种高空坠物识别系统,所述系统包括:

一个或多个存储器,用于存储指令;以及

一个或多个处理器,用于从所述存储器中调用并运行所述指令,执行如上述内容中所述的高空坠物识别方法。

本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括指令,当该指令被执行时,以使得该高空坠物识别系统执行对应于上述方法的高空坠物识别系统的操作。

本申请实施例还提供了一种芯片系统,该芯片系统包括处理器,用于实现上述内容中所涉及的功能,例如,生成,接收,发送,或处理上述方法中所涉及的数据和/或信息。

该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。

上述任一处提到的处理器,可以是一个cpu,微处理器,asic,或一个或多个用于控制上述的反馈信息传输的方法的程序执行的集成电路。

在一种可能的设计中,该芯片系统还包括存储器,该存储器,用于保存必要的程序指令和数据。该处理器和该存储器可以解耦,分别设置在不同的设备上,通过有线或者无线的方式连接,以支持该芯片系统实现上述实施例中的各种功能。或者,该处理器和该存储器也可以耦合在同一个设备上。

可选地,该计算机指令被存储在存储器中。

可选地,该存储器为该芯片内的存储单元,如寄存器、缓存等,该存储器还可以是该终端内的位于该芯片外部的存储单元,如rom或可存储静态信息和指令的其他类型的静态存储设备,ram等。

可以理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。

非易失性存储器可以是rom、可编程只读存储器(programmablerom,prom)、可擦除可编程只读存储器(erasableprom,eprom)、电可擦除可编程只读存储器(electricallyeprom,eeprom)或闪存。

易失性存储器可以是ram,其用作外部高速缓存。ram有多种不同的类型,例如静态随机存取存储器(staticram,sram)、动态随机存取存储器(dynamicram,dram)、同步动态随机存取存储器(synchronousdram,sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram,ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram,esdram)、同步连接动态随机存取存储器(synchlinkdram,sldram)和直接内存总线随机存取存储器。

本具体实施方式的实施例均为本申请的较佳实施例,并非依此限制本申请的保护范围,故:凡依本申请的结构、形状、原理所做的等效变化,均应涵盖于本申请的保护范围之内。

转载请注明原文地址:https://doc.8miu.com/read-350241.html

最新回复(0)