本发明涉及高空抛物技术领域,尤其涉及一种高空抛物目标识别比较的方法及装置。
背景技术:
高空抛物总体来说是偶发事件,在视频检测中,大量被检测到的是噪音(如摄像机本身的噪音、光影变化带来的噪音)和非抛物物体(如飞鸟、飞虫、落叶等。由于摄像头镜头的反光或附近其它光源影响,飞虫经常在摄像头附近出没;飞鸟也时常会出现在画面中)。因此,在高空抛物检测场景中,抛物的识别和确认是问题的关键。如果不能解决该问题,会出现大量的误检,把噪音点和非抛物物体识别为抛物,造成错误报警。
图像处理的一般处理方法都包括膨胀、腐蚀、降噪等处理。这些处理方法在高空抛物检测的诸多专利中也多有提及。然而,对于高空抛物检测来说,抛物目标位于高楼层时,图片中抛物目标很小(如图1所示)。这种情况下,再进行腐蚀或降噪处理,会导致抛物从图片中消失。
另外,即使使用上述的图像处理方法,对于较大噪音点(比如光影变化引起的,图2)仍然无法去除。这种噪音点连续出现的概率很小,但是仍然要大于真实抛物出现的概率,如果不加以处理,每天都会有十几条甚至几十条的误报。
对于飞鸟、飞虫等非抛物干扰来说,使用上述通用的图像处理的方法就难以解决了。
技术实现要素:
本发明实施例提供一种高空抛物目标识别比较的方法及装置,解决现有技术中图像处理无法去除噪声和非抛物干扰的问题。
第一方面,本发明实施例提供一种高空抛物目标识别比较的方法,包括:
获取待识别的视频的多帧图像,对所述多帧图像中的连续两帧图像进行识别得到目标点;
使用单分类降噪模型去除所述连续两帧图像中的噪声点;
使用单分类非抛物模型去除所述连续两帧图像中的非抛物体;
将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比和颜色对比,确定出所述连续两帧图像中的抛物目标。
上述技术方案中,由于使用单分类降噪模型和单分类非抛物模型去除了图像中的噪声点和非抛物体,能够减少图像中给的干扰,提高抛物目标识别的准确率。
可选的,所述对所述多帧图像中的连续两帧图像进行识别得到目标点,包括:
将所述多帧图像进行灰度化处理;
将灰度化的多帧图像中的连续两帧图像进行差值计算,确定出目标点。
可选的,根据下述步骤确定所述单分类降噪模型:
获取标记有噪声点的训练样本;
对所述标记有噪声点的训练样本中的每帧图像提取特征;
将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到所述单分类降噪模型。
可选的,根据下述步骤确定所述单分类非抛物模型,包括:
获取标记有非抛物的训练样本;
对所述标记有非抛物的训练样本中的每帧图像提取特征;
将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到所述单分类非抛物模型。
可选的,所述对每帧图像提取特征,包括:
以噪声点或非抛物的连通域覆盖的像素点个数来确定每帧图像中噪声点或非抛物的面积;
确定每帧图像中每个噪声点或非抛物的面积与周长的比值;
依据颜色空间确定每帧图像中每个噪声点或非抛物与背景的色调差;
将每帧图像中的每个噪声点或非抛物的面积、每个噪声点或非抛物的面积与周长的比值以及每个噪声点或非抛物与背景的色调差确定为每帧图像的特征。
可选的,所述将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比,包括:
针对所述连续两帧图像,若前一帧图像中的目标的面积小于等于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第一面积范围内时,确定所述前一帧图像中目标与所述后一帧图像中目标为连续的抛物目标;
若前一帧图像中的目标的面积大于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第二面积范围内时,确定所述前一帧图像中目标与所述后一帧图像中目标为连续的抛物目标;
所述面积阈值、所述第一面积范围和所述第二面积范围是根据抛物实验数据确定。
可选的,所述将去除噪声点和非抛物体的连续两帧图像中的目标进行颜色对比,包括:
针对所述连续两帧图像,通过灰度图的帧差,提取到所述目标的轮廓;
依据所述目标在灰度图中的轮廓从所述灰度图对应的彩色图中确定所述目标在彩色图中的轮廓;
计算所述连续两帧图像中目标的轮廓的图片相似度,若图片相似度满足相似度阈值,则确定所述连续两帧图像中的目标为连续的抛物目标。
第二方面,本发明实施例提供一种高空抛物目标识别比较的装置,包括:
获取单元,用于获取待识别的视频的多帧图像;
处理单元,用于对所述多帧图像中的连续两帧图像进行识别得到目标点;使用单分类降噪模型去除所述连续两帧图像中的噪声点;使用单分类非抛物模型去除所述连续两帧图像中的非抛物体;将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比和颜色对比,确定出所述连续两帧图像中的抛物目标。
可选的,所述处理单元具体用于:
将所述多帧图像进行灰度化处理;
将灰度化的多帧图像中的连续两帧图像进行差值计算,确定出目标点。
可选的,所述处理单元具体用于:
根据下述步骤确定所述单分类降噪模型:
获取标记有噪声点的训练样本;
对所述标记有噪声点的训练样本中的每帧图像提取特征;
将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到所述单分类降噪模型。
可选的,所述处理单元具体用于:
根据下述步骤确定所述单分类非抛物模型,包括:
获取标记有非抛物的训练样本;
对所述标记有非抛物的训练样本中的每帧图像提取特征;
将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到所述单分类非抛物模型。
可选的,所述处理单元具体用于:
以噪声点或非抛物的连通域覆盖的像素点个数来确定每帧图像中噪声点或非抛物的面积;
确定每帧图像中每个噪声点或非抛物的面积与周长的比值;
依据颜色空间确定每帧图像中每个噪声点或非抛物与背景的色调差;
将每帧图像中的每个噪声点或非抛物的面积、每个噪声点或非抛物的面积与周长的比值以及每个噪声点或非抛物与背景的色调差确定为每帧图像的特征。
可选的,所述处理单元具体用于:
针对所述连续两帧图像,若前一帧图像中的目标的面积小于等于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第一面积范围内时,确定所述前一帧图像中目标与所述后一帧图像中目标为连续的抛物目标;
若前一帧图像中的目标的面积大于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第二面积范围内时,确定所述前一帧图像中目标与所述后一帧图像中目标为连续的抛物目标;
所述面积阈值、所述第一面积范围和所述第二面积范围是根据抛物实验数据确定。
可选的,所述处理单元具体用于:
针对所述连续两帧图像,通过灰度图的帧差,提取到所述目标的轮廓;
依据所述目标在灰度图中的轮廓从所述灰度图对应的彩色图中确定所述目标在彩色图中的轮廓;
计算所述连续两帧图像中目标的轮廓的图片相似度,若图片相似度满足相似度阈值,则确定所述连续两帧图像中的目标为连续的抛物目标。
第三方面,本发明实施例还提供一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述高空抛物目标识别比较的方法。
第四方面,本发明实施例还提供一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行上述高空抛物目标识别比较的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种抛物目标的示意图;
图2为本发明实施例提供的一种噪声点的示意图;
图3为本发明实施例提供的一种系统架构的示意图;
图4为本发明实施例提供的一种高空抛物目标识别比较的方法的流程示意图;
图5为本发明实施例提供的一种高空抛物目标识别比较的方法的流程示意图;
图6为本发明实施例提供的一种单分类降噪模型训练的流程示意图;
图7为本发明实施例提供的一种单分类非抛物模型训练的流程示意图;
图8为本发明实施例提供的一种连续目标面积对比的流程示意图;
图9为本发明实施例提供的一种连续目标颜色分布对比的流程示意图;
图10为本发明实施例提供的一种高空抛物目标识别比较的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图3为本发明实施例提供的一种系统架构。如图3所示,该系统架构可以为服务器100,该服务器100可以包括处理器110、通信接口120和存储器130。
其中,通信接口120用于与其它终端设备进行通信,收发该其它终端设备传输的信息,实现通信。
处理器110是服务器100的控制中心,利用各种接口和线路连接整个服务器100的各个部分,通过运行或执行存储在存储器130内的软件程序/或模块,以及调用存储在存储器130内的数据,执行服务器100的各种功能和处理数据。可选地,处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块,处理器110通过运行存储在存储器130的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据业务处理所创建的数据等。此外,存储器130可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是,上述图3所示的结构仅是一种示例,本发明实施例对此不做限定。
基于上述描述,图4详细的示出了本发明实施例提供的一种高空抛物目标识别比较的方法的流程,该流程可以由高空抛物目标识别比较的装置执行。
如图4所示,该流程具体包括:
步骤401,获取待识别的视频的多帧图像,对所述多帧图像中的连续两帧图像进行识别得到目标点。
在本发明实施例中,可以获取监控视频,得到视频的每一帧图像。识别目标点时,主要是将多帧图像进行灰度化处理,然后将灰度化的多帧图像中的连续两帧图像进行差值计算,确定出目标点。
步骤402,使用单分类降噪模型去除所述连续两帧图像中的噪声点。
在本发明实施例中,噪音在高空抛物视频中常出现,如果肉眼观看视频往往不易察觉,但是如果进行帧差则很容易发现很多噪音点,特别是当存在光影变化的时候。比较而言,抛物是偶发事件,实际发生的抛物事件的视频不容易采集到大量数据,而人工故意抛物来采集数据是难以真正覆盖大部分抛物种类的。针对这种情况,可以使用单分类方法来学习噪音的特点,即使不知道抛物是什么样的,至少知道噪音是什么样的。这样就可以把噪音去除。
可以使用的单分类方法包括孤立森林、单类支持向量机(one-class-svm)等。采集各种情况下的防高空抛物监控视频,通过帧差法提取噪音点数据。使用噪音点的面积大小、形状、颜色等作为其特征进行模型训练。
噪音点的面积大小,有多种求法,比如用噪音点的外接矩形来计算面积。为了区分噪音与真实抛物,这里以噪音点连通域覆盖的像素点个数来衡量。形状特征用面积与周长的比值来表征。噪音点形状一般不规则,有时会出现空心(比如摄像机晃动引起的噪音);因此,这两个特征是定义噪音点的良好特征。
光影变化引起的噪音一般会在亮度上出现波动,而颜色不会发生变化。也就是说,在hsv颜色空间(色调(h)、饱和度(s)、明度(v)),噪音点的色调会与背景的色调比较相近。因此,原则上,通过比较检测到的目标的色调与该位置正常情况下色调就可以排除噪音。因此,可以把噪音点与背景的色调差也作为特征,参与单分类机器学习训练。
以上提及的特征主要是使用传统机器学习来进行训练。当然,也可以使用深度学习方法(卷积神经网络)来对噪音进行单分类学习。但是一般来说,深度学习需要更多的计算资源,成本较高。如果想降低成本,需要进行模型轻量化操作。从单分类思想上来说,与前面所述是一致的。
具体的,在训练单分类降噪模型时,需要获取标记有噪声点的训练样本;然后对标记有噪声点的训练样本中的每帧图像提取特征;最后将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到单分类降噪模型。
步骤403,使用单分类非抛物模型去除所述连续两帧图像中的非抛物体。
基于上述单分类降噪模型的技术构思,还可以训练单分类非抛物模型,获取标记有非抛物的训练样本;对标记有非抛物的训练样本中的每帧图像提取特征;将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到单分类非抛物模型。
上述提取特征的过程具体可以为:以噪声点或非抛物的连通域覆盖的像素点个数来确定每帧图像中噪声点或非抛物的面积;确定每帧图像中每个噪声点或非抛物的面积与周长的比值;依据颜色空间确定每帧图像中每个噪声点或非抛物与背景的色调差;将每帧图像中的每个噪声点或非抛物的面积、每个噪声点或非抛物的面积与周长的比值以及每个噪声点或非抛物与背景的色调差确定为每帧图像的特征。
在采集到足够的非抛物物体(飞鸟、飞虫等)的训练样本的情况下,可以采用与噪音去除相同的方式进行处理,即使用单分类方法学习到各类非抛物物体的特点。
另外,非抛物物体的运动方式一般与抛物下落有所区别,在使用单分类模型识别失败的情况下,可以根据自由落体运动的特点进行区分。具体请参见现有技术中的高空抛物起点确定方案。
步骤404,将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比和颜色对比,确定出所述连续两帧图像中的抛物目标。
上述面积对比主要是针对连续两帧图像,若前一帧图像中的目标的面积小于等于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第一面积范围内时,确定前一帧图像中目标与后一帧图像中目标为连续的抛物目标;若前一帧图像中的目标的面积大于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第二面积范围内时,确定前一帧图像中目标与后一帧图像中目标为连续的抛物目标。
其中,面积阈值、第一面积范围和第二面积范围是根据抛物实验数据确定。
在进行颜色对比时,针对连续两帧图像,通过灰度图的帧差,提取到目标的轮廓;依据目标在灰度图中的轮廓从灰度图对应的彩色图中确定目标在彩色图中的轮廓;计算连续两帧图像中目标的轮廓的图片相似度,若图片相似度满足相似度阈值,则确定连续两帧图像中的目标为连续的抛物目标。其中,相似度阈值可以依据经验设置。
在具体实施过程中,前后两个时刻被检测到的目标,需要确认是否为同一个目标,因此需要进行目标比较。比较方法包括目标面积、颜色分布。
首先考虑抛物面积的变化。
正常情况下,抛物下落过程中,距离摄像头越来越近,在图像中的面积越来越大。前一时刻的目标面积为at,后一时刻的目标面积为at 1,则at 1>at。但是,当抛物很小或距离摄像头很远的情况下,检测误差很大,不能严格约束面积。可以认为前后时刻(一般为前后两帧图片)的抛物识别到的面积比值在一定范围内是合理的。比如该参数设定为r(r<1),则合理的面积比值范围为[r,1/r](第一面积范围)。也就是说,当前后两帧的目标面积比值位于该范围,则认为是同一目标。
当目标足够大(at>athre,athre为面积阈值)时,目标面积误差影响较小,一般可以认为at 1/at>1,并且at 1/at≈k。k为不考虑误差时,根据图像测距(像素距离到真实距离的映射换算)计算出的比值。
一个水平方向像素点代表的实际长度lx依赖于该像素竖直方向的坐标y,可表示为:
该像素点在该平面竖直方向的用于计算实际距离的坐标y′可表示为:
y′=γlx(y)……………………………………(2)
公式(1)和(2)中的三个参数可以通过图片中像素长度和实际长度的多点标定求得。
为方便说明,假设一个实际高为h,宽为w的长方形物体在楼面上平移,在摄像头画面上表现为一个像素高为hpix,宽为wpix。它在画面上的中心坐标为(x,y)。那么,可得:
h=γlx(y-0.5hpix)-γlx(y 0.5hpix)…………………(4)
由(3)可得:
由(4)解二次方程可得:
那么,t 1和t时刻的面积比为:
考虑到误差的存在,at 1/at应该在以k为中心的范围内,即[k-εk,k εk](第二面积范围)。ε是小于1的正数。
上述三个参数(r、athre、ε)需要通过抛物实验进行确定。
接下来,还需要比较前后两帧目标的颜色分布差异。通过灰度图的帧差可以提取到目标轮廓,然后取出原彩色图中相同位置的目标。接下来,实质上就是图片相似度的比较,有多种算法可以实现,比如三通道颜色柱状图比较、灰度柱状图比较等,也可以使用深度学习方法,同样要考虑计算资源的消耗,要对模型进行轻量化操作。
为了更好的解释本发明实施例,下面将在具体实施场景下来描述上述高空抛物目标识别的流程,具体如下:
如图5所示,具体步骤如下:
步骤501、对每张视频帧的图片做灰度化处理。
步骤502、将灰度化的前后两帧作差,获取目标点。
步骤503、使用单分类降噪模型去除噪音点。
其中,如图6所示,单分类降噪模型的训练过程具体如下:
步骤601、选取没有抛物、非抛物物体(飞鸟、飞虫等)的视频,获取足够多的噪音样本。
步骤602、以噪音点连通域覆盖的像素点个数来计算噪音点的面积。
步骤603、计算每个噪音点面积和周长的比值。
步骤604、在hsv颜色空间,计算噪音点与背景的色调差。
步骤605、使用提取的特征,对噪音点进行单分类(孤立森林、one-class-svm等)模型训练。
步骤606、在测试集上进行测试,确保达到足够的准确率和召回率,得到训练好的单分类降噪模型。
步骤504、使用单分类非抛物模型去除非抛物物体。
其中,如图7所示单分类非抛物模型的训练过程具体过程如下:
步骤701、选取存在非抛物物体(飞鸟、飞虫等)的视频,获取足够多的非抛物样本。
步骤702、以非抛物连通域覆盖的像素点个数来计算非抛物的面积。
步骤703、计算每个非抛物面积和周长的比值。
步骤704、在hsv颜色空间,计算非抛物与背景的色调差。
步骤705、使用提取的特征,对非抛物进行单分类(孤立森林、one-class-svm等)模型训练。
步骤706、在测试集上进行测试,确保达到足够的准确率和召回率。
步骤505、对去除噪音和非抛物后的目标进行相邻时间点的面积对比,符合面积对比条件的目标为抛物目标。
具体的连续目标面积对比的过程可以如图8所示,具体包括:
步骤801、若前一帧图像中的目标的面积小于等于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第一面积范围内时,确定前一帧图像中目标与后一帧图像中目标为连续的抛物目标。
前一时刻的目标的面积为at,后一时刻的目标的面积为at 1。如果面积at小于等于athre(面积阈值),则判断at 1/at是否在[r,1/r]范围(第一面积范围)内,0<r<1。如果是,则认为是连续的抛物目标。
步骤802、若前一帧图像中的目标的面积大于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第二面积范围内时,确定前一帧图像中目标与后一帧图像中目标为连续的抛物目标。
如果目标at面积大于athre,使用公式(7)求得at 1/at的标准比值k,再考虑误差系数,判断at 1/at是否在[k-εk,k εk]范围(第二面积范围)内。如果是,则认为是连续的抛物目标。
步骤803、统计足够多的抛物实验数据,可求得这三个参数(r、athre、ε)。
步骤506、对去除噪音和非抛物后的目标进行相邻时间点的颜色对比,符合颜色对比条件的目标为抛物目标。
其中,连续目标颜色对比的具体流程可以如图9所示,具体如下:
步骤901、通过灰度图的帧差提取到目标轮廓。
步骤902、取出目标在原彩色图中相同位置的目标。
步骤903、进行图片相似度的比较,比如三通道颜色柱状图比较、灰度柱状图比较等,也可以使用深度学习方法,要考虑计算资源的消耗,需要对模型进行轻量化操作。
步骤507、经过步骤503~步骤506过滤后得到的目标,被认为是抛物目标。
在本发明实施例中,获取待识别的视频的多帧图像,对多帧图像中的连续两帧图像进行识别得到目标点,使用单分类降噪模型去除连续两帧图像中的噪声点,使用单分类非抛物模型去除连续两帧图像中的非抛物体,将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比和颜色对比,确定出连续两帧图像中的抛物目标。由于使用单分类降噪模型和单分类非抛物模型去除了图像中的噪声点和非抛物体,能够减少图像中给的干扰,提高抛物目标识别的准确率。
基于相同的技术构思,图10示例性的示出了本发明实施例提供的一种高空抛物目标识别比较的装置的结构,该装置可以执行高空抛物目标识别比较的流程。
如图10所示,该装置具体包括:
获取单元1001,用于获取待识别的视频的多帧图像;
处理单元1002,用于对所述多帧图像中的连续两帧图像进行识别得到目标点;使用单分类降噪模型去除所述连续两帧图像中的噪声点;使用单分类非抛物模型去除所述连续两帧图像中的非抛物体;将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比和颜色对比,确定出所述连续两帧图像中的抛物目标。
可选的,所述处理单元1002具体用于:
将所述多帧图像进行灰度化处理;
将灰度化的多帧图像中的连续两帧图像进行差值计算,确定出目标点。
可选的,所述处理单元1002具体用于:
根据下述步骤确定所述单分类降噪模型:
获取标记有噪声点的训练样本;
对所述标记有噪声点的训练样本中的每帧图像提取特征;
将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到所述单分类降噪模型。
可选的,所述处理单元1002具体用于:
根据下述步骤确定所述单分类非抛物模型,包括:
获取标记有非抛物的训练样本;
对所述标记有非抛物的训练样本中的每帧图像提取特征;
将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到所述单分类非抛物模型。
可选的,所述处理单元1002具体用于:
以噪声点或非抛物的连通域覆盖的像素点个数来确定每帧图像中噪声点或非抛物的面积;
确定每帧图像中每个噪声点或非抛物的面积与周长的比值;
依据颜色空间确定每帧图像中每个噪声点或非抛物与背景的色调差;
将每帧图像中的每个噪声点或非抛物的面积、每个噪声点或非抛物的面积与周长的比值以及每个噪声点或非抛物与背景的色调差确定为每帧图像的特征。
可选的,所述处理单元1002具体用于:
针对所述连续两帧图像,若前一帧图像中的目标的面积小于等于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第一面积范围内时,确定所述前一帧图像中目标与所述后一帧图像中目标为连续的抛物目标;
若前一帧图像中的目标的面积大于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第二面积范围内时,确定所述前一帧图像中目标与所述后一帧图像中目标为连续的抛物目标;
所述面积阈值、所述第一面积范围和所述第二面积范围是根据抛物实验数据确定。
可选的,所述处理单元1002具体用于:
针对所述连续两帧图像,通过灰度图的帧差,提取到所述目标的轮廓;
依据所述目标在灰度图中的轮廓从所述灰度图对应的彩色图中确定所述目标在彩色图中的轮廓;
计算所述连续两帧图像中目标的轮廓的图片相似度,若图片相似度满足相似度阈值,则确定所述连续两帧图像中的目标为连续的抛物目标。
基于相同的技术构思,本发明实施例还提供了一种计算设备,包括:
存储器,用于存储程序指令;
处理器,用于调用存储器中存储的程序指令,按照获得的程序执行上述高空抛物目标识别比较的方法。
基于相同的技术构思,本发明实施例还提供了一种计算机可读非易失性存储介质,包括计算机可读指令,当计算机读取并执行计算机可读指令时,使得计算机执行上述高空抛物目标识别比较的方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
1.一种高空抛物目标识别比较的方法,其特征在于,包括:
获取待识别的视频的多帧图像,对所述多帧图像中的连续两帧图像进行识别得到目标点;
使用单分类降噪模型去除所述连续两帧图像中的噪声点;
使用单分类非抛物模型去除所述连续两帧图像中的非抛物体;
将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比和颜色对比,确定出所述连续两帧图像中的抛物目标。
2.如权利要求1所述的方法,其特征在于,所述对所述多帧图像中的连续两帧图像进行识别得到目标点,包括:
将所述多帧图像进行灰度化处理;
将灰度化的多帧图像中的连续两帧图像进行差值计算,确定出目标点。
3.如权利要求1所述的方法,其特征在于,根据下述步骤确定所述单分类降噪模型:
获取标记有噪声点的训练样本;
对所述标记有噪声点的训练样本中的每帧图像提取特征;
将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到所述单分类降噪模型。
4.如权利要求3所述的方法,其特征在于,根据下述步骤确定所述单分类非抛物模型,包括:
获取标记有非抛物的训练样本;
对所述标记有非抛物的训练样本中的每帧图像提取特征;
将提取的特征输入到预设的单分类模型中进行训练,直到满足预设的训练目标后,得到所述单分类非抛物模型。
5.如权利要求4所述的方法,其特征在于,所述对每帧图像提取特征,包括:
以噪声点或非抛物的连通域覆盖的像素点个数来确定每帧图像中噪声点或非抛物的面积;
确定每帧图像中每个噪声点或非抛物的面积与周长的比值;
依据颜色空间确定每帧图像中每个噪声点或非抛物与背景的色调差;
将每帧图像中的每个噪声点或非抛物的面积、每个噪声点或非抛物的面积与周长的比值以及每个噪声点或非抛物与背景的色调差确定为每帧图像的特征。
6.如权利要求1至5任一项所述的方法,其特征在于,所述将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比,包括:
针对所述连续两帧图像,若前一帧图像中的目标的面积小于等于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第一面积范围内时,确定所述前一帧图像中目标与所述后一帧图像中目标为连续的抛物目标;
若前一帧图像中的目标的面积大于面积阈值,则在确定后一帧图像中目标的面积与前一帧图像中目标的面积的比值在第二面积范围内时,确定所述前一帧图像中目标与所述后一帧图像中目标为连续的抛物目标;
所述面积阈值、所述第一面积范围和所述第二面积范围是根据抛物实验数据确定。
7.如权利要求1至5任一项所述的方法,其特征在于,所述将去除噪声点和非抛物体的连续两帧图像中的目标进行颜色对比,包括:
针对所述连续两帧图像,通过灰度图的帧差,提取到所述目标的轮廓;
依据所述目标在灰度图中的轮廓从所述灰度图对应的彩色图中确定所述目标在彩色图中的轮廓;
计算所述连续两帧图像中目标的轮廓的图片相似度,若图片相似度满足相似度阈值,则确定所述连续两帧图像中的目标为连续的抛物目标。
8.一种高空抛物目标识别比较的装置,其特征在于,包括:
获取单元,用于获取待识别的视频的多帧图像;
处理单元,用于对所述多帧图像中的连续两帧图像进行识别得到目标点;使用单分类降噪模型去除所述连续两帧图像中的噪声点;使用单分类非抛物模型去除所述连续两帧图像中的非抛物体;将去除噪声点和非抛物体的连续两帧图像中的目标进行面积对比和颜色对比,确定出所述连续两帧图像中的抛物目标。
9.一种计算设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读非易失性存储介质,其特征在于,包括计算机可读指令,当计算机读取并执行所述计算机可读指令时,使得计算机执行如权利要求1至7任一项所述的方法。
技术总结