本发明涉及智能勘灾应急指挥现场视频信息处理技术领域,具体地指一种基于目标聚类的智能勘灾现场视频帧高效压缩系统及方法。
背景技术:
在电力应急抢修指挥领域,现场会部署很多基于智能感知的监控设备,负责现场数据的收集,并通过无线网络,把现场数据实时上传给指挥中心,中心服务器对视频数据进行解压、分析和挖掘,实现指挥中心对现场的实时管控,为应急指挥提供决策支持。
目前,视频监控是电力应急抢修数据采集的重要手段之一,完成海量高清视频数据的实时上传直接制约应急抢修的时效性。在灾害现场,考虑到无线信道可靠性下降、宽带资源有限、视频清晰度下降等因素,对海量高清视频数据的可靠实时传输带来了极大的挑战,亟需研究一种高倍率视频帧压缩方法,减少视频流中冗余信息的传输,实现视频流数据的可靠快速传输。
然而,现有的视频压缩方法,如h.264/h.265,均是基于内容相似性来实现内容压缩的,在应用过程中对硬件存储资源的依赖性大,压缩率低,进一步会限制视频解压缩过程中的吞吐率。因此,研究智能勘灾现场适用于固定位置监控设备的高倍率视频帧压缩方法,保证视频流压缩率,减少视频数据传输量,增加视频解压缩吞吐量,实现视频流的安全可靠快速传输,为应急抢修指挥中心辅助决策提供支持,具有重要意义。
技术实现要素:
本发明的目的就是要提供一种基于目标聚类的智能勘灾现场视频帧高效压缩系统及方法,本发明能克服现有视频压缩技术在应用过程中对硬件存储资源的依赖性大,压缩率不高、视频解压缩吞吐量低的问题。
为实现此目的,本发明所设计的基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:它包括帧序列提取模块、视频帧分割模块、视频帧判断模块、目标帧聚类模块和视频帧压缩模块;
帧序列提取模块用于将预设时间段内的监控视频数据转换成对应的监控视频帧序列;
视频帧分割模块用于采用基于灰度阈值分割的改进分水岭算法,对监控视频帧序列进行图像分割,形成前景数据块和目标数据块;
视频帧判断模块用于按照帧序列的顺序对监控视频帧序列的每一帧进行判断,判断监控视频帧序列的各帧是否含有目标数据块,含有目标数据块的帧构成按照时间顺序排列的监控视频目标帧集合,不含有目标数据块的帧构成按照时间顺序排列的监控视频背景帧集合,监控视频目标帧集合中含有前景数据块和目标数据块,监控视频背景帧集合中只含有前景数据块;
目标帧聚类模块用于对监控视频目标帧集合中的目标帧进行聚类分析,将含有相同目标的目标帧划分到一个子集合中,根据聚类结果对监控视频帧序列进行分段处理,使得每一段视频帧包含相同目标;
视频帧压缩模块用于对包含相同目标的视频帧段,采用基于目标帧合并的视频帧压缩方法进行压缩处理,得到目标帧压缩数据;视频帧压缩模块还用于对监控视频背景帧集合采用基于背景帧合并的视频帧压缩方法进行压缩处理,得到背景帧压缩数据。
本发明的有益效果:
本发明通过图像分割,目标聚类等技术将视频帧分为目标数据块集合和背景数据块结合,分别进行压缩,由于目标数据块集合内块间相似度极高,背景数据块集合内块间也具有高的相似度,采用分开压缩的方法有助于消除信息冗余,提高压缩率、加快压缩速度,进一步提高视频数据传输速度。
附图说明
图1为本发明的结构示意图;
图2为本发明实施例中的基于目标聚类的智能勘灾现场视频帧高效压缩方法流程图;
图3为本发明实施例中的基于阈值分割的图像区域分割办法流程图;
图4为本发明实施例中的基于h.264编码规则的视频压缩方法流程图;
其中,1—帧序列提取模块、2—视频帧分割模块、3—视频帧判断模块、4—目标帧聚类模块、5—视频帧压缩模块、6—视频重构模块。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明:
如图1所示基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:它包括帧序列提取模块1、视频帧分割模块2、视频帧判断模块3、目标帧聚类模块4和视频帧压缩模块5;
帧序列提取模块1用于将预设时间段内的监控视频数据转换成对应的监控视频帧序列;
视频帧分割模块2用于采用基于灰度阈值分割的改进分水岭算法,对监控视频帧序列进行图像分割,形成前景数据块和目标数据块,这种方式运行过程简单稳定,还可以获得较好的图像分割结果;
视频帧判断模块3用于按照帧序列的顺序对监控视频帧序列的每一帧进行判断,判断监控视频帧序列的各帧是否含有目标数据块,含有目标数据块的帧构成按照时间顺序排列的监控视频目标帧集合,不含有目标数据块的帧构成按照时间顺序排列的监控视频背景帧集合,监控视频目标帧集合中含有前景数据块和目标数据块,监控视频背景帧集合中只含有前景数据块,根据图像分割结果,将视频帧分为前景数据块和目标数据块,分开进行压缩,可以有效地加快压缩速度;
目标帧聚类模块4用于对监控视频目标帧集合中的目标帧进行聚类分析,将含有相同目标的目标帧划分到一个子集合中,根据聚类结果对监控视频帧序列进行分段处理,使得每一段视频帧包含相同目标,对目标帧进行聚类,通过聚类将包含同一类目标的帧序列划分在一个子集中,有助于较快后续压缩速度;
视频帧压缩模块5用于对包含相同目标的视频帧段,采用基于目标帧合并的视频帧压缩方法进行压缩处理,得到目标帧压缩数据;视频帧压缩模块5还用于对监控视频背景帧集合采用基于背景帧合并的视频帧压缩方法进行压缩处理,得到背景帧压缩数据,将目标帧和背景帧分开进行压缩,目的是减少数据冗余,加快压缩速度和效率。
上述技术方案中,它还包括视频重构模块6,所述视频重构模块6用于目标帧压缩数据和背景帧压缩数据进行反量化和解码;依据其不同的数据块划分规则,进行图像帧重组,得到完整的目标帧集合和背景帧集合;接着,通过叠加目标帧数据和背景帧数据中的边界帧,删除冗余数据,便可完成整段监控视频数据的重构。
上述技术方案中,视频帧分割模块2采用基于灰度阈值分割的改进分水岭算法,对监控视频帧序列进行图像分割,形成前景数据块和目标数据块的具体方法为:
首先,对输入的视频帧序列进行中值滤波去噪预处理;
然后,对滤波去噪后的帧图像序列,依次采用改进的分水岭模型进行图像阈值分割,分割过程为:遍历图像,利用sobel算子获得帧图像序列每个像素的梯度数据,进行泛洪水处理,从最小梯度开始进行泛洪处理,标记盆地区域,区域合并,将像素点个数小于给定阈值的区域进行合并处理,根据像素点灰度进行帧图像序列的初始标记,一个标记点就代表灰度在预设范围内的的一块区域的中心点,然后根据标记点之间的欧式距离,进行区域合并,合并之后生成新的标记点进行超级变更,并更新标记区域表,最终得到图像的二分值图,二分值图的白色区域为目标数据块,黑色区域为前景数据块,利用改进分水岭模型对图像进行分割,根据分割结果,将视频帧分为前景数据块和目标数据块,分开进行压缩,可以有效地加快压缩速度。
上述技术方案中,所述目标帧聚类模块4根据聚类结果对监控视频帧序列进行分段处理的具体过程为:提取监控视频帧序列中相邻目标数据块的sift(scale-invariantfeaturetransform,尺度不变特征变换)特征点,确定目标的sift特征向量;根据相邻目标数据块sift特征点匹配个数,确定两者之间的相似度;根据预设的相似度阈值提取关键帧,对于目标数据块提取所有的关键帧序列;以关键帧为分割线,将监控视频帧序列按序分割成若干个不同的视频段,每一段中包含相同目标,对图像进行sift特征提取,用于目标聚类。
上述技术方案中,视频帧压缩模块5用于对包含相同目标的视频帧段,采用基于目标帧合并的视频帧压缩方法利用h.264编码规则进行量化和编码进行压缩处理,得到目标帧压缩数据。
视频帧压缩模块5还用于对监控视频背景帧集合采用基于背景帧合并的视频帧压缩方法利用h.264编码规则进行量化和编码进行压缩处理,得到目标帧压缩数据。
上述技术方案中,所述视频重构模块6用于目标帧压缩数据和背景帧压缩数据根据h.264编码规则进行反量化和解码。
一种基于目标聚类的智能勘灾现场视频帧高效压缩方法,其特征在于:
步骤1:将预设时间段内的监控视频数据转换成对应的监控视频帧序列;
步骤2:采用基于灰度阈值分割的改进分水岭算法,对监控视频帧序列进行图像分割,形成前景数据块和目标数据块;
步骤3:按照帧序列的顺序对监控视频帧序列的每一帧进行判断,判断监控视频帧序列的各帧是否含有目标数据块,含有目标数据块的帧构成按照时间顺序排列的监控视频目标帧集合,不含有目标数据块的帧构成按照时间顺序排列的监控视频背景帧集合,监控视频目标帧集合中含有前景数据块和目标数据块,监控视频背景帧集合中只含有前景数据块;
步骤4:对监控视频目标帧集合中的目标帧进行聚类分析,将含有相同目标的目标帧划分到一个子集合中,根据聚类结果对监控视频帧序列进行分段处理,使得每一段视频帧包含相同目标;
步骤5:对包含相同目标的视频帧段,采用基于目标帧合并的视频帧压缩方法进行压缩处理,得到目标帧压缩数据;对监控视频背景帧集合采用基于背景帧合并的视频帧压缩方法进行压缩处理,得到背景帧压缩数据。
步骤1中得到监控视频帧序列的具体办法为选取并下载现场监控视频,截取一段作为原始视频数据,对图像进行尺寸缩放处理,依照时间顺序,依次对视频帧进行编号,得到大小统一的视频帧图像序列。
在步骤3中,对于固定机位的监控设备来说,日常正常监控到的视频图像几乎是一样的,均可看成是背景帧,当监控区域内有异物入侵、监控设备受损严重或者发生灾害等异常情况,监控图像变会有新的目标出现,这些图像帧可看成是目标帧。因此,可根据上述分割结果,依次判断视频帧是否包含相关目标,如输电线路异物、典型灾害等,确定为目标帧和背景帧,组成目标帧集合和背景帧集合;
在所述步骤5中,对包含相同目标的视频段,采用基于目标帧合并的视频帧压缩方法进行压缩处理,包括如下步骤:
首先,对目标帧进行数据块划分,采用基于目标的划分方式,将帧划分为包含当前目标的最小数据块和剩下的多个背景块,对于集合中所有包含相同目标的数据帧采用相同的划分规则进行划分,得到划分后的数据块集合;
然后,采用h.264编码规则中的视频压缩方法,对数据块中所有帧进行量化处理,去掉高频成分,输出经过变换后的信号集;
最后,采用h.264编码规则中的视频压缩方法实现对数据块的编码,形成i、p、b帧序列,并输出,实现视频帧的压缩,i\p\b分别为h264协议里定义的三种帧,i帧为完整编码帧,i帧生成的只包含差异部分编码的帧为p帧,参考前后的帧编码的帧为b帧。
对于监控视频背景帧集合,采用基于背景帧合并的视频帧压缩方法进行压缩方法,其压缩方法也是基于h.264编码规则中规定的视频压缩方法,首先进行数据块划分,其次对数据块进行量化和编码,并完成压缩,进行数据传输。
参照附图2所示,本实施例按照以下步骤完成,即:根据灾害现场提取监控的视频数据,提取一段视频,作为待处理的视频帧序列(帧1,帧2,…,帧1000),长度为1000;采用基于阈值分割的图像区域分割办法,对视频帧进行分割,将第i个帧分别分割成mi个数据块;根据图像帧中是否包含目标,对所有帧进行分类,分成目标帧集合和背景帧集合;对于目标帧集合,采用基于sift特征点匹配的视频帧分段方法对目标数据块进行分段处理,按序分成p段,并采用基于h.264编码规则对p段数据块依次进行编码压缩,得到压缩后的目标数据块;对于背景帧集合,直接采用h.264编码规则进行编码压缩,得到压缩后的背景数据块。具体实现方法如下:
收集应急抢修现场监控视频数据,并截取一段视频作为待处理的视频段,然后提取其帧序列,形成长度为n的一段图像帧序列。
参照附图3,采用基于阈值分割的图像区域分割办法对每一帧图像进行分割,得到数据块,包括以下步骤:首先,对帧图像进行去噪处理。对输入的视频帧序列进行中值滤波去噪预处理;其次,对帧图像序列,依次采用改进的分水岭模型进行图像阈值分割。接着,输出该图像帧分割结果;最后,按序进行下一帧图像分割处理,重复上述步骤直到序列最后一帧,并输出视频帧序列分割结果。
根据上述分割结果,依次判断视频帧是否包含相关目标,如输电线路异物、电力设备、典型灾害等,最终可确定编号为155-185,386-488,765-1000帧为目标数据帧和编号为1-154,186-385,489-764为背景数据帧,组成目标帧集合和背景帧集合。
对目标帧集合中所有图像帧,采用基于sift特征点匹配的视频帧分段方法对目标数据块进行分段处理,过程具体为:提取相邻目标块的sift特征点,确定目标的sift特征向量;根据相邻目标块特征点匹配个数,确定两者之间的相似度;提取关键帧,对于目标数据块提取所有的关键帧序列;以关键帧为分割线,将目标数据块按序分割成若干个不同的目标段。最终将目标帧集合中的第三段765-1000细化为2个视频段,即{765-890}和{891-1000}。
参照附图4,对包含相同目标的视频段,采用基于目标帧合并的视频帧压缩方法进行压缩处理,首先采用基于目标的数据块划分方法,将目标帧集合中属于同类目标的视频帧采用相同划分规则进行划分;然后基于h.264编码规则,对每个数据块进行量化和编码,进行视频压缩。针对背景帧集合,对背景数据块集合中的所有数据块,采用基于背景帧合并的视频帧压缩方法进行压缩方法,首先采用平均划分的原则对背景数据进行数据块划分,然后采用h.264对数据块进行量化和变化,进行视频压缩。得到压缩后的视频数据。
对压缩后的视频数据,进行视频重构。根据上述过程中,可得到两类不同的压缩数据:目标帧压缩数据和背景帧压缩数据。视频重构过程如下:首先,根据h.264编码规则,分别对两类压缩数据进行反量化和解码;然后,依据其不同的数据块划分规则,进行图像帧重组,得到完整的目标帧集合和背景帧集合;接着,通过叠加目标帧数据和背景帧数据中的边界帧,删除冗余数据,便可完成整段视频的重构。
进一步的,最终输出视频帧压缩结果。
综上所述,本发明通过图像分割,目标聚类等技术将视频帧分为目标数据块集合和背景数据块结合,分别进行压缩,由于目标数据块集合内块间相似度极高,背景数据块集合内块间也具有高的相似度,采用分开压缩的方法有助于消除信息冗余,提高数据压缩速度,实现灾害现场应急抢修指挥的监控数据传输的智能化和数字化。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
1.一种基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:它包括帧序列提取模块(1)、视频帧分割模块(2)、视频帧判断模块(3)、目标帧聚类模块(4)和视频帧压缩模块(5);
帧序列提取模块(1)用于将预设时间段内的监控视频数据转换成对应的监控视频帧序列;
视频帧分割模块(2)用于采用基于灰度阈值分割的改进分水岭算法,对监控视频帧序列进行图像分割,形成前景数据块和目标数据块;
视频帧判断模块(3)用于按照帧序列的顺序对监控视频帧序列的每一帧进行判断,判断监控视频帧序列的各帧是否含有目标数据块,含有目标数据块的帧构成按照时间顺序排列的监控视频目标帧集合,不含有目标数据块的帧构成按照时间顺序排列的监控视频背景帧集合,监控视频目标帧集合中含有前景数据块和目标数据块,监控视频背景帧集合中只含有前景数据块;
目标帧聚类模块(4)用于对监控视频目标帧集合中的目标帧进行聚类分析,将含有相同目标的目标帧划分到一个子集合中,根据聚类结果对监控视频帧序列进行分段处理,使得每一段视频帧包含相同目标;
视频帧压缩模块(5)用于对包含相同目标的视频帧段,采用基于目标帧合并的视频帧压缩方法进行压缩处理,得到目标帧压缩数据;视频帧压缩模块(5)还用于对监控视频背景帧集合采用基于背景帧合并的视频帧压缩方法进行压缩处理,得到背景帧压缩数据。
2.根据权利要求1所述的基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:它还包括视频重构模块(6),所述视频重构模块(6)用于目标帧压缩数据和背景帧压缩数据进行反量化和解码;依据其不同的数据块划分规则,进行图像帧重组,得到完整的目标帧集合和背景帧集合;接着,通过叠加目标帧数据和背景帧数据中的边界帧,删除冗余数据,便可完成整段监控视频数据的重构。
3.根据权利要求1所述的基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:视频帧分割模块(2)采用基于灰度阈值分割的改进分水岭算法,对监控视频帧序列进行图像分割,形成前景数据块和目标数据块的具体方法为:
首先,对输入的视频帧序列进行中值滤波去噪预处理;
然后,对滤波去噪后的帧图像序列,依次采用改进的分水岭模型进行图像阈值分割,分割过程为:利用sobel算子获得帧图像序列每个像素的梯度数据,从最小梯度开始进行泛洪处理,标记盆地区域,然后,将像素点个数小于给定阈值的区域进行合并处理,根据像素点灰度进行帧图像序列的初始标记,一个标记点就代表灰度在预设范围内的的一块区域的中心点,然后根据标记点之间的欧式距离,进行区域合并,合并之后生成新的标记点进行超级变更,并更新标记区域表,最终得到图像的二分值图,二分值图的白色区域为目标数据块,黑色区域为前景数据块。
4.根据权利要求1所述的基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:所述目标帧聚类模块(4)根据聚类结果对监控视频帧序列进行分段处理的具体过程为:提取监控视频帧序列中相邻目标数据块的sift特征点,确定目标的sift特征向量;根据相邻目标数据块sift特征点匹配个数,确定两者之间的相似度;根据预设的相似度阈值提取关键帧,对于目标数据块提取所有的关键帧序列;以关键帧为分割线,将监控视频帧序列按序分割成若干个不同的视频段,每一段中包含相同目标。
5.根据权利要求1所述的基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:视频帧压缩模块(5)用于对包含相同目标的视频帧段,采用基于目标帧合并的视频帧压缩方法利用h.264编码规则进行量化和编码进行压缩处理,得到目标帧压缩数据。
6.根据权利要求1所述的基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:视频帧压缩模块(5)还用于对监控视频背景帧集合采用基于背景帧合并的视频帧压缩方法利用h.264编码规则进行量化和编码进行压缩处理,得到目标帧压缩数据。
7.根据权利要求1所述的基于目标聚类的智能勘灾现场视频帧高效压缩系统,其特征在于:所述视频重构模块(6)用于目标帧压缩数据和背景帧压缩数据根据h.264编码规则进行反量化和解码。
8.一种基于目标聚类的智能勘灾现场视频帧高效压缩方法,其特征在于:
步骤1:将预设时间段内的监控视频数据转换成对应的监控视频帧序列;
步骤2:采用基于灰度阈值分割的改进分水岭算法,对监控视频帧序列进行图像分割,形成前景数据块和目标数据块;
步骤3:按照帧序列的顺序对监控视频帧序列的每一帧进行判断,判断监控视频帧序列的各帧是否含有目标数据块,含有目标数据块的帧构成按照时间顺序排列的监控视频目标帧集合,不含有目标数据块的帧构成按照时间顺序排列的监控视频背景帧集合,监控视频目标帧集合中含有前景数据块和目标数据块,监控视频背景帧集合中只含有前景数据块;
步骤4:对监控视频目标帧集合中的目标帧进行聚类分析,将含有相同目标的目标帧划分到一个子集合中,根据聚类结果对监控视频帧序列进行分段处理,使得每一段视频帧包含相同目标;
步骤5:对包含相同目标的视频帧段,采用基于目标帧合并的视频帧压缩方法进行压缩处理,得到目标帧压缩数据;对监控视频背景帧集合采用基于背景帧合并的视频帧压缩方法进行压缩处理,得到背景帧压缩数据。
9.根据权利要求8所述的基于目标聚类的智能勘灾现场视频帧高效压缩方法,其特征在于:步骤1中得到监控视频帧序列的具体办法为选取并下载现场监控视频,截取一段作为原始视频数据,对图像进行尺寸缩放处理,依照时间顺序,依次对视频帧进行编号,得到大小统一的视频帧图像序列。
10.根据权利要求8所述的基于目标聚类的智能勘灾现场视频帧高效压缩方法,其特征在于:
在所述步骤5中,对包含相同目标的视频段,采用基于目标帧合并的视频帧压缩方法进行压缩处理,包括如下步骤:
首先,对目标帧进行数据块划分,采用基于目标的划分方式,将帧划分为包含当前目标的最小数据块和剩下的多个背景块,对于集合中所有包含相同目标的数据帧采用相同的划分规则进行划分,得到划分后的数据块集合;
然后,采用h.264编码规则中的视频压缩方法,对数据块中所有帧进行量化处理,去掉高频成分,输出经过变换后的信号集;
最后,采用h.264编码规则中的视频压缩方法实现对数据块的编码,形成i、p、b帧序列,并输出,实现视频帧的压缩。
对于监控视频背景帧集合,采用基于背景帧合并的视频帧压缩方法进行压缩方法,其压缩方法也是基于h.264编码规则中规定的视频压缩方法,首先进行数据块划分,其次对数据块进行量化和编码,并完成压缩,进行数据传输。
技术总结