一种基于视频的变电站人员车辆违规检测方法及系统与流程

1.本发明涉及图像检测技术领域，具体涉及一种基于视频的变电站人员车辆违规检测方法及系统。


背景技术：

2.变电站中设备操作复杂、危险区域多，人车的违规操作，例如未穿工装、未戴安全帽、吸烟、越线闯入、车辆违停等，极有可能导致电力系统事故，造成人员伤亡和财产损失。目前的视频监控系统主要用来事后取证，无法提前告警。
3.目前变电站违规行为检测主要通过通用目标检测来解决，使用训练后的深度学习网络对原始图像的每一帧进行检测，通常标注的类别有未穿工装的人身，未穿安全帽的人头，香烟和烟头。基于深度学习的通用目标检测网络模型训练简单，可以检测出部分人员车辆违规，虽然鲁棒性很好，但是需要基于大量人工标注过的数据，如果缺少训练数据会造成误检和漏检。例如工装种类多种多样，需要标注大量强监督的数据，耗费大量的人工，在实际使用中如果出现训练数据中没见过的工装可能会造成误检。又例如香烟烟头在监控视频中目标很小，很容易造成漏检。变电站中复杂多样的设备如导线，栏杆等也容易被误检成烟头。因此，提出一种基于视频的变电站人员车辆违规检测方法及系统。


技术实现要素：

4.本发明所要解决的技术问题在于：如何利用视频对变电站人员违规行为进行及时检测并识别，制止危险行为的发生，提供了一种基于视频的变电站人员车辆违规检测方法。
5.本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
6.s1：人员和车辆目标检测
7.对原始视频的每一帧进行级联检测，利用第一级检测器进行人员和车辆检测；
8.s2：人员和车辆位置违规检测
9.结合监控摄像头的预置位信息，确定人员和车辆是否存在越线闯入和违章停车；
10.s3：人员图像裁剪
11.根据第一级检测器生成的矩形框裁剪出人员的图像；
12.s4：安全帽、香烟检测及工装分类
13.利用工装分类器对步骤s3中裁剪处理得到的人员图像进行分类，分成工装正常和未穿工装；同时利用第二级检测器对人员图像进行香烟和安全帽检测，如果检测到香烟或未检测到安全帽，则判定人员违规，如果未检测到香烟或检测到安全帽，则判定人员未违规。
14.更进一步地，在所述步骤s1中，所述第一级检测器选用实时的目标检测网络，实时的目标检测网络的数据集选用含有人员车辆的公开数据集。
15.更进一步地，在所述步骤s2中，通过第一级检测器得到的矩形框确定人员和车辆在视频图像中的位置，结合摄像头预置位信息在视频图像中事先划定好违禁区域和违停区
域，通过比对判断人员和车辆是否在相应区域内，从而判定人员是否越线，车辆是否违停。
16.更进一步地，在所述步骤s3中，根据第一级检测器得到的人员矩形框，把人员的图像从原始图裁剪出来，裁剪时将人员矩形框扩大百分之十。
17.更进一步地，在所述步骤s4中，工装分类器选用细粒度分类网络。
18.更进一步地，在所述步骤s4中，不需要对原始视频每一帧都进行检测，只需要处理第一级检测器检测到包含人员的帧。
19.本发明还提供了一种基于视频的变电站人员车辆违规检测系统，采用上述的违规检测方法对人员违规行为进行检测，包括：
20.第一检测模块，用于对原始视频的每一帧进行级联检测，利用第一级检测器进行人员和车辆检测；
21.第二检测模块，用于结合监控摄像头的预置位信息，确定人员和车辆是否存在越线闯入和违章停车；
22.图像裁剪模块，用于根据第一级检测器生成的矩形框裁剪出人员的图像；
23.第三检测模块，用于利用工装分类器对裁剪处理得到的人员图像进行分类，分成工装正常和未穿工装；同时利用第二级检测器对人员图像进行香烟和安全帽检测，如果检测到香烟或未检测到安全帽，则判定人员违规，如果未检测到香烟或检测到安全帽，则判定人员未违规；
24.中央处理模块，用于向其他模块发出指令，完成相关动作；
25.所述第一检测模块、第二检测模块、图像裁剪模块、第三检测模块均与中央处理模块电连接。
26.本发明相比现有技术具有以下优点：该基于视频的变电站人员车辆违规检测方法，采用级联的方法解决变电站违规问题，在第一级使用实时检测器，在后面层级针对每个具体问题具体分析，采用分类和检测相结合的方法，可以在牺牲少量速度的前提下大大提高精度；通过分类来解决人员工装违规问题，可以减少人工数据标注量，覆盖更多的工装数据，从而降低误检率，同时分类可以保证每个人员必定会被分成工装正常和未穿工装，降低漏检率；把人员图像单独裁剪出来进行吸烟和安全帽检测，可以放大细小物体在图像中的占比，去除多余的无关的背景信息，从而提高检出精度，值得被推广使用。
附图说明
27.图1是本发明实施例中的流程示意图；
28.图2是本发明实施例中违禁及违停判别示意图；
29.图3是本发明实施例中图像中人员部分的裁剪示意图。
具体实施方式
30.下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
31.如图1所示，本实施例提供一种技术方案：一种基于视频的变电站人员车辆违规检测方法，包括以下步骤：
32.步骤一：对原始视频的每一帧进行级联检测，利用第一级检测器进行人员和车辆检测；
33.在步骤一中，第一级人车检测器需要处理原始视频每一帧，需要保证网络的效率，因此选用实时的目标检测网络。人员车辆有大量的公开数据集可以使用，不需要额外人工标注。
34.目标检测网络可以选择yolo，ssd,faster
‑
rcnn，center
‑
net等网络。人员的检测有大量公开数据集，比如coco,voc等，都包含人员这个类别。人员数据集主要标注人的包围框左上角和右下角的坐标。准备好数据就可以进行训练。
35.步骤二：结合监控摄像头的预置位信息，确定人员和车辆是否存在越线闯入和违章停车；
36.步骤二的具体过程如下：
37.通过人车检测器得到的矩形框可以确定人员和车辆在视频图像中的位置(位置信息就是人员包围框的左上角右下角在图像中的坐标，对应的坐标就是人员的位置)，结合摄像头预置位信息在视频图像中事先划定好违禁区域和违停区域，通过比对判断人员和车辆是否在区域内，从而判定人员是否越线，车辆是否违停。这一部分几乎没有额外的运算时间开销。
38.在步骤二中，如图2所示，图中阴影区域内就是划定好的违禁区域，当人员或车辆(图中采用人员表示)的检测框(包围框)区域与违禁或违停区域相交范围除以人员或车辆的区域>0.5(数值大小可根据需要进行调整)，就认为是发生越界，判断公式如下：
[0039][0040]
步骤三：根据人车检测器生成的矩形框裁剪出人员的图像；
[0041]
在步骤三中，根据第一级人车检测器得到的矩形框，把人员的图像从原始图裁剪出来。裁剪时矩形框扩大百分之十，防止丢失掉头上的安全帽和手上的香烟；
[0042]
如图3所示，将人员从原图中裁剪出来，可以有效地去除变电站中背景的干扰，对裁剪后的图像进行分类和检测，可以放大工装细节，提高烟头这一类的小物体在图像中的占比，进一步提高检测和分类的精度。
[0043]
步骤四：进行第二级检测和分类。分类器对人员的图像进行分类，分成工装正常和未穿工装，同时利用检测器进行香烟和安全帽检测，如果检测到香烟或未检测到安全帽，则判定人员违规。
[0044]
在步骤四中，工装分类器选用细粒度分类网络，细粒度分类网络主要用来区分细小区别的图像(如分清鸟的种类，车的型号)，特别适用于工装分类场景。目前的细粒度分类网络大部分使用弱监督的数据训练，只需要收集工装、非工装的照片，无需人工标注矩形框，因此制作数据集难度非常低。
[0045]
细粒度分类网络用的是b
‑
cnn，dfl
‑
cnn等，网络对人进行特征提取并用softmax进行分类，特征提取通过工装数据集学习到。工装数据集标注过程把人分成两个类别，工装正常是0，未穿工装是1。
[0046]
吸烟安全帽检测器不需要对原始视频每一帧都进行检测，只需要处理第一级检测器检测到人员的帧。并且经过步骤三裁剪后的图片，数据信息相对减少，有助于提高检测效
率，因此吸烟和安全帽检测器选用稍微复杂点网络来确保检测的准确率；
[0047]
需要说明的是，安全帽和吸烟检测网络和人的检测网络相同，如果人的包围框中，没出现安全帽的包围框，判断为未穿安全帽。如果人的包围框中，出现了烟头的包围框，判断为吸烟。
[0048]
在数据集标注方面，首先利用人车检测器对原始数据集中的人进行裁剪，在裁剪后的图里标注出安全帽和香烟。使用标注好的数据集对深度学习神经网络进行训练，训练后的深度神经网络可以对安全帽和香烟进行检测。如果吸烟安全帽检测器检测到香烟，进而判定人员发生了吸烟违规行为；如果吸烟安全帽检测器没有检测到安全帽，则判定人员发生了未穿安全帽违规行为。
[0049]
综上所述，上述实施例的基于视频的变电站人员车辆违规检测方法，采用级联的方法解决变电站违规问题，在第一级使用实时检测器，在后面层级针对每个具体问题具体分析，采用分类和检测相结合的方法，可以在牺牲少量速度的前提下大大提高精度；通过分类来解决人员工装违规问题，可以减少人工数据标注量，覆盖更多的工装数据，从而降低误检率，同时分类可以保证每个人员必定会被分成工装正常和未穿工装，降低漏检率；把人员图像单独裁剪出来进行吸烟和安全帽检测，可以放大细小物体在图像中的占比，去除多余的无关的背景信息，从而提高检出精度，值得被推广使用。
[0050]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于视频的变电站人员车辆违规检测方法，其特征在于，包括以下步骤：s1：人员和车辆目标检测对原始视频的每一帧进行级联检测，利用第一级检测器进行人员和车辆检测；s2：人员和车辆位置违规检测结合监控摄像头的预置位信息，确定人员和车辆是否存在越线闯入和违章停车；s3：人员图像裁剪根据第一级检测器生成的矩形框裁剪出人员的图像；s4：安全帽、香烟检测及工装分类利用工装分类器对步骤s3中裁剪处理得到的人员图像进行分类，分成工装正常和未穿工装；同时利用第二级检测器对人员图像进行香烟和安全帽检测，如果检测到香烟或未检测到安全帽，则判定人员违规，如果未检测到香烟或检测到安全帽，则判定人员未违规。2.根据权利要求1所述的一种基于视频的变电站人员车辆违规检测方法，其特征在于：在所述步骤s1中，所述第一级检测器选用实时的目标检测网络，实时的目标检测网络的数据集选用含有人员车辆的公开数据集进行训练。3.根据权利要求2所述的一种基于视频的变电站人员车辆违规检测方法，其特征在于：在所述步骤s2中，通过第一级检测器得到的矩形框确定人员和车辆在视频图像中的位置，结合摄像头预置位信息在视频图像中事先划定好违禁区域和违停区域，通过比对判断人员和车辆是否在相应区域内，从而判定人员是否越线，车辆是否违停。4.根据权利要求3所述的一种基于视频的变电站人员车辆违规检测方法，其特征在于：在所述步骤s3中，根据第一级检测器得到的人员矩形框，把人员的图像从原始图裁剪出来，裁剪时将人员矩形框扩大百分之十。5.根据权利要求3所述的一种基于视频的变电站人员车辆违规检测方法，其特征在于：在所述步骤s4中，工装分类器选用细粒度分类网络。6.根据权利要求3所述的一种基于视频的变电站人员车辆违规检测方法，其特征在于：在所述步骤s4中，不需要对原始视频每一帧都进行检测，只需要处理第一级检测器检测到包含人员的帧。7.一种基于视频的变电站人员车辆违规检测系统，其特征在于，采用如权利要求1～6任一项所述的违规检测方法对人员违规行为进行检测，包括：第一检测模块，用于对原始视频的每一帧进行级联检测，利用第一级检测器进行人员和车辆检测；第二检测模块，用于结合监控摄像头的预置位信息，确定人员和车辆是否存在越线闯入和违章停车；图像裁剪模块，用于根据第一级检测器生成的矩形框裁剪出人员的图像；第三检测模块，用于利用工装分类器对裁剪处理得到的人员图像进行分类，分成工装正常和未穿工装；同时利用第二级检测器对人员图像进行香烟和安全帽检测，如果检测到香烟或未检测到安全帽，则判定人员违规，如果未检测到香烟或检测到安全帽，则判定人员未违规；中央处理模块，用于向其他模块发出指令，完成相关动作；所述第一检测模块、第二检测模块、图像裁剪模块、第三检测模块均与中央处理模块电
连接。
技术总结
本发明公开了一种基于视频的变电站人员车辆违规检测方法及系统，属于图像检测技术领域，包括以下步骤：S1：人员和车辆目标检测；S2：人员和车辆位置违规检测；S3：人员图像裁剪；S4：安全帽、香烟检测及工装分类。本发明采用级联的方法解决变电站违规问题，在第一级使用实时检测器，在后面层级针对每个具体问题具体分析，采用分类和检测相结合的方法，可以在牺牲少量速度的前提下大大提高精度；通过分类来解决人员工装违规问题，可以减少人工数据标注量，覆盖更多的工装数据，从而降低误检率，同时分类可以保证每个人员必定会被分成工装正常和未穿工装，降低漏检率；把人员图像单独裁剪出来进行吸烟和安全帽检测，提高了检出精度。提高了检出精度。提高了检出精度。


技术研发人员：张泉 赵曼 刘海峰 任广鑫 张明 季坤 吴迪 甄超 王坤 王刘芳 郑浩
受保护的技术使用者：国网安徽省电力有限公司
技术研发日：2021.04.25
技术公布日：2021/6/29