本发明涉及一种计算机软件与硬件设备协同的智能系统。
背景技术：
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。该领域的研究包括语音识别、图像识别、机器人、自然语言处理、智能搜索和专家系统等。
近年来公共区域安全管控的智能化要求不断提高。目前一般是依靠普通的安保系统和工作人员人工判断进行相关区域的管控，但由于人群的复杂性和工作人员精力的有限，现有办法的管控效率较低，反应较慢。
公民来访是指人民群众到国家机关的接待场所与工作人员告知自身诉求的过程。视频动作识别，图像识别，语音识别等人工智能技术不断发展，但针对公民来访场景下的这类特殊动作，现阶段仍然缺乏综合运用这些技术形成的成熟系统。对于基于深度学习的视频动作识别技术，现有的公开数据集训练的模型也不善于识别特殊场景下的异常行为。
本发明基于计算机视觉，语音信号处理和深度学习技术构建了一种智能化的异常行为管控系统，利用专用数据集训练神经网络模型，提高对这类特殊的异常动作的识别准确率。从而提升工作人员对紧急情况的反应速度，减轻工作压力。
技术实现要素：
为了解决公共安全管控智能化过程未能覆盖到一些特殊场景的问题。本发明提供一种面向一类特殊动作的异常行为管控系统，对这类特殊异常行为进行主动监测识别及时发现预警并为工作人员提供相应处置预案，积极维护现场秩序。
本发明提供一种异常行为管控系统，所述异常行为管控系统的特征在于：应用于辅助工作人员对区域内人员的异常行为管控；基于视频动作识别，语音识别，目标检测技术，并针对公民来访场景的特殊异常行为，形成的一套系统。该系统主体为软件系统，需要硬件设备辅助实现。硬件部分包括音视频采集设备，客户机和服务器，软件部分根据提供的服务可分为三个模块：异常行为检测模块、综合态势与风险评估模块、紧急预案管理模块。
所述计算机服务器，用于连接控制音视频采集设备，运行本发明的软件，为客户端提供服务并存储相关数据和与网络通信，所述工作人员使用客户机连接服务器并使用软件服务，所述音视频采集设备，用以采集管控区域的视频和音频信息；所述网络通信，可以使用有线通信、无线通信作为通信方式,通信内容包括收集到的音视频信息，异常行为检测结果信息，警报和预案信息。
所述异常行为检测模块，基于深度学习的人体骨架动作识别和语音技术，分别检测管控区范围内人员的异常动作和异常语音，将异常行为类型信息输出到综合态势和风险评估模块，此外模块还具有人群计数等功能；
所述综合态势与风险评估模块，基于异常行为检测模块输出的异常动作、异常语音、人群密度等数据，评估管控区的风险程度，同时在用户界面展示实时视频、人群密度、异常类型、风险程度信息的综合态势，再根据风险程度，决定是否发出警报并给出对应的预案；
所述预案管理模块，用于不同危险情况下的预案管理，可实现添加，修改，删除等功能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需的附图做简单介绍。
图1为本发明组成结构图；
图2为本发明硬件设备部分的一种实施例示意图；
图3为本发明异常行为管控过程中软件系统工作的实施例流程图；
图4为异常行为检测过程中软件系统各子模块的示意图；
图5为动作识别算法一种实施例的流程图；
具体实施方案
为了使本领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚的描述，所述的实施例仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明主要应用于公民来访场景下对工作人员的异常行为管控的辅助，帮助工作人员对管控区人员异常行为的提前准备和及时应对，减轻工作压力，提高处理相关情况的效率。
本发明首先通过摄像头和麦克风收集管控区域的视频信息和音频信息，利用基于深度学习的算法完成对视频信息和音频信息中的异常动作识别，异常语音识别，人群密度检测。利用检测结果评估管控区域的风险程度，并将这些检测结果和风险程度再加上原始的实时视频展示给工作人员。进一步的，系统通过风险程度和异常类型进行判断，决定是否向工作人员发出警报，如果发出警报，则同时发出该异常状况对应的预案。而对于预案，系统提供对预案的管理服务，让工作人员能增删改预案，并关联不同类型的异常。
本发明的总体组成结构如图1所示，分为硬件设备100和软件系统200两部分。
硬件设备100包括服务器101，客户机102，音视频采集设备103。所述音视频采集设备103可以是摄像头和麦克风，其信息收集范围应当覆盖整个管控区域，摄像头可以以多个角度布置于接待人员的房间中。所述服务器和客户机为通用计算机，其中服务器应当具备一定算力。
硬件设备之间的信息交换由网络通信完成，网络通信可以是有线网络也可以为无线网络。而图2是硬件部分的一种实施例，用以太网方式连接。音视频采集设备103用以采集音视频信息并通过网线和交换机将信息传递给服务器101，服务器中运行的程序处理数据然后将输出的结果通过网线和交换机传递给客户机102。工作人员通过与客户机102中运行的客户端程序交互来使用服务器101提供的服务。
软件系统200包括异常行为检测模块201、综合态势与风险估计模块202、预案管理模块203。在硬件设备的支撑下，异常行为检测模块实现了基础功能，包括动作识别，语音识别，目标检测。而综合态势与风险估计模块和预案管理模块在基础功能之上实现了对工作人员的应用服务，包括综合态势展示，风险评估，异常警报，预案管理。
软件系统工作的流程，如图3所示：
在步骤s1中，音视频采集设备不断采集检测区域的图像信息和音频信息，并向服务器传输这些信息。
在步骤s2中，服务器接收到音视频信息，实现了对异常行为的检测，对风险程度的评估，在客户端展示综合态势，在客户端发出警报这些主要服务。
在步骤s3中，如果发生异常行为，工作人员在客户端接收到警报和相应的紧急预案。紧急预案提前由工作人员通过预案管理模块录入系统，根据不同的异常行为紧急情况，设立合适的处理方案。
在步骤s4中，工作人员前往异常行为发生区域，根据预案处理现场的状况。
在步骤s5中，工作人员在成功处理检测区的紧急状况后，可以根据处理过程的经验，通过紧急预案管理模块改进相应的预案，以更好处理再次发生的相似状况。
步骤s2中的异常行为检测过程中，软件系统的各模块关系如图4所示：
异常行为检测模块201，输入为音视频信息，完成对音视频信息的异常行为检测，向综合态势与风险评估模块202输出检测结果。所述异常行为包括异常肢体动作，脏话，人群密集，其中异常肢体动作指情绪激动人员可能做出的不当动作，包括扇巴掌、推人、重复指人、下跪磕头等等。所述检测结果由异常动作类型，是否检测到脏话，人群数量三个部分组成。
异常行为检测模块201可以使用基于深度神经网络的语音识别技术实现对脏话的识别；可使用基于yolov3的目标检测技术实现对视频采集范围内的人员计数，将管控区人群数量信息交给综合态势与风险评估模块202来判断是否存在人群密集现象；
本发明的关键算法为对人员异常肢体动作的动作识别算法，实现动作识别的一个实施例的流程图如图5所示：
在步骤s20101中，对视频图像信息进行预处理，因为处理原始视频数据会对计算机负载过大，可在这一步对图像信息进行适当的降帧和裁剪。
在步骤s20102中，对视频图像中的人进行姿态识别，得到每一帧中人的骨架关键点的图数据，这一步可以用开源的人体姿态识别openpose库实现。这一步中将视频的所有图像帧转换为骨架关键点的图结构数据。
在步骤s20103中，利用深度神经网络模型对上一步图结构数据进行特征提取，可以使用时空图卷积网络(st-gcn)。优选的，所述神经网络模型用公民来访场景的特殊异常动作数据集进行训练。
在步骤s20104中，使用分类器对特征进行分类最终输出识别结果，这里可以使用svm,softmax分类器等等。
综合态势与风险评估模块202，接受异常行为检测模块201的检测结果，实现在客户端展示综合态势和评估风险发出警报。首先根据检测结果进行风险评估：将异常行为分为两类，一类为紧急异常行为，包括打人，推人，下跪等动作，需要工作人员立即处理；一类为非紧急异常行为，包括反复指人，骂脏话，人群密集等行为。当检测到紧急异常行为时，立即将风险程度判断为高；当检测到非紧急异常行为时，将风险程度判断为中，提前为每个非紧急异常行为设立危险程度权值，并设立高风险阈值，当管控区同时发生多个非紧急异常行为，它们的权值总和超过阈值时，也将风险程度判断为中。另一方面，此模块实现在客户端显示采集的实时视频图像信息再加上异常行为检测结果的文本信息和判断的风险程度，将这部分功能称为综合态势展示，帮助工作人员更直接的通过文本信息知晓管控区域的情况。最后，本模块根据风险程度发出不同警报，中风险警报提醒工作人员关注异常行为发生区域，提前准备；高风险警报提醒工作人员立即出发处理问题，并根据异常行为类型提供相应紧急预案。
紧急预案管理模块203，实现为系统增删改紧急异常行为处理预案，并为预案关联对应的紧急预案类型，使得综合态势与风险评估模块在发出警报时能通过异常行为类型检索到关联的预案。
以上实例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改和替换，均应涵盖在本发明的权利要求范围中。
1.一种异常行为管控软硬件系统，其特征在于，
对一类异常行为进行识别警示的一种智能管控系统，它由硬件设备部分和软件系统组成，其中硬件包括计算机服务器、客户机和音视频收集设备，设备间通过网络通信传递信息，软件由异常行为智能检测模块、综合态势与风险智能评估模块、紧急预案管理模块组成。所述一类异常行为，包括骂脏话、打人、下跪、躺倒、重复指人、扔东西这类容易出现在公民来访国家机关时出现的异常行为。
2.根据权利要求1所述的硬件设备部分，其特征在于，
所述计算机服务器，用于连接控制音视频采集设备，运行本发明的软件，为客户端提供服务并存储相关数据和与网络通信；所述工作人员使用客户机连接服务器并使用软件服务，所述音视频收集设备，用以收集管控区域的视频和音频信息；所述网络通信，可以使用有线通信、无线通信作为通信方式,通信内容包括收集到的音视频信息，异常行为检测结果信息，警报和预案信息。
3.根据权利要求1所述的异常行为检测模块，其特征在于，
基于深度学习的人体骨架动作识别和语音技术，分别检测范围内的人员异常动作和异常语音，将异常行为类型信息输出到综合态势和风险评估模块，此外模块还具有人群计数等功能。
4.根据权利要求1所述的综合态势与风险评估模块，其特征在于，
基于异常行为检测模块输出的异常动作、异常语音、人群密度等数据，评估检测区的风险程度，同时在用户界面展示实时视频、人群密度、异常类型、风险程度信息的综合态势，再根据风险程度，决定是否发出警报并给出对应的预案。
5.根据权利要求1所述的紧急预案管理模块，其特征在于，
用于不同危险情况下的预案管理，可实现添加，修改，删除等功能。
技术总结