一种智能高效的实时人流统计系统的制作方法

专利2022-05-09  54


本发明涉及大数据技术领域,特别是涉及一种智能高效的实时人流统计系统。



背景技术:

当下,移动互联网、物联网、社交网络、数字家庭、电子商务等新一代信息技术的应用越来越广泛。大数据成为了信息产业高速增长的新引擎。传统统计数据特征是平面、静态和粗放的,大数据技术则使数据维度走向立体、动态和精确。

在大数据时代,商场和公共场所的密集人流量,不仅给商家带来了巨大的商机,同时为政府科学决策提供了依据。例如在地铁站,通过行人计数可以实时了解每个站点的人流大小,灵活调度地铁列车密度,实施人流控制,实时发布人流密集地区信息,有利于加强人群运输效率,确保地铁运营平稳有效。在商场,人流量是体现其商业价值的重要依据,对人流量的准确计算,有利于掌握客人的购物偏好,从而实现更好的物流安排,还可以根据各区域的人群密集程度,有效调配服务人员。人流量还关系到人流密集场所的安全问题,有效控制场内人群数量,可以在火警等紧急情况下迅速疏导人群,避免踩踏、推挤等情况发生。在疫情常态化的当下,人流统计更是可以帮助我们预测疫情的发展以及帮助加强疫情溯源与监测。

但是,传统的人流统计方法,往往通过简单的目标检测算法进行目标识别、计数,难以适应复杂场景下的目标识别、在边缘设备部署实时性较差、容易出现目标被遮挡、追踪中断等错误,影响统计结果的准确性。因此,急需一套智能高效的实时人流统计方案来帮助解决上述技术问题。



技术实现要素:

为了克服上述技术问题,本发明提供了一种智能高效的实时人流统计系统,科学有效地对实时人流进行时间、空间上的分析,帮助进行科学决策。

为实现上述目的,本发明的技术方案如下:

一种智能高效的实时人流统计系统,包括:

摄像头模块、服务器模块;所述摄像头模块与所述服务器模块通信连接;所述摄像头模块用于获取检测区域内视频数据并传输至所述服务器模块;所述服务器模块对所述视频数据中的目标人体进行检测、追踪、统计。

优选地,所述摄像头模块设置于特定区域上方,以45°视场角向外照射。

优选地,所述摄像头模块将所述视频数据封装为视频流,通过rtmp协议将所述视频流推流到所述服务器模块。

优选地,所述服务器模块包括gpu组件、存储器组件、处理器组件、及存储在所述存储器组件上并可在所述处理器组件上运行的数据处理系统,所述数据处理系统包括前端服务、后端服务。

优选地,所述前端服务连接目标人体检测模块,所述目标人体检测模块工作原理如下:

对视频流中的人体目标进行检测,对检测到的所述人体目标赋予id序号;计算所述人体目标在当前帧图像中的位置信息;对比相邻帧图像中所述人体目标的id序号和位置信息,判断同一人体目标移动方向;根据所述移动方向判断人体目标的进出结果并将数量进行统计。

优选地,所述后端服务连接目标人体检测模块,所述对视频流中的人体目标进行检测采用如下方法:

构建yolo神经网络训练模型;

构建人体数据集,所述人体数据集包含九类数据;

使用所述人体数据集对所述yolo神经网络训练模型进行训练;

将所述视频流传入训练后的所述yolo神经网络训练模型,对所述视频流中的所述目标人体的头肩进行识别。

优选地,所述后端服务还连接目标人体追踪模块,所述目标人体追踪模块工作原理如下:

对所述目标人体检测模块检测到的所述目标人体进行锚框定位,得到所述锚框在当前帧图像中的锚框坐标点;

利用所述锚框坐标点对比所述检测区域的边界线,当所述锚框坐标点由所述检测区域边界线内移动到所述检测区域边界线外,判断为人体目标离开;当所述锚框坐标点由所述检测区域边界线外移动到所述检测区域边界线内,判断为人体目标进入。

优选地,所述锚框,通过对coco数据集标注框的长和宽各增加5个像素值得到。

优选地,构建yolo神经网络训练模型时,通过剪枝对所述yolo神经网络训练模型进行压缩和减少参数,所述yolo神经网络训练模型的ress_unit个数为(1,2,4,4,2)。

优选地,所述前端服务连接显示器模块及交互模块,用于对所述后端服务计算得到的实时人流统计数据进行显示,及用于操作人员进行人机交互。

本发明的有益效果为:

本申请提出一种智能高效的实时人流统计系统,针对人流密集场所的人流统计,提供了可长时间自行工作的统计系统,能有效的对不同时段的客流量做出统计,管理人员通过客流高峰期增加工作人员,来提高服务质量。在空闲时期减少工作人员,避免出现人员浪费。通过统计得到的不同时间段的人流变化规律,使管理人员能对未来的活动进行准确策划,确定时间、人力等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中上所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的部分实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例一种智能高效的实时人流统计系统的结构示意图;

图2为本发明实施例一种智能高效的实时人流统计系统的目标框在图像中的相对坐标示意图;

图3为本发明实施例一种智能高效的实时人流统计系统的人体目标检测效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如s1、s2等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。

本发明实施例提供了一种智能高效的实时人流统计系统,采用优化的目标检测算法对视频图像中的人体目标进行检测,解决了在复杂场景下容易出现目标被遮挡、追踪中断等错误,提高了边缘设备部署的实时性。

下面将结合具体实施例对本发明请求保护的一种智能高效的实时人流统计系统作进一步地详细阐述。

请参阅图1,本发明实施例提供的一种智能高效的实时人流统计系统包括:

摄像头模块、服务器模块;所述摄像头模块与所述服务器模块通信连接;所述摄像头模块用于获取检测区域内视频数据并传输至所述服务器模块;所述服务器模块对所述视频数据中的目标人体进行检测、追踪、统计。在本发明实施例中,可以将吸顶式高清摄像头部署在商场等一些公共场所天花板顶或门框顶部,吸顶式高清摄像头将捕捉到的视频流推至服务器或边缘设备,服务器或边缘设备对每一帧图像进行人体头肩部分检测,在目标人体检测步骤后添加追踪器,为画面中所有检测到的目标人体赋予工d,对目标人体的进入和离开做出统计。

优选地,所述摄像头模块设置于特定区域上方,以45°视场角向外照射。在本发明实施例中,摄像头模块以45°视场角照射下方人流,可以有效防止目标遮挡的情况出现。

优选地,所述摄像头模块将所述视频数据封装为视频流,通过rtmp协议将所述视频流推流到所述服务器模块。

优选地,所述服务器模块包括gpu组件、存储器组件、处理器组件、及存储在所述存储器组件上并可在所述处理器组件上运行的数据处理系统,所述数据处理系统包括前端服务、后端服务。

优选地,所述前端服务连接目标人体检测模块,所述目标人体检测模块工作原理如下:

对视频流中的人体目标进行检测,对检测到的所述人体目标赋予工d序号;计算所述人体目标在当前帧图像中的位置信息;对比相邻帧图像中所述人体目标的工d序号和位置信息,判断同一人体目标移动方向;根据所述移动方向判断人体目标的进出结果并将数量进行统计。

优选地,所述后端服务连接目标人体检测模块,所述对视频流中的人体目标进行检测采用如下方法:

构建yolo神经网络训练模型;

构建人体数据集,所述人体数据集包含九类数据;如本领域技术人员可知的,原始的yolo算法采用coco数据集(coco是一个大型图像数据集,专为对象检测、图像分割、人体关键点检测、语义分割和字幕生成而设计)进行模型训练,但是coco数据集具有80个类,其中绝大多数类对于目标人体识别是无用的。因此,针对人流统计这样复杂的场景,采用coco原始数据集训练后得到的模型识别效果较差,因此,我们自行采集、制作了人体数据集用以模型训练,将数据集类别压缩到9类,使用于训练的数据集更适合人流统计。

使用所述人体数据集对所述yolo神经网络训练模型进行训练;

将所述视频流传入训练后的所述yolo神经网络训练模型,对所述视频流中的所述目标人体的头肩进行识别。

优选地,所述后端服务还连接目标人体追踪模块,所述目标人体追踪模块工作原理如下:

请参阅图3,对所述目标人体检测模块检测到的所述目标人体进行锚框定位,得到所述锚框在当前帧图像中的锚框坐标点;

利用所述锚框坐标点对比所述检测区域的边界线,当所述锚框坐标点由所述检测区域边界线内移动到所述检测区域边界线外,判断为人体目标离开;当所述锚框坐标点由所述检测区域边界线外移动到所述检测区域边界线内,判断为人体目标进入。

在本发明实施例中,具体的,可参阅图2,利用所述锚框坐标点对比所述检测区域的边界线:

当识别到的头肩框坐标点(x1,y1)与o1验证线重合时,存储初步进入标志为true,当初步进入标志为true且坐标点与o2验证线重合时,判断为人进入。

当识别到的头肩框坐标点(x1,y1)与o2验证线重合时,存储初步离开标志为true,当初步离开标志为true且坐标点与o1验证线重合时,判断为人离开。

优选地,所述锚框,通过对coco数据集标注框的长和宽各增加5个像素值得到。如本领域技术人员可知的,原始的yolo算法源码中锚框是固定的,其由coco数据集标注框得到,在本发明实施例中,我们增大锚框的大小,如:(w 5,h 5),即在coco数据集标注框的长宽各增加5个像素值,可以使锚框更具有鲁棒性,更适合用于人流统计。

优选地,构建yolo神经网络训练模型时,通过剪枝对所述yolo神经网络训练模型进行压缩和减少参数。在本发明实施例中,在使算法模型达到很好的检测同时,也需要有更快的检测速度,因此本发明对yolo算法进行了实验优化,减少其参数个数,从而使参数量大幅度降低,可收获更快的检测速度。在yolov3算法里,res_unit的个数分别是(1,2,8,8,4),实践证明,将原有的ress_unit个数更改为(1,2,4,4,2)可达到更精确的检测效果,如此既提升了目标检测的准确率又减少了算法的参数量,同时检测速度也得到提升。

本发明对yolo算法采用剪枝来极度压缩模型参数:对需要剪枝的层对应的bn(批量归一化)gamma系数进行大幅压缩,将权重较低的通道或层进行剪枝。由于剪枝操作会导致算法检测精度下降,在剪枝完成后我们又对模型进行微调训练用以恢复精度。具体的,在res_unit中最常见的组合是cbl:卷积层->bn层->激活函数,其中卷积层含有n个卷积核,而每个卷积核对应一个bn,bn的作用是对数据进行标准化,在进行缩放和平移,标准化是防止数据达到饱和(即激活值分布在大部分都接近0或1),这样会使数据对激活函数不敏感。bn中含有两个主要系数:缩放因子:gamma,偏移:beta。

我们采用的通道剪枝就是利用bn层的gamma系数评价对应通道的重要性,然后排序并根据gamma系数阈值剪掉bn对应的不重要通道,保留重要通道。

假如我们的cnn就一个cbl组合,卷积层含有10个卷积核,10个卷积核对应的10个bn中的gamma系数为[0.1,0.98,0.2,0.1,0.9,0.8,0.7,0.4,0.8,0.6],当我们的稀疏因子s为0.1,代表我们要去除90%(gamma系数最小)的卷积核,上述卷积核层就剩下0.98对应的卷积核,从而达到模型压缩和参数减少的作用。

优选地,所述前端服务连接显示器模块及交互模块,用于对所述后端服务计算得到的实时人流统计数据进行显示,及用于操作人员进行人机交互。

本申请提出一种智能高效的实时人流统计系统,对现有的yolo算法进行了优化,通过采用剪枝来极度压缩模型参数,使优化后的算法模型能够达到更好的检测效果,同时得到更快的检测速度。同时,本发明对coco数据集标注框进行优化,使新的锚框更适合人体检测,从而提高人体检测的准确性及检测速度。采用自制的人体数据集更适合复杂的人流统计场景。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。


技术特征:

1.一种智能高效的实时人流统计系统,其特征在于,包括摄像头模块、服务器模块;所述摄像头模块与所述服务器模块通信连接;所述摄像头模块用于获取检测区域内视频数据并传输至所述服务器模块;所述服务器模块对所述视频数据中的目标人体进行检测、追踪、统计。

2.根据权利要求1所述的一种智能高效的实时人流统计系统,其特征在于,所述摄像头模块设置于特定区域上方,以45°视场角向外照射。

3.根据权利要求1所述的一种智能高效的实时人流统计系统,其特征在于,所述摄像头模块将所述视频数据封装为视频流,通过rtmp协议将所述视频流推流到所述服务器模块。

4.根据权利要求3所述的一种智能高效的实时人流统计系统,其特征在于,所述服务器模块包括gpu组件、存储器组件、处理器组件、及存储在所述存储器组件上并可在所述处理器组件上运行的数据处理系统,所述数据处理系统包括前端服务、后端服务。

5.根据权利要求4所述的一种智能高效的实时人流统计系统,其特征在于,所述前端服务连接目标人体检测模块,所述目标人体检测模块工作原理如下:

对视频流中的人体目标进行检测,对检测到的所述人体目标赋予工d序号;计算所述人体目标在当前帧图像中的位置信息;对比相邻帧图像中所述人体目标的工d序号和位置信息,判断同一人体目标移动方向;根据所述移动方向判断人体目标的进出结果并将数量进行统计。

6.根据权利要求5所述的一种智能高效的实时人流统计系统,其特征在于,所述后端服务连接目标人体检测模块,所述对视频流中的人体目标进行检测采用如下方法:

构建yolo神经网络训练模型;

构建人体数据集,所述人体数据集包含九类数据;

使用所述人体数据集对所述yolo神经网络训练模型进行训练;

将所述视频流传入训练后的所述yolo神经网络训练模型,对所述视频流中的所述目标人体的头肩进行识别。

7.根据权利要求5所述的一种智能高效的实时人流统计系统,其特征在于,所述后端服务还连接目标人体追踪模块,所述目标人体追踪模块工作原理如下:

对所述目标人体检测模块检测到的所述目标人体进行锚框定位,得到所述锚框在当前帧图像中的锚框坐标点;

利用所述锚框坐标点对比所述检测区域的边界线,当所述锚框坐标点由所述检测区域边界线内移动到所述检测区域边界线外,判断为人体目标离开;当所述锚框坐标点由所述检测区域边界线外移动到所述检测区域边界线内,判断为人体目标进入。

8.根据权利要求7所述的一种智能高效的实时人流统计系统,其特征在于,所述锚框,通过对coco数据集标注框的长和宽各增加5个像素值得到。

9.根据权利要求6所述的一种智能高效的实时人流统计系统,其特征在于,构建yolo神经网络训练模型时,通过剪枝对所述yolo神经网络训练模型进行压缩和减少参数,所述yolo神经网络训练模型的ress_unit个数为(1,2,4,4,2)。

10.根据权利要求6所述的一种智能高效的实时人流统计系统,其特征在于,所述前端服务连接显示器模块及交互模块,用于对所述后端服务计算得到的实时人流统计数据进行显示,及用于操作人员进行人机交互。

技术总结
本发明涉及一种智能高效的实时人流统计系统,包括:摄像头模块、服务器模块;所述摄像头模块与所述服务器模块通信连接;所述摄像头模块用于获取检测区域内视频数据并传输至所述服务器模块;所述服务器模块对所述视频数据中的目标人体进行检测、追踪、统计。本发明克服了现有的人流统计方法容易出现目标被遮挡、追踪信息丢失等导致的计数结果不准确的问题,提高了人流统计的准确性和速度。

技术研发人员:田立业;朱峰;吴波;傅新波;王英超;李天宝;杨秋红;楼鋆
受保护的技术使用者:上海云话科技有限公司
技术研发日:2021.02.03
技术公布日:2021.07.30

转载请注明原文地址:https://doc.8miu.com/read-950047.html

最新回复(0)