一种基于人脸聚类的区域客流统计方法、系统、设备和介质与流程

1.本发明涉及智能安防领域，尤其涉及一种基于人脸聚类的区域客流统计方法、系统、设备和介质。


背景技术：

2.客流统计在众多行业领域都是一种重要的分析手段。如在智能安防行业领域，特别是在节假日，需要对某些核心区域的客流进行实时统计来控制人流量，避免发生人流拥挤导致踩踏等安全事故；如在智能商业领域，需要多维度统计分析商场不同楼层、不同类目销售区域的客流分布，为商场类目门店的分布设计优化、商场客流走势、人群分析等经营分析提供强有力的参考依据。
3.目前，对于客流统计方法主要是基于人脸抓拍计数、红外计数、wifi探针计数、人脸跟踪计数、人体跟踪计数、人脸识别等方法。其中基于人脸抓拍计数、红外计数的方法只是累计计数，无法对同一个人进行去重处理；基于wifi探针计数，随着个人安全意识的提高，大部分手机已经进行了数据获取屏蔽设置，无法得到较准的计数结果；基于人脸跟踪计数或人体跟踪的计数方法，在自然场景下人脸或人体的遮挡、消失重现、运动轨迹在摄像头之间切换等较为频繁，会导致大量重复统计的情况，导致计数结果偏差较大。


技术实现要素：

4.鉴于以上现有技术存在的问题，本发明提出一种基于人脸聚类的区域客流统计方法、系统、设备和介质，主要解决目前客流统计偏差大，实时聚类效率低的问题。
5.为了实现上述目的及其他目的，本发明采用的技术方案如下。
6.一种基于人脸聚类的区域客流统计方法，包括：
7.通过目标区域内一个或多个图像处理装置，获取目标区域内原始图像信息；
8.从所述原始图像信息中获取人脸图像信息进行人脸聚类，获取人脸档案集，所述人脸档案集为多个；
9.从所有人脸档案集中选出多个人脸档案，并获取选出的多个人脸档案的重复档案数，根据所述重复档案数确定所有人脸档案集的档案分裂值，并根据所述档案分裂值，确定所述目标区域的客流信息。
10.可选地，还包括：
11.设置时间区间，获取所述时间区间内一个或多个所述目标区域内的原始图像，，将满足所述时间区间的所述原始图像包含的人脸图像用于聚类获取对应的人脸档案集。
12.可选地，对所述人脸图像进行人脸聚类之前，包括：
13.提取所述人脸图像对应的结构化信息，其中，所述结构化信息包括人脸俯仰角、水平角度、人脸质量分数、性别、年龄、是否戴口罩；
14.根据所述结构化信息对获取的人脸图像进行筛选，将筛选后的人脸图像用于人脸聚类。
15.可选地，从所述原始图像中获取人脸图像进行人脸聚类，获取人脸档案集，包括：
16.计算人脸图像的特征向量之间的相似度，将与某一人脸图像的特征向量相似度达到设定的第一阈值的所有人脸图像归入同一人脸档案集作为新建人脸档案集；或，
17.将所述人脸图像的特征向量与已有人脸档案集的中心特征向量进行相似度比对，若相似度达到所述第一阈值，则将对应人脸图像归入对应的已有人脸档案集中；若相似度未达到所述第一阈值，则新建人脸档案集，将所述人脸图像归入所述新建人脸档案集。
18.可选地，完成人脸聚类后，根据所述结构化信息更新所述人脸档案集的属性特征，其中，所述属性特征包括年龄、性别、中心特征向量。
19.可选地，更新所述人脸档案集年龄的方式包括：剔除异常值后所述人脸档案集中所有人脸图像对应年龄的平均值作为所述人脸档案集的年龄；
20.更新所述人脸档案集性别的方式包括：占比最高的性别作为对应人脸档案集的性别；
21.更新所述人脸档案集中心特征向量的方式包括：
22.设置人脸档案集的数量阈值，
23.当人脸档案集中的人脸图像数量小于所述数量阈值时，计算所有人脸图像的特征向量的均值作为中心特征向量；
24.当所述人脸档案集中的人脸图像数量为所述数量阈值的整数倍时，计算人脸档案集中所有人脸图像的特征向量的加权平均作为中心特征向量。
25.可选地，计算特征向量的加权平均的步骤包括：
26.计算所述人脸档案集中任意两个人脸图像之间的相似度，根据相似度值生成相似度矩阵；
27.设置第二阈值，将所述相似度矩阵中与某一人脸图像相似度值达到所述第二阈值的对应人脸图像并入同一人脸子集，以此得到多个人脸子集；
28.选出每个人脸子集中人脸质量分数最高的人脸图像对应的人脸特征向量作为所述人脸子集的代表特征向量，以人脸子集中人脸图像数量作为加权系数，对所有人脸子集中对应的代表特征向量进行加权平均，得到所述人脸档案集的中心特征向量。
29.可选地，根据所述重复档案数确定所有人脸档案集的档案分裂值，包括：
30.从获取的所有人脸图像中选取多个候选人脸图像，通过以图搜图的方式在所有人脸档案集中搜索与所述候选人脸图像匹配的人脸图像，并将所述匹配的人脸图像以及对应的候选人脸图像归入同一标注档案中，形成多个标注档案；
31.获取每个所述标注档案中的人脸图像对应的人脸档案集标识，每个所述标注档案对应的人脸档案集标识数经过去重后即为对应标注档案的分裂值；
32.对所有标注档案的分裂值求均值，作为所有人脸档案集的档案分裂值。
33.可选地，确定所述目标区域的客流信息，包括：
34.根据聚类得到的人脸档案集统计第一客流量，将所述第一客流量与所述档案分裂值之比作为最终客流信息；其中，客流信息包括：特定时间区间的客流统计、客流年龄统计分布、客流性别统计分布、客流变化趋势。
35.一种基于人脸聚类的区域客流统计系统，包括：
36.图像获取模块，用于通过目标区域内一个或多个图像处理装置，获取目标区域内
原始图像信息；
37.人脸聚类模块，用于从所述原始图像信息中获取人脸图像信息进行人脸聚类，获取人脸档案集，所述人脸档案集为多个；
38.客流统计模块，用于从所有人脸档案集中选出多个人脸档案，并获取选出的多个人脸档案的重复档案数，根据所述重复档案数确定所有人脸档案集的档案分裂值，并根据所述档案分裂值，确定所述目标区域的客流信息。
39.一种设备，包括：
40.一个或多个处理器；和
41.其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行基于人脸聚类的区域客流统计方法。
42.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行基于人脸聚类的区域客流统计方法。
43.如上所述，本发明一种基于人脸聚类的区域客流统计方法、系统、设备和介质，具有以下有益效果。
44.可适应景区、市区等任意场景区域的客流统计，场景适应性更强；有效解决档案分裂的问题，提高客流统计的准确性。
附图说明
45.图1为本发明一实施例中基于人脸聚类的区域客流统计方法的流程示意图。
46.图2为本发明一实施例中基于人脸聚类的区域客流统计系统的模块图。
47.图3为本发明一实施例中终端设备的结构示意图。
48.图4为本发明另一实施例中终端设备的结构示意图。
具体实施方式
49.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
50.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
51.请参阅图1，本发明提供一种基于人脸聚类的区域客流统计方法，包括以下步骤：
52.步骤s01，通过目标区域内一个或多个图像处理装置，获取目标区域内原始图像信息。
53.在一实施例中，图像处理装置可包括设置在目标区域对应位置的抓拍摄像机、或其他可用于获取实时图像的设备。以抓拍摄像机为例，可获取目标区域内所有抓拍摄像机的点位信息。所述抓拍摄像机的点位信息包含但不限于抓拍摄像机唯一标志、经纬度坐标
信息、地理位置信息、标签信息等。其中，标签信息可以为归属商圈、归属街道、归属社区、归属行政区划等。示例性地，一般抓拍摄像机的点位信息可从抓拍设备管理数据库中获取；抓拍摄像机唯一标志可包括该抓拍摄像机的设备id。
54.在一实施例中，在一实施例中，对于选取的任意待统计的区域或已设定的既定统计区域及任意统计时间范围，根据抓拍摄像机的点位信息获取该区域下的所有抓拍摄像机，记为第一抓拍摄像机集合。示例性地，对于既定区域的客流统计，如需要长期实时监控某商圈区域的客流情况，可以提前关联好该区域的抓拍摄像机集合；也可以选取任意区域，如一次性重大活动举办地或重大事件发生地及周边区域，则可以通过应用界面框选的区域关联该区域下的所有抓拍摄像机集合。针对临时活动，如会展、节假日促销活动等，可根据活动时间设置时间区间，针对举行活动的一个或多个场所进行实时图像采集，获取人脸图像信息。
55.在一实施例中，目标区域的各抓拍摄像机获取目标区域原始图像后将原始图像上传时图像库，可通过人脸检测算法获取图像库中各原始图像包含的人脸图像信息作为待聚类人脸图像信息，并统一上至人脸数据库，其中人脸图像信息包括包含实际人脸图像、设备id、抓拍时间等。人脸检测算法可采用神经网络模型，如mtcnn、yolo系列等目标检测模型。抓拍场景图可能包含一个或多个人脸，人脸检测算法需要识别出抓拍场景图中所有的可能人脸图像。
56.在获取人脸图像后，进一步提取人脸图像的特征向量以及对应的结构化信息。其中，结构化信息包括人脸俯仰角、水平角度、人脸质量分数、性别、年龄、是否戴口罩等。
57.具体地，可构建一个或多个多任务的神经网络解析模型对人脸数据库中的人脸图像进行解析获取特征向量和对应的结构化信息。多任务的神经网络解析模型表示一个模型可以同时识别人脸图像的某几类或所有结构化信息与人脸特征信息。示例性地，如人脸解析模型为一个多任务神经网络模型，则通过该模型可以解析得到人脸特征并能回归预测所有结构化信息值，如人脸俯仰角度、水平角度、人脸质量分数、性别、年龄、是否带口罩等。示例性地，如人脸俯仰角度：0,水平角度：10，人脸质量分数：80，性别：0，年龄：30，是否带口罩：1等。多任务神经网络模型为现有技术，这里不再赘述。
58.步骤s02，从原始图像信息中获取人脸图像信息进行人脸聚类，获取人脸档案集，人脸档案集为多个；
59.在一实施例中，可基于人脸结构化信息对待聚类人脸图像的进行筛选，剔除低质量人脸，得到实际待聚类人脸。示例性地，因抓拍摄像机相对抓拍方位、光照等因素导致人脸俯仰角度过大、水平角度过大、人脸质量分数较低的待聚类人脸，这些人脸通常可辨识度很低，且会导致对应的人脸特征质量较差，对于最终聚类效果有较大且持续性的负面影响，均可视为脏数据进行过滤，不参与人脸聚类，有利于提高聚类效率与提高聚类准确性。示例性地，可以设置当人脸的俯仰角度＞40或水平角度＞50或人脸质量数据<30时,则将该人脸图像直接放入废片库当中，不进行聚类。
60.在一实施例中，当不存在历史人脸档案集时，直接将计算当前获取的人脸图像之间的相似度，具体地，可计算对应特征向量之间的余弦距离或范式距离用于表征相似度。设定第一阈值，当两人脸图像的特征向量间相似度达到第一阈值时，将对应的两个人脸图像归入同一人脸档案库作为新建人脸档案集，以此方法，得到多个人脸档案集。保存人脸档案
集作为后续相似度比对及人脸图像归档的参考。
61.在一实施例中，已有的人脸档案集为已存在的历史聚类结果，每个档案至少关联一张人脸图像，每个人脸档案集的中心特征向量为每个人脸档案的代表特征向量。可将实际待聚类人脸特征向量与已有的人脸档案集中心特征向量进行相似度比对，若某人脸与已有人脸档案集的最大相似度满足第一阈值，则将该人脸归入到最大相似度对应的人脸档案中，完成该人脸的聚类，并更新对应人脸档案的年龄、性别、类特征中心。若某人脸与已有人脸档案集的最大相似度不满足第一阈值，则新建人脸档案集，并将人脸归入到新建人脸档案当中。示例性地，不妨假设已有人脸档案集记为f
h
＝{a
i
:[fc
i
,(p
i1
,p
i2
,
…
p
in
)]}，其中a
i
表示聚类结果唯一标志，fc
i
表示a
i
的中心特征向量，p
in
表示人脸图像唯一标志，(p
i1
,p
i2
,
…
p
in
)表示聚类结果a
i
中包含的人脸图像集合。示例性地，当前存在一人脸p
k
，对应的人脸特征向量为f
k
，对应的人脸图像的关键结构化信息为俯仰角度：5，水平角度：10，人脸质量分数：80，性别：0，年龄：30，是否带口罩：1。满足进行聚类的准入条件。计算f
k
与所有fc
i
的余弦相似度，设定相似度阈值为90％，情况一：得到与fc1的相似度最大且为95％，显然人脸p
k
与已有聚类结果的最大相似度95％大于设定的相似度阈值90％，则将该人脸归入到最大相似度对应的人脸档案集当中，即将p1归入到聚类结果a1中的人脸图像集合(p
i1
,p
i2
,
…
p
in
)，重新计算人脸档案对应的年龄、性别，完成该人脸的聚类归档；情况二：得到与fc
i
中的最大相似度为50％，显然人脸p
k
与已有聚类结果的最大相似度50％大于设定的相似度阈值90％，则新建人脸档案a
i 1
，并将p
k
归入到a
i 1
人脸图像集合中，此时a
i 1
人脸图像集合仅包含p
k
，a
i 1
的类特征中心为fc
i 1
＝f
k
。
[0062]
在一实施例中，更新人脸档案集年龄的方式为剔除异常值后的均值更新；更新人脸档案性别的方式为占比最高的性别作为该人脸档案集的性别。具体地，人脸档案年龄的计算方式为归属该档案的所有人脸年龄剔除异常点后的均值，异常点衡量方式可以为格拉布斯(grubbs)检验法、正态分布判断(3σ准则)等。示例性地，不妨采用正态分布判断，即当某个人脸年龄值a满足则该年龄为异常值，其中σ为该档案年龄值的标准差，为该档案所有人脸年龄均值，则不用进行更新年龄，否则计算均值更新档案年龄值。
[0063]
在一实施例中，更新人脸档案集的中心特征向量的方式可采用多阶段选择平均。具体地：当人脸档案集中的人脸数量小于数量阈值时，选择所有人脸特征向量的均值更新；当人脸档案集的人脸数量等于数量阈值的整数倍时，使用选择加权平均更新。示例性地，不妨将数量阈值设置为n。若某人脸待归入的人脸档案集中的人脸总数为n
‑
2，显然归入后则档案中的人脸总数为n
‑
1＜n，假设该人脸特征为f
′
，归入前的人脸档案集的中心特征向量设为fc
n
‑2，则归入后的人脸档案集中心特征向量为fc
n
‑1，可以通过如下方式快速迭代计算得到：
[0064][0065]
示例性地，若某人脸待归入的人脸档案集中的人脸总数为n
‑
1，显然归入后则人脸档案集中的人脸总数为n，显然为数量阈值n的整数倍，则通过选择加权平均方式更新中心特征向量。基于人脸档案内的所有人脸特征向量生成相似度矩阵，不妨设置为s,矩阵中每个元素可以表示为s
ij
，s
ij
也表示人脸档案内人脸p
i
与p
j
的的相似度，其中，相似度可采用余
弦相似度，i,j为档案内人脸的索引，且0＝＜i,j＜n。对于相似度矩阵s中的每一个元素s
ij
，假设第二相似度阈值为93，若s
ij
大于设定的第二相似度阈值，则建立p
i
与p
j
的连接关系，即归入一个人脸子集当中，则最终构成人脸子集集合。
[0066]
进一步地，对于每个人脸子集，选取子集中人脸质量分数最高的特征向量作为每个子集的代表特征向量，然后对所有子集的代表特征向量进行加权平均计算，最终得到每个人脸档案集的代表特征向量，即中心特征向量。加权平均中的加权系数为每个子集的人脸数量。示例性地，假设得到的三个人脸子集，各人脸子集中人脸质量分数最高的人脸分别为p
i
、p
j
、p
k
，对应的人脸特征向量分别为f
i
、f
j
、f
k
作为各个子集的代表特征，此外，还可以计算得到每个子集包含的人脸数量为p,q,r。通过加权平均计算得到的中心特征向量fc
n
，具体计算公式如下：
[0067][0068]
步骤s03，从所有人脸档案集中选出多个人脸档案，并获取选出的多个人脸档案的重复档案数，根据重复档案数确定所有人脸档案集的档案分裂值，并根据档案分裂值，确定所述目标区域的客流信息。
[0069]
具体地，可根据部分聚类归档结果计算一次档案分裂估计值。对于已有的聚类归档结果，随机选取多个不同人脸抓拍图在已聚类的人脸底库进行以图搜图，将同一个人的人脸归属到一个标注档案当中，最终形成多个标注档案。
[0070]
对于每个标注档案中的人脸，查找该人脸id通过聚类的归属人脸档案集id，最终每个标注人脸档案至少对应一个聚类的人脸档案集id，则可以统计每个标注档案对应的聚类的人脸档案集id的去重后个数，即为该标注档案的分裂值，对所有标注档案的分裂值求均值得到当前所有人脸档案集的档案分裂值。示例性地，假设有k个标注人脸档案，每个人脸档案包含多个人脸，每个人脸档案最终对应的聚类的人脸档案id的去重后个数分别为n1,n2,n3,
…
,n
k
，则档案分裂值计算公式为：
[0071][0072]
在一实施例中，可根据设置的统计时间范围，通过人脸抓拍时间过滤第一抓拍摄像机集合的所有抓拍人脸及其归属人脸档案集，按人脸档案集唯一标志进行去重得到区域第一客流量。
[0073]
进一步地，区域第一客流量除以档案分裂预估值得到区域客流信息。区域客流信息可以为任意统计时间范围与任意统计区域的客流统计值，示例性地，如近一个小时、近一天、近一周某重点区域的客流统计；同理可以得到任意统计时间范围与任意统计区域的客流年龄统计分布、性别统计分布等，示例性地，如某商圈近一周的客流的那女比例、年龄层级分布情况等；同理可以得到任意统计区域的客流趋势分布、环比情况、同比情况等，示例性地，如重大节假日某核心区域每5分钟的客流变化情况等。
[0074]
请参阅图2，本实施例提供了一种基于人脸聚类的区域客流统计系统，用于执行前述方法实施例中所述的基于人脸聚类的区域客流统计方法。由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。
[0075]
在一实施例中，基于人脸聚类的区域客流统计系统，包括图像获取模块10，用于通过目标区域内一个或多个图像处理装置，获取目标区域内原始图像；
[0076]
人脸聚类模块11，用于从所述原始图像中获取人脸图像进行人脸聚类，获取人脸档案集，所述人脸档案集为多个；
[0077]
客流统计模块12，用于从所有人脸档案集中选出多个人脸档案，并获取选出的多个人脸档案的重复档案数，根据所述重复档案数确定所有人脸档案集的档案分裂值，并根据所述档案分裂值，确定所述目标区域的客流信息。图像获取模块10用于辅助执行前述方法实施例介绍的步骤s01，人脸聚类模块11用于执行前述方法实施例介绍的步骤s02，客流统计模块12用于执行前述方法实施例介绍的步骤s03。
[0078]
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、mp3(动态影像专家压缩标准语音层面3，moving picture experts group audio layer iii)播放器、mp4(动态影像专家压缩标准语音层面4，moving picture experts group audio layer iv)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
[0079]
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中基于人脸聚类的区域客流统计方法所包含步骤的指令(instructions)。
[0080]
图3为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
[0081]
可选的，上述第一处理器1101例如可以为中央处理器(central processing unit，简称cpu)、应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
[0082]
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如usb接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
[0083]
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块
的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
[0084]
图4为本申请的另一个实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
[0085]
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
[0086]
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
[0087]
可选地，第一处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
[0088]
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
[0089]
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
[0090]
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(lcd)和触摸面板(tp)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
[0091]
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(mic)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
[0092]
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
[0093]
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
[0094]
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个实施例中，该终端设备中可以包括sim卡插槽，该sim卡插槽用于插入sim卡，使得终端设备可以登录gprs网络，通过互联网与服务器建立通信。
[0095]
由上可知，在图4实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。
[0096]
综上所述，本发明一种基于人脸聚类的区域客流统计方法、系统、设备和介质，通过对抓拍人脸进行聚类来进行客流轨迹归档，再通过客流轨迹的抓拍点位信息与抓拍时间并关联其归属档案，可以完成任意时间范围与任意时空区域组合的客流统计信息，提高了客流统计的灵活性与统计纬度的丰富性，且不局限于当前已有方法中的特定场景，适用场景更为广泛；提出了一种多阶段选择平均方法对中心特征进行更新能有效降低档案分裂情况，通过数量阈值倍数更新的方式倍提高了实时聚档过程中中心特征更新的效率；提出将人脸聚类分裂系数引入客流统计当中，解决目前已有客流统计方法中因档案分裂导致统计偏差较大的问题，提高了客流统计准确性与可用价值。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0097]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

技术特征：
1.一种基于人脸聚类的区域客流统计方法，其特征在于，包括：通过目标区域内一个或多个图像处理装置，获取目标区域内原始图像信息；从所述原始图像信息中获取人脸图像信息进行人脸聚类，获取人脸档案集，所述人脸档案集为多个；从所有人脸档案集中选出多个人脸档案，并获取选出的多个人脸档案的重复档案数，根据所述重复档案数确定所有人脸档案集的档案分裂值，并根据所述档案分裂值，确定所述目标区域的客流信息。2.根据权利要求1所述的基于人脸聚类的区域客流统计方法，其特征在于，还包括：设置时间区间，获取所述时间区间内一个或多个所述目标区域内的原始图像，，将满足所述时间区间的所述原始图像包含的人脸图像用于聚类获取对应的人脸档案集。3.根据权利要求1所述的基于人脸聚类的区域客流统计方法，其特征在于，对所述人脸图像进行人脸聚类之前，包括：提取所述人脸图像对应的结构化信息，其中，所述结构化信息包括人脸俯仰角、水平角度、人脸质量分数、性别、年龄、是否戴口罩；根据所述结构化信息对获取的人脸图像进行筛选，将筛选后的人脸图像用于人脸聚类。4.根据权利要求1所述的基于人脸聚类的区域客流统计方法，其特征在于，从所述原始图像信息中获取人脸图像信息进行人脸聚类，获取人脸档案集，包括：计算人脸图像的特征向量之间的相似度，将与某一人脸图像的特征向量相似度达到设定的第一阈值的所有人脸图像归入同一人脸档案集作为新建人脸档案集；或，将所述人脸图像的特征向量与已有人脸档案集的中心特征向量进行相似度比对，若相似度达到所述第一阈值，则将对应人脸图像归入对应的已有人脸档案集中；若相似度未达到所述第一阈值，则新建人脸档案集，将所述人脸图像归入所述新建人脸档案集。5.根据权利要求3或4所述的基于人脸聚类的区域客流统计方法，其特征在于，完成人脸聚类后，根据所述结构化信息更新所述人脸档案集的属性特征，其中，所述属性特征包括年龄、性别、中心特征向量。6.根据权利要求5所述的基于人脸聚类的区域客流统计方法，其特征在于，更新所述人脸档案集年龄的方式包括：剔除异常值后所述人脸档案集中所有人脸图像对应年龄的平均值作为所述人脸档案集的年龄；更新所述人脸档案集性别的方式包括：占比最高的性别作为对应人脸档案集的性别；更新所述人脸档案集中心特征向量的方式包括：设置人脸档案集的数量阈值，当人脸档案集中的人脸图像数量小于所述数量阈值时，计算所有人脸图像的特征向量的均值作为中心特征向量；当所述人脸档案集中的人脸图像数量为所述数量阈值的整数倍时，计算人脸档案集中所有人脸图像的特征向量的加权平均作为中心特征向量。7.根据权利要求6所述的基于人脸聚类的区域客流统计方法，其特征在于，计算特征向量的加权平均的步骤包括：计算所述人脸档案集中任意两个人脸图像之间的相似度，根据相似度值生成相似度矩
阵；设置第二阈值，将所述相似度矩阵中与某一人脸图像相似度值达到所述第二阈值的对应人脸图像并入同一人脸子集，以此得到多个人脸子集；选出每个人脸子集中人脸质量分数最高的人脸图像对应的人脸特征向量作为所述人脸子集的代表特征向量，以人脸子集中人脸图像数量作为加权系数，对所有人脸子集中对应的代表特征向量进行加权平均，得到所述人脸档案集的中心特征向量。8.根据权利要求1所述的基于人脸聚类的区域客流统计方法，其特征在于，根据所述重复档案数确定所有人脸档案集的档案分裂值，包括：从获取的所有人脸图像中选取多个候选人脸图像，通过以图搜图的方式在所有人脸档案集中搜索与所述候选人脸图像匹配的人脸图像，并将所述匹配的人脸图像以及对应的候选人脸图像归入同一标注档案中，形成多个标注档案；获取每个所述标注档案中的人脸图像对应的人脸档案集标识，每个所述标注档案对应的人脸档案集标识数经过去重后即为对应标注档案的分裂值；对所有标注档案的分裂值求均值，作为所有人脸档案集的档案分裂值。9.根据权利要求1或2所述的基于人脸聚类的区域客流统计方法，其特征在于，确定所述目标区域的客流信息，包括：根据聚类得到的人脸档案集统计第一客流量，将所述第一客流量与所述档案分裂值之比作为最终客流信息；其中，客流信息包括：特定时间区间的客流统计、客流年龄统计分布、客流性别统计分布、客流变化趋势。10.一种基于人脸聚类的区域客流统计系统，其特征在于，包括：图像获取模块，用于通过目标区域内一个或多个图像处理装置，获取目标区域内原始图像；人脸聚类模块，用于从所述原始图像中获取人脸图像进行人脸聚类，获取人脸档案集，所述人脸档案集为多个；客流统计模块，用于从所有人脸档案集中选出多个人脸档案，并获取选出的多个人脸档案的重复档案数，根据所述重复档案数确定所有人脸档案集的档案分裂值，并根据所述档案分裂值，确定所述目标区域的客流信息。11.一种设备，其特征在于，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1
‑
9中一个或多个所述的方法。12.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1
‑
9中一个或多个所述的方法。
技术总结
本发明提出一种基于人脸聚类的区域客流统计方法、系统、设备和介质，包括：通过目标区域内一个或多个图像处理装置，获取目标区域内原始图像；从所述原始图像中获取人脸图像进行人脸聚类，获取人脸档案集，所述人脸档案集为多个；从所有人脸档案集中选出多个人脸档案，并获取选出的多个人脸档案的重复档案数，根据所述重复档案数确定所有人脸档案集的档案分裂值，并根据所述档案分裂值确定所述目标区域的客流信息；本发明可有效提高人脸聚类以及客流统计的效率和准确性。流统计的效率和准确性。流统计的效率和准确性。


技术研发人员：熊永福
受保护的技术使用者：重庆紫光华山智安科技有限公司
技术研发日：2021.03.26
技术公布日：2021/6/29