一种端边云融合群智感知环境中的智能节点推荐系统的制作方法

专利2022-05-09  121


本发明涉及一种端边云融合群智感知环境中的智能节点推荐系统,具体说是一种基于多摄像头追踪系统和trackchain区块链信息共享系统的智能节点推荐系统,属于区块链技术结合数据挖掘领域。



背景技术:

视频监控是保障社会安定的重要工具。随着摄像头硬件成本的降低,网络带宽的提高以及存储器件容量的上升,摄像头的安装已经遍布大街小巷。大型智能视频监控的信息处理一般分为单摄像头层面和多摄像头层面。由于单一的摄像头的视域有限,因此单一摄像头得到的信息很难满足需求。因此,多摄像头系统是目前大规模智能监控的重要研究方向。

传统的多摄像头融合方法多为集中式处理,利用服务器端进行处理。但是由于摄像头数目非常多,视频数据处理也是一个非常耗时的计算,这会给服务器端带来大量的运算。因此,多摄像头的处理必然面临向分布式计算转化的趋势。

传统的多摄像头结构多为集中式结构,利用c/s的软件架构方式,通过socket进行数据上行下行传输,服务器端作为决策层对摄像头集中控制,实现摄像头端的协同,但该方法系统扩展性差,部署难度高,造成服务器端的大量的视频处理运算,信息共享不及时,而且数据传输的安全性也不高。



技术实现要素:

本发明技术解决问题:克服现有多摄像头追踪技术扩展性差,信息共享不及时,数据传输安全性不高的缺点,提供一种端边云融合群智感知环境中的用于多摄像头追踪和信息共享的智能节点推荐系统,具有效率高,扩展性强,信息共享可靠的优点。

本发明采用如下的技术方案:一种端边云融合群智感知环境中的智能节点推荐系统,包括:初始化模块、信息上传模块、智能节点推荐模块;其中:

初始化模块:负责由众多作为节点的摄像头边缘设备组成的去中心网络的初始化,确定各个作为节点的摄像头边缘设备接入去中心网络的规则;所述trackchain区块链存放在去中心网络中,trackchain区块链是许可链,参与到去中心网络中的每个摄像头边缘设备都是经过许可的,未经许可的摄像头边缘设备是不可以接入到去中心网络中的;新的摄像头边缘设备加入去中心网络时,更新去中心网络的拓扑;指定某个摄像头边缘设备部署trackchain区块链的智能合约,合约内指定各个摄像头边缘设备能执行的合法操作;

信息上传模块:负责获取某摄像头边缘设备丢失目标行人时的信息,包括丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹id、此摄像头边缘设备的序号;当一个摄像头边缘设备检测到丢失行人时,将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失目标行人的轨迹id、此摄像头边缘设备的序号上传给模块中的交易生成函数,生成签名加密后的交易;加密交易被验证有效后,以区块的形式添加到trackchain区块链的最后,其中区块头内包括上一个区块的哈希指针和此摄像头边缘设备的序号,区块体内是丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失目标行人的轨迹id,这个区块通过pow(proof-of-work)共识机制加入到trackchain区块链中;初始化模块中部署的智能合约中定义了信息上传模块的交易生成函数;

智能节点推荐模块:负责确定所有摄像头边缘设备覆盖区域内的用户移动规律,根据用户移动规律推荐失踪目标可能出现的区域;收集一天内在整个覆盖区域活动的用户的移动轨迹数据,将用户移动轨迹数据表示成用户移动序列t=<id1,id2,…,idn>,其中,idn表示用户进入的区域的摄像头边缘设备序号为n;基于apriori算法确定用户移动规律集,用户移动规律集是从用户移动序列中确定出的用户经常遵循的轨迹的集合,对每一个用户移动序列,检查用户移动序列中用户最后一个进入的区域,检查这个区域在所有摄像头边缘设备覆盖区域的结构图中是否有邻居,将这个区域在结构图中的每一个邻居区域链接在用户移动序列的最后,生成候选用户移动序列;然后计算每一个候选用户移动序列的支持度,如果支持度大于或等于支持度阈值,则该候选用户移动序列是频繁的,将该候选用户移动序列加入到用户移动规律集中;当一个摄像头边缘设备检测到一个新的行人时,获取发现新的行人时的时间戳、新的行人的特征库、新的行人的轨迹id,通过发现新的行人时的时间戳选择对应时间段的用户移动规律集,根据用户移动规律集和当前的摄像头边缘设备序号推荐这个行人上一个可能出现的区域的摄像头的序号;当前摄像头边缘设备查找trackchain区块链每个区块的区块头,找到存储推荐的摄像头边缘设备序号的区块头时,取回区块体中存储的丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹id,并与当前摄像头边缘设备获取的新的行人的特征库进行比较;当对比发现区块体中丢失的目标行人的特征库与的当前摄像头边缘设备获取的新的行人的特征库不匹配时,当前摄像头边缘设备从头搜索trackchain区块链的每个区块,只搜索最近的设定值个区块;如果trackchain区块链的区块体中丢失行人的特征库与当前摄像头边缘设备获取的新的行人的特征库相匹配,则将当前摄像头边缘设备获取的新的行人的轨迹id,改为trackchain区块链的区块体中丢失的目标行人的轨迹id,从而完成行人的轨迹追踪。

所述初始化模块具体实现如下:

(1)初始化由众多作为节点的摄像头边缘设备组成的去中心网络,trackchain区块链为许可链,每个加入去中心网络的摄像头边缘设备都会被严格限制。一个摄像头边缘设备要加入去中心网络时,首先需要注册一个账户,接着这个摄像头边缘设备的加入请求会被发送给去中心网络中的现有摄像头边缘设备,现有的摄像头边缘设备审核加入请求并许可后,当前的摄像头边缘设备被许可作为节点加入去中心网络;

(2)智能合约部署,指定加入去中心网络中的某个摄像头边缘设备部署智能合约,首先通过虚拟机认可的编程语言进行编程,接着此摄像头边缘设备对智能合约通过私钥进行签名并将签名后的智能合约发布出去,最后去中心网络中其他的摄像头边缘设备将这个智能合约进行打包,并把智能合约写入到trackchain区块链中。智能合约中规定各个摄像头边缘设备可以执行的合法规则,去中心网络中的每个摄像头边缘设备都可以调用智能合约。

所述信息上传模块具体实现如下:

(1)获取摄像头边缘设备丢失目标行人时的信息,当摄像头边缘设备的丢失行人时,调用初始化模块部署的智能合约中的upload_target()函数,当前摄像头边缘设备将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹id、此摄像头边缘设备的序号作为upload_target()函数的输入参数上传;upload_target()函数的输出为一个签名加密后的交易;所述丢失的目标行人的特征库,对其他摄像头边缘设备不透明,以保护丢失的目标行人的隐私;

(2)将upload_target()函数生成的加密后的交易添加到trackchain区块链中。这个加密交易的信息通过互联网,向去中心网络中的各个摄像头边缘设备进行广播,某个摄像头边缘设备将这个加密交易打包进候选区块,开始进行哈希计算以赢取记账权,计算成功后向整个去中心网络广播,通过pow(proof-of-work)机制将候选区块添加trackchain区块链的最后。

所述智能节点推荐模块中的apriori算法具体实现如下:

(1)根据所有摄像头边缘设备覆盖区域内的用户移动规律,将0点到24点分为七个时间段:0点到6点,6点到9点,9点到12点,12点到14点,14点到17点,17点到21点,21点到24点;收集一天内不同时间段在整个覆盖区域活动的用户的移动轨迹数据,将用户移动轨迹数据表示成用户移动序列t=<id1,id2,…,idn>,其中,idn表示用户进入的区域的摄像头边缘设备序号为n,并将每个时间段收集到的所有用户移动序列整理成表格的形式作为用户移动序列表;

(2)针对七个时间段中的每个时间段ti,初始化用户移动序列集ci1,ci1中的每个用户移动序列长度均为1,ci1={ti1,ti2,ti3,…,tim},其中m为时间段ti时收集的用户移动序列的数目,tim长度为1,将最终的用户移动规律集li置空;

(3)若用户移动序列集cik,k为cik中用户移动序列的长度,不为空,则继续往下执行,否则执行步骤(7);

(4)设定一个支持度阈值,并通过扫描时间段ti的用户移动序列表,计算用户移动序列集cik中每一个用户移动序列的支持度;

(5)将用户移动序列集cik中支持度大于或等于支持度阈值的用户移动序列添加到用户移动规律集lik,lik的k与cik的k一致,并将用户移动规律集lik中的所有用户移动序列合并到最终的用户移动规律集li中;

(6)对于用户移动规律集lik中的每一个用户移动序列,扫描所有摄像头边缘设备覆盖区域的结构图,将用户移动序列中的最后一个区域在结构图中的每一个邻居区域,链接在用户移动序列的最后,生成用户移动序列长度为k 1的用户移动序列,并将长度为k 1的用户移动序列添加至集cik 1中,转到步骤(3)继续执行;

(7)输出时间段ti的最终的用户移动规律集li。

本发明与现有技术相比的优点在于:

(1)扩展性好,本发明采用基于trackchain区块链的多摄像头追踪技术,每个摄像头边缘设备作为节点接入去中心网络中,即在网络中不存在中心化的硬件或管理机构,结构简单,扩展性好;

(2)数据传输安全性高,本发明中多摄像头之间信息共享,采取通过将数据(即交易)加密后以区块的形式接入trackchain区块链来进行信息共享,利用密码学方式保障数据传输和访问的安全;

(3)信息共享及时,本发明在基于trackchain区块链的多摄像头追踪中加入了智能节点推荐模块,缩短了查找丢失行人的特征库的时间,提高了信息共享的效率。

附图说明

图1为本发明的系统结构图;

图2为所有摄像头边缘设备覆盖区域的结构图。

具体实施方式

下面结合附图对本发明系统的具体实施方式进一步说明。

如图1所示,本发明系统主要划分为三个模块,即:初始化模块、信息上传模块、智能节点推荐模块。

上述各模块的具体实现如下:

1.初始化模块:

(1)初始化由众多作为节点的摄像头边缘设备组成的去中心网络,trackchain区块链为许可链,每个加入去中心网络的摄像头边缘设备都会被严格限制。一个摄像头边缘设备要加入去中心网络时,首先需要注册一个账户,接着这个摄像头边缘设备的加入请求会被发送给去中心网络中的现有摄像头边缘设备,现有的摄像头边缘设备审核加入请求并许可后,当前的摄像头边缘设备被许可作为节点加入去中心网络;

(2)智能合约部署,指定加入去中心网络中的某个摄像头边缘设备部署智能合约,首先通过虚拟机认可的编程语言进行编程,接着此摄像头边缘设备对智能合约通过私钥进行签名并将签名后的智能合约发布出去,最后去中心网络中其他的摄像头边缘设备将这个智能合约进行打包,并把智能合约写入到trackchain区块链中。智能合约中规定各个摄像头边缘设备可以执行的合法规则,去中心网络中的每个摄像头边缘设备都可以调用智能合约。

2.信息上传模块:

(1)获取摄像头边缘设备丢失目标行人时的信息,当摄像头边缘设备的丢失行人时,调用初始化模块部署的智能合约中的upload_target()函数,当前摄像头边缘设备将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹id、此摄像头边缘设备的序号作为upload_target()函数的输入参数上传;upload_target()函数的输出为一个签名加密后的交易;所述丢失的目标行人的特征库,对其他摄像头边缘设备不透明,以保护丢失的目标行人的隐私;

(2)将upload_target()函数生成的加密后的交易添加到trackchain区块链中。这个加密交易的信息通过互联网,向去中心网络中的各个摄像头边缘设备进行广播,某个摄像头边缘设备将这个加密交易打包进候选区块,开始进行哈希计算以赢取记账权,计算成功后向整个去中心网络广播,通过pow(proof-of-work)机制将候选区块添加trackchain区块链的最后。

3.智能节点推荐模块:

(1)确定所有摄像头边缘设备覆盖区域内的用户移动规律。将0点到24点分为七个时间段:0点到6点,6点到9点,9点到12点,12点到14点,14点到17点,17点到21点,21点到24点。收集一天内不同时间段在整个覆盖区域活动的用户的移动轨迹数据,将用户移动轨迹数据表示成用户移动序列t=<id1,id2,…,idn>,其中,idn表示用户进入的区域的摄像头边缘设备序号为n,并将每个时间段收集到的所有用户移动序列整理成对应时间段的用户移动序列表;基于apriori算法确定用户移动规律集,apriori算法的具体实现如下:

①针对每个时间段ti(i∈[1,7]),其中t1∈(00:00,06:00],t2∈(06:00,09:00],…,t7∈(21:00,00:00],初始化用户移动序列集ci1(ci1中的每个用户移动序列长度都为1),如ci1={ti1,ti2,ti3,…,tim},其中m为时间段ti时收集的用户移动序列的数目,tim长度为1,将最终的用户移动规律集li置空;

②若用户移动序列集cik(k为cik中每个用户移动序列的长度)不为空,则继续往下执行,否则执行步骤⑥;

③设定一个支持度阈值,并通过扫描时间段ti的用户移动序列表,计算用户移动序列集cik中每一个用户移动序列的支持度;

④将用户移动序列集cik中支持度大于或等于支持度阈值的用户移动序列添加到用户移动规律集lik(lik的k与cik的k一致),并将用户移动规律集lik中的所有用户移动序列合并到最终的用户移动规律集li中;

⑤对于用户移动规律集lik中的每一个用户移动序列,扫描所有摄像头边缘设备覆盖区域的结构图(图2,图2中的id1,id2,id3,id4,id5,id6,id7,id8表示用户进入的对应的六边形区域的摄像头边缘设备序号为1,2,3,4,5,6,7,8),将用户移动序列中的最后一个区域在结构图中的每一个邻居区域,链接在用户移动序列的最后,生成用户移动序列长度为k 1的用户移动序列集cik 1,转到步骤②继续执行;

⑥输出时间段ti的最终的用户移动规律集li。

(2)智能节点推荐。当一个摄像头边缘设备检测到一个新的行人时,获取发现新的行人时的时间戳、新的行人的特征库、新的行人的轨迹id。通过发现新的行人时的时间戳,选择时间戳对应的时间段ti;根据时间戳对应的时间段ti,得到(1)中确定出的时间段ti的用户移动规律集li;根据时间段ti的用户移动规律集li,以及当前摄像头边缘设备的序号,找到li中当前摄像头边缘设备的序号所在的用户移动序列,并将找到的用户移动序列中当前摄像头边缘设备序号之前的序号作为智能节点进行推荐;

(3)发现新的行人的摄像头边缘设备根据(2)中推荐的智能节点,查找trackchain区块链的每个区块的区块头,找到存储与推荐的智能节点一致的摄像头边缘设备序号时,取回区块体中存储的丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹id,并与当前摄像头边缘设备获取的新的行人的特征库进行比较;当对比发现区块体存储的丢失的目标行人的特征库与的当前摄像头边缘设备获取的新的行人的特征库不匹配时,当前摄像头边缘设备从头搜索trackchain区块链的每个区块,但只搜索最近的300个区块;如果trackchain区块链的区块体中丢失行人的特征库与当前摄像头边缘设备获取的新的行人的特征库相匹配,则将当前摄像头边缘设备获取的新的行人的轨迹id,改为trackchain区块链的区块体中丢失的目标行人的轨迹id,从而完成行人的轨迹追踪。


技术特征:

1.一种端边云融合群智感知环境中的智能节点推荐系统,其特征在于,包括:初始化模块、信息上传模块、智能节点推荐模块;其中:

初始化模块:负责由众多作为节点的摄像头边缘设备组成的去中心网络的初始化,确定各个作为节点的摄像头边缘设备接入去中心网络的规则;将trackchain区块链存放在去中心网络中,所述trackchain区块链是许可链,参与到去中心网络中的每个摄像头边缘设备均是经过许可的,未经许可的摄像头边缘设备是不接入到去中心网络中的;新的摄像头边缘设备加入去中心网络时,更新去中心网络的拓扑;指定某个摄像头边缘设备部署trackchain区块链的智能合约,智能合约内指定各个摄像头边缘设备能执行的合法操作;

信息上传模块:负责获取某摄像头边缘设备丢失目标行人时的信息,包括丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹id和此摄像头边缘设备的序号;当一个摄像头边缘设备检测到丢失行人时,将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失目标行人的轨迹id、此摄像头边缘设备的序号上传给模块中的交易生成函数,生成签名加密后的交易;加密交易被验证有效后,以区块的形式添加到trackchain区块链的最后,其中trackchain区块链的区块头内包括上一个区块的哈希指针和此摄像头边缘设备的序号,trackchain区块链的区块体内是丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失目标行人的轨迹id,所述区块通过pow(proof-of-work)共识机制加入到trackchain区块链中;初始化模块中部署的智能合约中定义信息上传模块的交易生成函数;

智能节点推荐模块:负责确定所有摄像头边缘设备覆盖区域内的用户移动规律,根据用户移动规律推荐失踪目标可能出现的区域;收集一天内在整个覆盖区域活动的用户移动轨迹数据,将用户移动轨迹数据表示成用户移动序列的形式t=<id1,id2,…,idn>,其中,idn表示用户进入的区域的摄像头边缘设备序号为n;基于apriori算法确定用户移动规律集,用户移动规律集是从用户移动序列中确定的用户经常遵循的轨迹的集合,对每一个用户移动序列,检查该用户移动序列中用户最后一个进入的区域,检查所述区域在所有摄像头边缘设备覆盖区域的结构图中是否有邻居,将这个区域在结构图中的每一个邻居区域链接在用户移动序列的最后,生成候选用户移动序列;然后计算每一个候选用户移动序列的支持度,如果支持度大于或等于支持度阈值,则该候选用户移动序列是频繁的,将该候选用户移动序列加入到用户移动规律集中;当一个摄像头边缘设备检测到一个新的行人时,获取发现新的行人时的时间戳、新的行人的特征库、新的行人的轨迹id,通过发现新的行人时的时间戳选择对应时间段的用户移动规律集,根据用户移动规律集和当前的摄像头边缘设备序号推荐这个行人上一个可能出现的区域的摄像头的序号;当前摄像头边缘设备查找trackchain区块链每个区块的区块头,找到存储推荐的摄像头边缘设备序号的区块头时,取回区块体中存储的丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹id,并与当前摄像头边缘设备获取的新的行人的特征库进行比较;当对比发现区块体中丢失的目标行人的特征库与的当前摄像头边缘设备获取的新的行人的特征库不匹配时,当前摄像头边缘设备从头搜索trackchain区块链的每个区块,只搜索最近的设定值个数的区块;如果trackchain区块链的区块体中丢失行人的特征库与当前摄像头边缘设备获取的新的行人的特征库相匹配,则将当前摄像头边缘设备获取的新的行人的轨迹id,改为trackchain区块链的区块体中丢失的目标行人的轨迹id,从而完成行人的轨迹追踪。

2.根据权利要求1所述的端边云融合群智感知环境下的智能节点推荐系统,其特征在于:所述初始化模块具体实现如下:

(1)初始化由众多作为节点的摄像头边缘设备组成的去中心网络,trackchain区块链为许可链,每个加入去中心网络的摄像头边缘设备都会被严格限制。一个摄像头边缘设备要加入去中心网络时,首先需要注册一个账户,接着这个摄像头边缘设备的加入请求会被发送给去中心网络中的现有摄像头边缘设备,现有的摄像头边缘设备审核加入请求并许可后,当前的摄像头边缘设备被许可作为节点加入去中心网络;

(2)智能合约部署,指定加入去中心网络中的某个摄像头边缘设备部署智能合约,首先通过虚拟机认可的编程语言进行编程,然后此摄像头边缘设备对智能合约通过私钥进行签名并将签名后的智能合约发布出去,最后去中心网络中其他的摄像头边缘设备将这个智能合约进行打包,并把智能合约写入到trackchain区块链中;智能合约中规定各个摄像头边缘设备执行的合法规则,去中心网络中的每个摄像头边缘设备均能调用智能合约。

3.根据权利要求1所述的端边云融合群智感知环境下的智能节点推荐系统,其特征在于:所述信息上传模块具体实现如下:

(1)获取摄像头边缘设备丢失目标行人时的信息,当摄像头边缘设备丢失行人时,调用初始化模块部署的智能合约中的upload_target()函数,当前摄像头边缘设备将丢失目标行人时的时间戳、丢失的目标行人的特征库、丢失行人的轨迹id、此摄像头边缘设备的序号作为upload_target()函数的输入参数上传;upload_target()函数的输出为一个签名加密后的交易;所述丢失的目标行人的特征库,对其他摄像头边缘设备不透明,以保护丢失的目标行人的隐私;

(2)将upload_target()函数生成的加密后的交易添加到trackchain区块链中,这个加密交易的信息通过互联网,向去中心网络中的各个摄像头边缘设备进行广播,某个摄像头边缘设备将这个加密交易打包进候选区块,开始进行哈希计算以赢取记账权,计算成功后向整个去中心网络广播,通过pow(proof-of-work)机制将候选区块添加trackchain区块链的最后。

4.根据权利要求1所述的端边云融合群智感知环境下的智能节点推荐系统,其特征在于:所述智能节点推荐模块中,apriori算法的具体实现如下:

(1)根据所有摄像头边缘设备覆盖区域内的用户移动规律,将0点到24点分为七个时间段:0点到6点,6点到9点,9点到12点,12点到14点,14点到17点,17点到21点,21点到24点;收集一天内不同时间段在整个覆盖区域活动的用户的移动轨迹数据,将用户移动轨迹数据表示成用户移动序列t=<id1,id2,…,idn>,其中,idn表示用户进入的区域的摄像头边缘设备序号为n,并将每个时间段收集到的所有用户移动序列整理成表格的形式作为用户移动序列表;

(2)针对七个时间段中的每个时间段ti,初始化用户移动序列集ci1,ci1中的每个用户移动序列长度均为1,ci1={ti1,ti2,ti3,…,tim},其中m为时间段ti时收集的用户移动序列的数目,tim长度为1,将最终的用户移动规律集li置空;

(3)若用户移动序列集cik,k为cik中用户移动序列的长度,不为空,则继续往下执行,否则执行步骤(7);

(4)设定一个支持度阈值,并通过扫描时间段ti的用户移动序列表,计算用户移动序列集cik中每一个用户移动序列的支持度;

(5)将用户移动序列集cik中支持度大于或等于支持度阈值的用户移动序列添加到用户移动规律集lik,lik的k与cik的k一致,并将用户移动规律集lik中的所有用户移动序列合并到最终的用户移动规律集li中;

(6)对于用户移动规律集lik中的每一个用户移动序列,扫描所有摄像头边缘设备覆盖区域的结构图,将用户移动序列中的最后一个区域在结构图中的每一个邻居区域,链接在用户移动序列的最后,生成用户移动序列长度为k 1的用户移动序列,并将长度为k 1的用户移动序列添加至集cik 1中,转到步骤(3)继续执行;

(7)输出时间段ti的最终的用户移动规律集li。

技术总结
本发明涉及一种端边云融合群智感知环境中的智能节点推荐系统,基本框架是一种基于Trackchain区块链的多摄像头追踪系统。Trackchain区块链存放在由众多作为节点的摄像头边缘设备组成的去中心网络中,智能节点推荐系统包含初始化模块、信息上传模块、智能节点推荐模块。收集大量的摄像头覆盖区域移动用户的移动轨迹,对数据进行预处理后,使用Apriori算法确定不同时间段的用户移动规律集,使用确定的用户移动规律集进行节点推荐。

技术研发人员:殷传涛;范昕;王帅;王曦
受保护的技术使用者:北京航空航天大学
技术研发日:2021.04.08
技术公布日:2021.08.03

转载请注明原文地址:https://doc.8miu.com/read-1833.html

最新回复(0)