本发明属于施工人员行为识别的,具体地涉及一种施工人员异常行为识别方法及系统。
背景技术:
1、施工安全是各个行业工程建设中所遇到的安全问题,对于建筑行业而言,在施工过程中,因施工人员的异常行为容易导致在实际施工时导致施工事故,因此对于建筑行业而言,对施工人员进行异常行为识别是有必要的。
2、在现有的施工人员异常行为识别过程中,通常通过图像采集设备或者视频采集设备获取施工人员的施工图像或视频,之后将施工图像或视频输入至识别模型中,进行异常识别,但由于实时的施工图像或视频数据过大,容易导致模型识别性能不足,模型识别耗时较长,同时也容易丢失一些重要的特征信息,且在模型提取施工图像或视频的特征时,其特征表达能力不强,无法提取施工图像或视频中的有效特征,进而导致在模型识别异常行为时准确度不高。
技术实现思路
1、为了解决上述技术问题,本发明提供了一种施工人员异常行为识别方法及系统,用于解决现有技术中的技术问题。
2、一方面,本发明提供以下技术方案,一种施工人员异常行为识别方法,包括:
3、获取施工现场的施工视频,将所述施工视频进行分帧处理,以得到若干施工视频帧,对若干所述施工视频帧进行冗余帧剔除,以得到若干重点视频帧;
4、通过动态卷积核对若干所述重点视频帧进行通道压缩与深度卷积处理,以得到若干第一特征视频帧;
5、对若干所述第一特征视频帧进行尺度特征提取与特征融合处理,以得到若干第二特征视频帧;
6、提取所述第二特征视频帧中的骨架数据,基于所述骨架数据构建骨架时空图,对所述骨架时空图进行特征描述,以得到描述特征图;
7、获取训练图像集与对应的异常行为标签,将所述训练图像集与对应的异常行为标签输入预设识别网络中进行训练,将所述描述特征图输入训练后的预设识别网络中,以输出对应的异常行为标签。
8、相比现有技术,本技术的有益效果为:本技术首先获取施工现场的施工视频,将所述施工视频进行分帧处理,以得到若干施工视频帧,对若干所述施工视频帧进行冗余帧剔除,以得到若干重点视频帧;之后通过动态卷积核对若干所述重点视频帧进行通道压缩与深度卷积处理,以得到若干第一特征视频帧;而后对若干所述第一特征视频帧进行尺度特征提取与特征融合处理,以得到若干第二特征视频帧;然后提取所述第二特征视频帧中的骨架数据,基于所述骨架数据构建骨架时空图,对所述骨架时空图进行特征描述,以得到描述特征图;最后获取训练图像集与对应的异常行为标签,将所述训练图像集与对应的异常行为标签输入预设识别网络中进行训练,将所述描述特征图输入训练后的预设识别网络中,以输出对应的异常行为标签,本发明通过对施工视频帧进行冗余帧剔除,剔除了其中的无关视频帧降低了视频帧的数据量,提高模型识别速度,同时本发明通过通道压缩、深度卷积操作、尺度特征提取与特征融合处理等过程,可增加模型的特征表达能力、兼顾深层特征与浅层特征、增强三维时空特征、减少网络参数、保留视频帧的有效特征信息、提高模型识别准确率,且本发明对骨架时空图进行特征描述,可充分提取时空图的时空特征且提高了时空特征提取效率,使得识别模型能够充分关注到施工人员异常行为的动作特征,进一步提升模型识别的准确率。
9、较佳的,所述对若干所述施工视频帧进行冗余帧剔除,以得到若干重点视频帧的步骤包括:
10、使用预设提取算法对若干所述施工视频帧进行特征点粗提取,以得到粗特征点集,将所述施工视频帧转换为rgb图像;
11、在所述粗特征点集中任意选取一粗特征点作为基准特征点,以所述基准特征点为圆心、以预设距离半径确定匹配圆,计算所述匹配圆上的像素点与所述基准特征点之间的灰度差值,若所述匹配圆上的像素点与所述基准特征点之间的灰度差值不小于灰度阈值,则所述基准特征点为图像特征点,若所述匹配圆上的像素点与所述基准特征点之间的灰度差值小于灰度阈值,则将所述基准特征点从所述粗特征点集中剔除;
12、在所述图像特征点预设领域范围内选取若干对描述像素点,根据每对所述描述像素点之间的大小关系生成若干二进制编码,将若干二进制编码进行组合,以得到特征描述编码;
13、计算第a帧的施工视频帧的特征描述编码与第a+1帧的施工视频帧的特征描述编码之间的特征相似度,判断所述特征相似度是否大于相似度阈值,若所述特征相似度大于相似度阈值,则计算第a帧的施工视频帧的特征描述编码与第a+2帧的施工视频帧的特征描述编码之间的特征相似度并进行相似度判断,若所述特征相似度不大于相似度阈值,则将第a帧的施工视频帧作为重点视频帧进行保留,并将第a+1帧的施工视频帧继续进行特征相似度计算,以得到若干重点视频帧。
14、较佳的,所述通过动态卷积核对若干所述重点视频帧进行通道压缩与深度卷积处理,以得到若干第一特征视频帧的步骤包括:
15、确定所述重点视频帧的通道数,将个通道等数量分为个压缩通道集,确定每个所述压缩通道集中通道的信息量,在每个所述压缩通道集中选取信息量最大的通道作为压缩通道,以得到通道数为的第一视频帧;
16、使用动态卷积核中的适应平均池化层对通道数为的第一视频帧进行下采样操作,以得到信息量为的第二视频帧:
17、;
18、式中,为第一视频帧的信息量,为适应平均池化层的填充,为动态卷积核的大小,为适应平均池化层的步长;
19、将所述第二视频帧输入所述动态卷积核中的全连接层中,输出视频通道信息,基于所述视频通道信息计算特征权重:
20、;
21、式中,为温度系数,为通道数;
22、基于所述特征权重对所述第二视频帧进行深度卷积处理,以得到若干第一特征视频帧。
23、较佳的,所述对若干所述第一特征视频帧进行尺度特征提取与特征融合处理,以得到若干第二特征视频帧的步骤包括:
24、使用预设特征提取网络提取若干所述第一特征视频帧的第一尺度特征与第二尺度特征并构建特征金字塔;
25、通过所述特征金字塔中的底层将不同尺度的第一尺度特征映射至低维空间,以得到第一特征;
26、通过所述特征金字塔中的顶层所述对所述第二尺度特征进行空间分辨率提升操作,以得到第二特征;
27、通过所述特征金字塔中的横向连接层将所述第一特征与所述第二特征进行元素叠加融合,以得到若干第二特征视频帧。
28、较佳的,所述提取所述第二特征视频帧中的骨架数据,基于所述骨架数据构建骨架时空图的步骤包括:
29、提取所述第二特征视频帧中的骨架数据,基于所述骨架数据确定关节点集,其中,为关节点的数量;
30、在所述关节点集中每次任意选取两关节点进行连接,以得到关节边集,其中,为关节边集的数量;
31、基于所述关节点集中的关节点与所述关节边集中的关节边之间的根源关系确定连接矩阵,基于所述连接矩阵确定第一更新矩阵与第二更新矩阵;
32、基于所述第一更新矩阵与所述第二更新矩阵对所述关节点集与所述关节边集进行更新,以得到更新关节点集与更新关节边集:
33、;
34、;
35、式中,表示连接操作,为第一更新矩阵的对角矩阵,为第二更新矩阵的对角矩阵;
36、基于所述更新关节点集中保留的关节点与所述更新关节边集中保留的关节边构建二维骨架图,将所述二维骨架图中的关节点、关节边与相邻二维骨架图的关节点、关节边进行帧间连接,以得到骨架时空图。
37、较佳的,所述基于所述关节点集中的关节点与所述关节边集中的关节边之间的根源关系确定连接矩阵,基于所述连接矩阵确定第一更新矩阵与第二更新矩阵的步骤包括:
38、在所述关节点集中任意选取一关节点并在所述关节边集中任意选取一关节边;
39、若所述关节点为所述关节边的起点,则连接矩阵中的元素为-1,若所述关节点为所述关节边的终点,则连接矩阵中中的元素为1,若所述关节点与所述关节边之间没有关联,则连接矩阵中中的元素为0,以得到连接矩阵;
40、将所述连接矩阵中小于0的元素取绝对值进行保留并将其余元素置0,以得到第一更新矩阵,将所述连接矩阵中大于0的元素进行保留并将其余元素置0,以得到第二更新矩阵。
41、较佳的,所述对所述骨架时空图进行特征描述,以得到描述特征图的步骤包括:
42、通过空间注意力机制提取所述骨架时空图的空间特征,以得到空间特征图;
43、通过时间注意力机制提取所述骨架时空图的时间特征,以得到时间特征图;
44、通过通道注意力机制提取所述骨架时空图的通道特征,以得到通道特征图;
45、将所述空间特征图、所述时间特征图与所述通道特征图进行特征连接融合,以得到描述特征图。
46、第二方面,本发明提供以下技术方案,一种施工人员异常行为识别系统,所述系统包括:
47、剔除模块,用于获取施工现场的施工视频,将所述施工视频进行分帧处理,以得到若干施工视频帧,对若干所述施工视频帧进行冗余帧剔除,以得到若干重点视频帧;
48、第一处理模块,用于通过动态卷积核对若干所述重点视频帧进行通道压缩与深度卷积处理,以得到若干第一特征视频帧;
49、第二处理模块,对若干所述第一特征视频帧进行尺度特征提取与特征融合处理,以得到若干第二特征视频帧;
50、特征描述模块,用于提取所述第二特征视频帧中的骨架数据,基于所述骨架数据构建骨架时空图,对所述骨架时空图进行特征描述,以得到描述特征图;
51、识别模块,用于获取训练图像集与对应的异常行为标签,将所述训练图像集与对应的异常行为标签输入预设识别网络中进行训练,将所述描述特征图输入训练后的预设识别网络中,以输出对应的异常行为标签。
52、第三方面,本发明提供以下技术方案,一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的施工人员异常行为识别方法。
53、第四方面,本发明提供以下技术方案,一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的施工人员异常行为识别方法。
1.一种施工人员异常行为识别方法,其特征在于,包括:
2.根据权利要求1所述的施工人员异常行为识别方法,其特征在于,所述对若干所述施工视频帧进行冗余帧剔除,以得到若干重点视频帧的步骤包括:
3.根据权利要求1所述的施工人员异常行为识别方法,其特征在于,所述通过动态卷积核对若干所述重点视频帧进行通道压缩与深度卷积处理,以得到若干第一特征视频帧的步骤包括:
4.根据权利要求1所述的施工人员异常行为识别方法,其特征在于,所述对若干所述第一特征视频帧进行尺度特征提取与特征融合处理,以得到若干第二特征视频帧的步骤包括:
5.根据权利要求1所述的施工人员异常行为识别方法,其特征在于,所述提取所述第二特征视频帧中的骨架数据,基于所述骨架数据构建骨架时空图的步骤包括:
6.根据权利要求5所述的施工人员异常行为识别方法,其特征在于,所述基于所述关节点集中的关节点与所述关节边集中的关节边之间的根源关系确定连接矩阵,基于所述连接矩阵确定第一更新矩阵与第二更新矩阵的步骤包括:
7.根据权利要求1所述的施工人员异常行为识别方法,其特征在于,所述对所述骨架时空图进行特征描述,以得到描述特征图的步骤包括:
8.一种施工人员异常行为识别系统,其特征在于,所述系统包括:
9.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的施工人员异常行为识别方法。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的施工人员异常行为识别方法。
