本发明涉及一种面向跌倒分析的人体姿态时空特征提取方法，属于人体行为分析领域。
背景技术：
跌倒行为是异常行为的一种，往往给老人孩子的身心造成严重的损害。随着机器学习和计算机视觉技术的快速发展，人体行为分析技术方面的研究也受到了广泛的关注。在分析人体跌倒行为时，相关文献往往使用传感器设备采集加速度等特征信息，然而在视频检测领域且没有图像传感器的情况下，仅靠视频图像是无法直接采集加速度等信息的，这时往往存在特征提取不足的问题，导致跌倒识别的准确率不高。
技术实现要素：
为了解决上述技术问题，本发明提出了一种面向跌倒分析的人体姿态时空特征提取方法，包括基于行为分析的空间特征设计方法、基于行为分析的时序特征设计方法与基于自适应fsw的人体姿态时空特征融合方法，大大提高了跌倒识别的准确率。
一种面向跌倒分析的人体姿态时空特征提取方法，包括如下步骤：
步骤1，对于实时采集视频流中的每帧图像，采用alphapose人体姿态估计算法检测得到每帧图像中的人体骨骼关键点数据；
步骤2，基于步骤1得到的骨骼关键点数据，提取每帧图像中的人体姿态时空特征向量，具体过程如下：
步骤2-1，提取每帧图像的人体高度差值，以表征人体姿态的跌空间特征；
步骤2-2，提取每帧图像的人体姿态纵向运动速度、相邻帧高度差变化、三帧高度差变化和五帧高度差变化，以表征人体姿态的时序特征；
步骤2-3，基于自适应的帧滑动窗口法fsw的人体姿态时空特征融合方法，提取每帧图像人体姿态的跌倒时空特征向量。
进一步，步骤1中人体骨骼关键点数据包括各关键点的坐标以及置信度。
进一步，步骤2-1中第i帧图像的人体高度差值为：
其中，
进一步，步骤2-2中第i帧图像的人体姿态纵向运动速度为：
式中，
进一步，步骤2-2中第i帧图像的相邻帧高度差变化δhi,1、三帧高度差变化δhi,3和五帧高度差变化δhi,5的计算公式分别为：
δhi,1＝hi-hi-1
δhi,3＝hi-hi-3
δhi,5＝hi-hi-5
其中hi-1、hi-3、hi-5分别表示第i-1帧、第i-3帧、第i-5帧图像的人体高度差值。
进一步，步骤2-3中自适应帧的滑动窗口法fsw的帧窗口宽度t自适应调整，t的取值公式为：
其中，δt为第i帧图像与第i-1帧图像的时间差，a为场景变量，l为人体与摄像机之间的距离，
进一步，第i帧图像人体姿态的时空特征向量为
进一步，该方法还包括对每帧图像人体姿态的时空特征向量中的特征进行归一化处理。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一所述的人体姿态时空特征提取方法。
本发明提出的一种面向跌倒分析的人体姿态时空特征提取方法，该方法先通过alphapose算法检测得到人体骨骼关键点数据，之后提出了基于行为分析的空间特征设计方法、基于行为分析的时序特征设计方法以及基于自适应fsw的人体姿态时空特征融合方法，设计提取出人体跌倒特征，并融合成跌倒特征向量，最后将特征向量输入到分类器，以此判断人体是否发生跌倒行为。该方法可以提取出有意义的深层次的人体跌倒特征，大大提高了跌倒识别的准确率，可以广泛的应用到家居场景中。
附图说明
图1为本发明提供的人体骨骼关键点模型示意图；
图2为本发明提供的帧滑动窗口法的工作原理示意图；
图3为本发明提供的一种面向跌倒分析的人体姿态时空特征提取方法示意图。
具体实施方式
为了更加详细的描述本发明提出的一种面向跌倒分析的人体姿态时空特征提取方法，结合附图，举例说明如下：
图1显示了本发明提供的人体骨骼关键点模型，对应的这些关键点分别为：鼻子0，脖子1，右肩2，右肘3，右腕4，左肩5，左肘6，左腕7，右髋8，右膝9，右脚踝10，左髋11，左膝12，左脚踝13，右眼14，左眼15，右耳16，左耳17。
图2显示了本发明提供的帧滑动窗口法的工作原理，具体如下所述。
由于人体跌倒是一个持续的过程，仅靠单帧图像的人体姿态信息判断跌倒行为是不可靠的，因此需要通过融合一段时间内的姿态信息进行判断。为此，本发明提出了一种自适应的帧滑动窗口法(frameslidewindow,fsw)，用于连续帧的人体姿态特征提取。
fsw方法的基本原理：设置一个固定大小为t的窗口，用来存储一段时间内的人体姿态数据，当新的数据输入时，将其放入窗口右侧，并移除原始的左侧数据。
由于在不同的场景下，若fsw中参数t的取值保持不变，会严重影响人体行为类别的判断。为此，本发明提出了一种自适应的fsw方法，通过动态调整t的取值，以适应各种各样的场景。例如，室外人体剧烈运动时，人体运动状态变化较快，t值范围应该取小点；而室内人体运动时，人体运动一般比较平稳，t值范围应该稍大点。此外，t取值还受到人体与摄像机距离的影响。对于同一人体动作来说，在保持速度不变的情况下，若距离摄像机较远，则采集到的人体运动速度偏慢；若距离摄像机较近，则采集到的人体运动速度较快。为此，本发明考虑了不同因素对参数t的影响，主要包括以下方面：
(1)人体运动状态的变化快慢；
(2)视频采集速率的快慢，即帧率的大小；
(3)采集人体距离摄像机之间的距离；
(4)不同场景变化的影响。
假设在某个场景下，采集人体与摄像机之间的距离为l，视频采集速率为f帧/秒。对于当前帧来说，可将人体脖子关键点的运动速度定义为人体运动速度。设第i帧图像中人体脖子关键点的坐标为
δt＝1/f(2)
其中，δt为第i帧图像与第i-1帧图像的时间差；a为场景变量，可用于调节l的影响。
根据公式1与公式2，可以计算出某个场景下t的取值。在家居场景下，由于老人行动比较缓慢，短时间内l对t的取值影响不大，可忽略不计；而老人跌倒行为持续的时间一般在0.3秒至0.4秒的范围内浮动。假设视频采集速率为30帧/秒，本发明通过将老人跌倒行为持续时间设置为0.4秒(此时t取12)，对提出的自适应fsw方法进行阐述，工作原理如图2所示。其中i表示当前图像帧，di表示第i帧图像数据，帧窗口宽度t为12，步长为3。
图3显示了本发明提供的一种面向跌倒分析的人体姿态时空特征提取方法，该方法主要包括以下步骤：
步骤s301，实时采集家居场景的视频流，采用yolov3目标检测算法检测出人体目标区域；
步骤s302，采用alphapose人体姿态估计算法连续多帧检测得到人体骨骼关键点数据，并运用人体姿态跟踪技术对同一人体姿态进行跟踪；
步骤s303，对当前人体姿态进行时空特征提取，主要分为人体姿态空间特征提取与时序特征提取。
在人体姿态空间特征提取阶段，采用本发明提出的基于行为分析的空间特征设计方法，设计出当前人体姿态的空间特征，具体方法如下：
先确定人体质心的位置。本发明定义人体质心位置为脖子、左髋和右髋所围成的三角形重心位置，然后通过三角形相关公式可计算出人体质心位置的坐标。假设脖子关键点的坐标为(x1,y1)、右髋关键点的坐标为(x2,y2)、左髋关键点的坐标为(x3,y3)，将该三角形的重心坐标记为m(x0,y0)，则有三角形重心计算公式：
由此公式，可计算出该三角形的重心坐标m(x0,y0)，即人体质心的位置。
由于人体跌倒行为主要取决于人体姿态纵向位置的改变，即人体高度的变化，故本发明定义高度差值公式为：
其中，在公式4中，hi表示第i帧图像中人体高度的差值，
在人体姿态时序特征提取阶段，采用本发明提出的基于行为分析的时序特征设计方法，设计出当前人体姿态的跌倒时序特征，具体方法如下：
本发明通过质心定义了人体姿态在纵向位置的运动速度
其中
在人体跌倒的过程中，不仅会导致高度差发生变化，而且高度的变化速率也会发生明显的改变。因此本发明定义了三种高度差变化公式，包括相邻帧高度差变化公式、三帧高度差变化公式和五帧高度差变化公式。计算如公式7所示：
其中δhi,1、δhi,3、δhi,5分别表示相邻帧高度差变化量、三帧高度差变化量、五帧高度差变化量；hi、hi-1、hi-3、hi-5分别表示第i帧、第i-1帧、第i-3帧、第i-5帧图像中人体高度的差值。
步骤s304，之后，采用本发明提出的基于自适应fsw的人体姿态时空特征融合方法，设计提取出当前人体姿态的跌倒时空特征向量，具体方法如下所述。
对于第i帧图像中的某个人体姿态来说，本发明采用自适应的fsw方法，得到该人体姿态对应的连续t帧姿态数据，此处t值取12。之后结合采用步骤s303的方法来设计人体姿态空间与时序特征，并计算出同一人体姿态的连续t帧姿态信息，包括人体高度的差值、人体姿态纵向运动速度、相邻帧高度差变化量、三帧高度差变化量和五帧高度差变化量。
然后，计算提取出该人体姿态对应的连续t帧姿态信息中的最大值和最小值，以此作为该人体姿态对应的跌倒特征数据，主要包括人体高度差值的最大值
由于不同特征的取值范围存在着巨大的差异性，本发明对人体姿态时空特征向量进行归一化，映射到0至1的范围内，以此减少特征差异性造成的误差。假设fi的第k个特征设为fik，k＝1,2,...,10；则对其进行归一化操作，如公式9所示：
其中，
步骤s305，最后，将步骤s304中设计提取得到的人体姿态时空特征向量输入到训练好的跌倒分类器中，以此判断人体是否发生跌倒行为，大大的提高了跌倒识别的准确率。
应当指出，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也在本申请权利要求的保护范围内。
1.一种面向跌倒分析的人体姿态时空特征提取方法，其特征在于，包括如下步骤：
步骤1，对于实时采集视频流中的每帧图像，采用alphapose人体姿态估计算法检测得到每帧图像中的人体骨骼关键点数据；
步骤2，基于步骤1得到的骨骼关键点数据，提取每帧图像中的人体姿态时空特征向量，具体过程如下：
步骤2-1，提取每帧图像的人体高度差值，以表征人体姿态的跌空间特征；
步骤2-2，提取每帧图像的人体姿态纵向运动速度、相邻帧高度差变化、三帧高度差变化和五帧高度差变化，以表征人体姿态的时序特征；
步骤2-3，基于自适应的帧滑动窗口法fsw的人体姿态时空特征融合方法，提取每帧图像人体姿态的跌倒时空特征向量。
2.根据权利要求书1所述的一种面向跌倒分析的人体姿态点有效提取方法，其特征在于，步骤1中人体骨骼关键点数据包括各关键点的坐标以及置信度。
3.根据权利要求书1所述的一种面向跌倒分析的人体姿态时空特征提取方法，其特征在于，步骤2-1中第i帧图像的人体高度差值为：
其中，
4.根据权利要求书1所述的一种面向跌倒分析的人体姿态时空特征提取方法，其特征在于，步骤2-2中第i帧图像的人体姿态纵向运动速度为：
式中，
5.根据权利要求书2所述的一种面向跌倒分析的人体姿态时空特征提取方法，其特征在于，步骤2-2中第i帧图像的相邻帧高度差变化δhi,1、三帧高度差变化δhi,3和五帧高度差变化δhi,5的计算公式分别为：
δhi,1＝hi-hi-1
δhi,3＝hi-hi-3
δhi,5＝hi-hi-5
其中hi-1、hi-3、hi-5分别表示第i-1帧、第i-3帧、第i-5帧图像的人体高度差值。
6.根据权利要求书2所述的一种面向跌倒分析的人体姿态时空特征提取方法，其特征在于，步骤2-3中自适应帧的滑动窗口法fsw的帧窗口宽度t自适应调整，t的取值公式为：
其中，δt为第i帧图像与第i-1帧图像的时间差，a为场景变量，l为人体与摄像机之间的距离，
7.根据权利要求书2所述的一种面向跌倒分析的人体姿态时空特征提取方法，其特征在于，第i帧图像人体姿态的时空特征向量为
8.根据权利要求书2所述的一种面向跌倒分析的人体姿态时空特征提取方法，其特征在于，该方法还包括对每帧图像人体姿态的时空特征向量中的特征进行归一化处理。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一所述的人体姿态时空特征提取方法。
技术总结