一种多近邻图约束矩阵分解的动作行为分割方法与流程

1.本发明涉及人体行为分割技术领域，特别涉及一种多近邻图约束矩阵分解的动作行为分割方法。


背景技术：

2.人体行为动作识别是一个多学科交叉的研究方向，涉及图像处理、计算机视觉、模式识别、机器学习、人工智能等多个学科，是计算机视觉领域的一个重要研究课题。随着图像处理技术和智能硬件制造技术的飞速发展，人体行为数据越来越丰富，种类越来越多。通常可以划分为传感器和视觉两种。基于传感器的行为识别利用所佩戴相应的传感器获得行为数据信息。而基于视觉的行为识别又可以分为基于单帧图像和视频的识别，基于单帧图像的行为识别不能有效获取行为图像之间的连贯信息，通常会产生误判，而基于视频的行为识别能够很好的获取视频中的空间和时间信息，准确率得到大大的提升。基于视频的行为分析由于扩展性强，灵活度高，得到了广泛的研究和应用。实际中，无论是传感器还是视觉采集的数据，人体行为数据都是一个序列数据集。
3.人体行为分割是对原始的人体运动捕捉数据进行精确的行为分割，是人体运动数据的结构化分析、理解、应用的基础，是国内外研究人员关注的热点。大量研究对此问题进行了深入的讨论，取得了系列成果，大致形成了三类方法。
4.针对原始人体运动捕捉数据维数高、处理计算量大的难题，一些研究者提出基于数据降维的分割方法。barbic等认为不同的人体运动行为可以用不同的本征维数来表示，提出了pca、ppca和gmm等方法。这些方法通过主成分分析pca(principal component analysis)对人体运动数据降维。假设：包含单个行为的运动序列的固有维数应该小于包含多个行为的运动序列的固有维度，因此，可以在子空间中通过投影误差来检测行为分割点的位置。杨涛等提出了一种基于分层曲线简化的运动捕捉数据提取关键帧的方法。基于pca的方法对硬件的要求不高，实现也相对比较简单，对一些符合假设的应用可以轻易实现。
5.基于深度学习的方法是近年来研究的新热点。如ts
‑
cnn方法，将低级编码视觉信息的时空cnn(st
‑
cnn)用于编码对象状态、位置和对象间关系的细粒度任务。引入捕获高级时间信息的半马尔可夫模型和条件随机场(crf)共同分割并分类动作。tcn方法，引入ed
‑
tcn和dilated tcn编码和解码网络。misra i等利用时间相干性信息来训练行为识别和姿态估计的深度模型。总之，基于深度学习的方法一般都使用cnn(或自动编码器)加其他机器学习方法的组合来实现行为分割，效果优于其他方法，但是对硬件配置的要求较高，而且依赖大量的数据，实现起来比较困难。
6.相较于上述两种思路，基于聚类方法具有相对简单，效果较好的特点，也是对人体行为分割的研究重点。如aca(aligned clusteranalysis)等基于两种扩展的kmeans聚类，确保聚类能够包含可变数量的特征。为了克服aca的不足，zhou等又提出了haca方法。作为一类重要的方法，子空间聚类(subspace clustering)常被用于解决动作分割问题。xia等提出了基于ssc(sparse subspace clustering，稀疏子空间聚类)的方法，通过ssc进行子
空间聚类，再使用三角形约束解决在不同的时间段内相似帧不会被分到同一个簇，保证了时间上的连续性。考虑到人体行为序列是一种时间序列数据，邻近序列点之间包含相似性信息，一些方法设计针对序列数据的聚类算法并应用于人体行为分割。如osc(ordered subspace clustering)将近邻结构信息嵌入到子空间表示的优化目标中去。而li等提出tsc(temporal subspace clustering)算法，采用不同的约束正则项，将序列数据之间的相似性约束嵌入到子空间投影过程中，从而可以获得较好的动作表示。
7.然而，人体行为分割的困难之处在于：1)很难设计合理且易于计算的行为序列点相似性度量准则。由于行为运动是一段时间上连续的序列数据，行为数据的相似性除了要考虑行为动作内序列点之间的相似性，还必须考虑行为动作之间的相似性问题，比较行为动作之间的相似性需要考虑对齐和裁剪等问题；2)通常情况下，行为序列数据是一个高维序列数据，需要对高维数据进行相似性度量、数据对齐和数据降维等预处理，实际实现比较困难。


技术实现要素：

8.本发明提供一种多近邻图约束矩阵分解的动作行为分割方法，动作序列内部少有错误划分的现象，能够把人体行为中较为相似的动作准确区分开来。
9.本发明提供了一种多近邻图约束矩阵分解的动作行为分割方法，包括以下步骤：
10.s1、通过行为动作高维序列数据，设计多图约束结构的约束正则项；
11.s2、构造正则项约束非半负矩阵semi
‑
nmf分解模型；
12.s3、求解非半负矩阵semi
‑
nmf分解模型获得行为序列的低维表示矩阵h；
13.s4、利用低维表示矩阵h生成序列点的关系图g；
14.s5、利用图割方法分割序列点的关系图g，获得动作行为的分割。
15.所述步骤s1中设计多图约束结构的约束正则项的具体步骤包括：
16.s11、计算近邻约束图r117.设输入x∈r
d
×
n
，其低维表示记作：h∈r
p
×
n
，其中，d表示序列中每个数据点的原始维度，p表示低维空间中数据点的维度，n表示序列中数据点总个数；由于人体行为是由连续的序列构成，相邻序列点之间具有较高的相似性；序列点越近，相似度越高；序列点越远，相似度越低；
18.设当前数据点i，纳入比较的前后近邻个数之和为q，q为正偶数，i与近邻的误差尽可能小，即：趋于0，利用当前数据点以及它的若干个近邻来构造结构约束，定义一个带状矩阵r1∈r
n
×
n
；
19.其中，当i≤q/2时，当前序列点之前的近邻个数不足q/2，此时，在序列点之后的近邻中依次补足q个；同理，当i＞n
‑
q/2时，当前序列点之后的近邻个数不足q/2，在序列点之前的近邻中依次补足q个；
20.21.s12、计算相似图r222.对于输入x∈r
d
×
n
，计算每一个节点与其余所有节点的相似度，相似度最高的前q个节点构成一个相似图r2∈r
n
×
n
，用于表示数据中与节点相似的若干节点集合。
23.所述步骤s2构造正则项约束非半负矩阵semi
‑
nmf分解模型的具体方法为：
24.针对x∈r
d
×
n
是高维数据的特点，在获得多图约束之后，利用semi
‑
nmf对原始数据进行降维处理；设z∈r
d
×
p
表示特征空间，h∈r
p
×
n
表示输入数据在特征空间的表示系数矩阵，该矩阵元素为非负值；
25.构建优化目标如下：
[0026][0027][0028]
其中，表示frobenius范数，其中α和β作为权重参数调节正则约束项在优化目标中的权重，τ是不同约束图的权重向量，其中l1＝d1‑
r1，d1＝diag(∑r1)和l2＝d2‑
r2，d2＝diag(∑r2)。
[0029]
所述步骤s3求解非半负矩阵semi
‑
nmf分解模型获得行为序列的低维表示为h，具体方法如下：
[0030]
解semi
‑
nmf矩阵分解模型是一个非凸优化问题，没有全局最优解，利用交替迭代的思路获得优化模型的局部最优解，设置迭代次数，每次分别固定其他变量，依次计算z、h和τ，直到迭代次数到达设定值后，获得的h就是最终的输出；
[0031]
每次迭代中，z、h和τ的计算分别如下：
[0032]
z的迭代公式：根据矩阵运算规则，得其闭式解为：
[0033]
z＝xh
t
(hh
t
)
‑1[0034]
h的迭代公式：根据非负矩阵分解的规则，h的迭代公式需求解以下优化目标：
[0035][0036]
令[]

表示只含有原矩阵的非负元素,[]
‑
表示只含有原矩阵的非正元素,则h的迭代公式为：
[0037][0038]
其中
[0039]
τ的迭代规则：τ的计算需求解以下优化目标：
[0040][0041]
[0042]
令γ＝α/β,通过以上的计算，获得低维表示矩阵h。
[0043]
所述步骤s4中利用低维表示矩阵h生成序列点的关系图g的具体方法为：
[0044]
根据谱图理论(spectral graph)，利用h生成序列点的关系图g∈r
n
×
n
，图的顶点代表序列点，图的边通过计算h上序列点与其他点的相似度获得，相似度最高的前k个点构成该点的k邻集合n(i)，边g(i,j)定义为：
[0045][0046]
显然，由于第i 1点距离点i很近，加之结构约束，它们之间相似度较高，会生成边，这样确保了动作序列内的点尽可能划分到同一类；若即使利用结构约束，i和i 1的相似度仍然不高，说明i处于动作序列的结束位置，同时对于距离i较远的点，若它们之间相似度值也很高，说明它们属于重复的动作序列，这样确保了重复的动作序列能够划分到同一类。
[0047]
所述步骤s5中的图割的方法是利用g的拉普拉斯特征值第二小所对应的特征向量来分割g。
[0048]
与现有技术相比，本发明的有益效果在于：
[0049]
本发明设计了较合理且易于计算的行为序列点相似性度量准则，根据该相似性度量准则，对高维数据进行相似性度量、数据对齐和数据降维等预处理，分割动作的准确率较高，动作序列内部少有错误划分的现象，可以把人体行为中较为相似的动作准确区分开来。
附图说明
[0050]
图1为本发明提供的一种多近邻图约束矩阵分解的动作行为分割方法的流程框图。
[0051]
图2为本发明实施例提供的1号数据动作分割结果示意图。
[0052]
图3为本发明实施例提供的2号数据动作分割结果示意图。
[0053]
图4为本发明实施例提供的3号数据动作分割结果示意图。
具体实施方式
[0054]
下面结合附图1
‑
4，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0055]
如图1所示，本发明实施例提供的一种多近邻图约束矩阵分解的动作行为分割方法，提出一种多图约束的半非负矩阵分解(semi
‑
nmf)方法用于行为动作序列数据表示，再利用图分割的方法进行聚类，从而实现人体行为的分割。主要工作包括：1、设计多图约束结构约束正则项；2、构造正则项约束semi
‑
nmf矩阵分解模型；3、求解该模型获得行为序列的低维表示；4、利用该低维表示计算序列点相似性权重，生成相似关系矩阵；5、利用图分割的方法获得行为分割。
[0056]
1、设计多图约束正则项
[0057]
首先：计算近邻约束图r1[0058]
设输入x∈r
d
×
n
，其低维示记作：h∈r
p
×
n
，其中，d表示序列中每个数据点的原始维度，p表示低维空间中数据点的维度，n表示序列中数据点总个数。由于人体行为是由连续的序列构成，相邻序列点之间具有较高的相似性。一般情况下，由于序列点越近，相似度越高；
序列点越远，相似度越低。我们希望在构造序列数据表示时，近邻点之间尽可能地相似，以确保行为动作内数据表示尽可能紧致。设当前数据点i，纳入比较的前后近邻个数之和为q(q为正偶数)，我们希望i与近邻的误差尽可能小，即：尽可能趋于0。据此，可以利用当前数据点以及它的若干个近邻来构造结构约束，为此定义一个特殊的带状矩阵r1∈r
n
×
n
：
[0059]
其中，当i≤q/2时，当前序列点之前的近邻个数不足q/2，此时，可以在序列点之后的近邻中依次补足q个；同理，当i＞n
‑
q/2时，当前序列点之后的近邻个数不足q/2，可以在序列点之前的近邻中依次补足q个。比如，当n＝10,q＝2，此时第1个序列点之前没有近邻，可将其之后的第三个序列点纳入到结构约束中。
[0060][0061]
其次：计算相似图r2[0062]
对于输入x∈r
d
×
n
，可以计算每一个节点与其余所有节点的相似度，相似度最高的前q个节点可以构成一个相似图r2∈r
n
×
n
，用于表示数据中与节点相似的若干节点集合。r2的具体计算过程参考文献(cai d,he x,han j,et al.graph regularized nonnegative matrix factorization for data representation[j].ieee transactions on pattern analysis and machine intelligence,2011,33(8):1548
‑
1560.)提供的方法和代码，其中距离的度量可以选择二进制模式，也可以选择热核模式。
[0063]
通过以上的计算，可以利用两种不同的图来刻画节点的近邻相似信息。
[0064]
2、构造正则项约束semi
‑
nmf矩阵分解模型
[0065]
针对x∈r
d
×
n
是高维数据的特点，在获得多图约束之后，利用semi
‑
nmf对原始数据进行降维处理。设z∈r
d
×
p
表示特征空间，h表示输入数据在特征空间的表示系数矩阵，该矩阵元素为非负值。
[0066]
可构建优化目标如下：
[0067][0068][0069]
其中，表示frobenius范数，α和β作为权重参数调节正则约束项在优化目标中的权重，τ是不同约束图的权重向量，其中l1＝d1‑
r1，d1＝diag(∑r1)和l2＝d2‑
r2，d2＝diag(∑r2)。
[0070]
3、解该模型获得行为序列的低维表示h
[0071]
解该模型是一个非凸优化问题，没有全局最优解，可利用交替迭代的思路获得优化模型的局部最优解。迭代次数可设置为100次，每次分别固定其他变量，依次计算z、h和τ，直到迭代100次后，获得的h就是最终的输出。
transactions on pattern analysis and machine intelligence,2000,22(8):888
‑
905.)。
[0090]
具体案例：我们利用cmu mocap 86号中的第1、2、3号(以参考文献chu w s,et al.,video co
‑
summarization:video summarization by visual co
‑
occurrence[a].2015ieee conference on computer vision and pattern recognition[c].boston,ma,usa,ieee computer society:2015.3584
‑
3592)为例进行实验。mocap数据集中每帧中人体动作由42维向量构成。如图2、图3和图4所示，数据集中第一行是真实分割点，第二行是本发明动作分解的分割点。这两个数序列需要分割的数量超过类的个数，如图4需分割为9部分，含7个动作行为(类)即序列中有重复的动作行为，并且这两个序列包含负值数据。
[0091]
参数设置：迭代次数选择为100次，h矩阵的维数p的选择要大于类的个数，我们选择p＝15，q为正偶数，如2，4，6，8，10等。k选择为正整数即可，一般选择大于3。α和β作为权重参数，一般选择为0.001
‑
1之间。分割结果分别如图2、图3和图4所示。
[0092]
本发明设计了较合理且易于计算的行为序列点相似性度量准则，根据该相似性度量准则，对高维数据进行相似性度量、数据对齐和数据降维等预处理，分割动作的准确率较高(分割的起始点和结束点差异不大)，动作序列内部少有错误划分的现象，可以把人体行为中较为相似的动作准确区分开来。
[0093]
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

技术特征：
1.一种多近邻图约束矩阵分解的动作行为分割方法，其特征在于，包括以下步骤：s1、通过行为动作高维序列数据，设计多图约束结构的约束正则项；s2、构造正则项约束非半负矩阵semi
‑
nmf分解模型；s3、求解非半负矩阵semi
‑
nmf分解模型获得行为序列的低维表示矩阵h；s4、利用低维表示矩阵h生成序列点的关系图g；s5、利用图割方法分割序列点的关系图g，获得动作行为的分割。2.如权利要求1所述的多近邻图约束矩阵分解的动作行为分割方法，其特征在于，所述步骤s1中设计多图约束结构的约束正则项的具体步骤包括：s11、计算近邻约束图r1设输入x∈r
d
×
n
，其低维表示记作：h∈r
p
×
n
，其中，d表示序列中每个数据点的原始维度，p表示低维空间中数据点的维度，n表示序列中数据点总个数；由于人体行为是由连续的序列构成，相邻序列点之间具有较高的相似性；序列点越近，相似度越高；序列点越远，相似度越低；设当前数据点i，纳入比较的前后近邻个数之和为q，q为正偶数，i与近邻的误差尽可能小，即：趋于0，利用当前数据点以及它的若干个近邻来构造结构约束，定义一个带状矩阵r1∈r
n
×
n
；其中，当i≤q/2时，当前序列点之前的近邻个数不足q/2，此时，在序列点之后的近邻中依次补足q个；同理，当i＞n
‑
q/2时，当前序列点之后的近邻个数不足q/2，在序列点之前的近邻中依次补足q个；s12、计算相似图r2对于输入x∈r
d
×
n
，计算每一个节点与其余所有节点的相似度，相似度最高的前q个节点构成一个相似图r2∈r
n
×
n
，用于表示数据中与节点相似的若干节点集合。3.如权利要求2所述的多近邻图约束矩阵分解的动作行为分割方法，其特征在于，所述步骤s2构造正则项约束非半负矩阵semi
‑
nmf分解模型的具体方法为：针对x∈r
d
×
n
是高维数据的特点，在获得多图约束之后，利用semi
‑
nmf对原始数据进行降维处理；设z∈r
d
×
p
表示特征空间，h∈r
p
×
n
表示输入数据在特征空间的表示系数矩阵，该矩阵元素为非负值；构建优化目标如下：构建优化目标如下：其中，表示frobenius范数，其中α和β作为权重参数调节正则约束项在优化目标中的
权重，τ是不同约束图的权重向量，其中l1＝d1‑
r1，d1＝diag(∑r1)和l2＝d2‑
r2，d2＝diag(∑r2)。4.如权利要求3所述的多近邻图约束矩阵分解的动作行为分割方法，其特征在于，所述步骤s3求解非半负矩阵semi
‑
nmf分解模型获得行为序列的低维表示为h，具体方法如下：解semi
‑
nmf矩阵分解模型是一个非凸优化问题，没有全局最优解，利用交替迭代的思路获得优化模型的局部最优解，设置迭代次数，每次分别固定其他变量，依次计算z、h和τ，直到迭代次数到达设定值后，获得的h就是最终的输出；每次迭代中，z、h和τ的计算分别如下：z的迭代公式：根据矩阵运算规则，得其闭式解为：z＝xh
t
(hh
t
)
‑1h的迭代公式：根据非负矩阵分解的规则，h的迭代公式需求解以下优化目标：令[]

表示只含有原矩阵的非负元素,[]
‑
表示只含有原矩阵的非正元素,则h的迭代公式为：其中τ的迭代规则：τ的计算需求解以下优化目标：τ的迭代规则：τ的计算需求解以下优化目标：令γ＝α/β,通过以上的计算，获得低维表示矩阵h。5.如权利要求1所述的多近邻图约束矩阵分解的动作行为分割方法，其特征在于，所述步骤s4中利用低维表示矩阵h生成序列点的关系图g的具体方法为：根据谱图理论(spectral graph)，利用h生成序列点的关系图g∈r
n
×
n
，图的顶点代表序列点，图的边通过计算h上序列点与其他点的相似度获得，相似度最高的前k个点构成该点的k邻集合n(i)，边g(i,j)定义为：显然，由于第i 1点距离点i很近，加之结构约束，它们之间相似度较高，会生成边，这样确保了动作序列内的点尽可能划分到同一类；若即使利用结构约束，i和i 1的相似度仍然不高，说明i处于动作序列的结束位置，同时对于距离i较远的点，若它们之间相似度值也很高，说明它们属于重复的动作序列，这样确保了重复的动作序列能够划分到同一类。6.如权利要求1所述的多近邻图约束矩阵分解的动作行为分割方法，其特征在于，所述步骤s5中的图割的方法是利用g的拉普拉斯特征值第二小所对应的特征向量来分割g。
技术总结
本发明涉及人体行为分割技术领域，公开了一种多近邻图约束矩阵分解的动作行为分割方法，包括以下步骤：S1、通过行为动作序列数据，设计多图约束结构的约束正则项；S2、构造正则项约束semi


技术研发人员：张妍
受保护的技术使用者：陕西大步实业有限公司
技术研发日：2021.03.26
技术公布日：2021/6/29