本发明涉及一种基于时空双分支特征融合的教师课堂视频动作识别方法，属于计算机视觉动作识别。
背景技术：
1、教师的课堂表现和教学质量对学生的学习效果至关重要，教师课堂动作识别能够自动分析教师在课堂上的动作，从而为教学评估提供客观、准确的数据支持。动作识别技术则致力于通过分析视频或图像数据来识别和理解人体的动作，为刻画与分析教学过程提供支持。对教师人体关键点时序热图特征和单帧rgb图像特征进行融合，以实现对教师课堂动作的高效准确分类。通过结合不同类型的特征信息，利用深度神经网路与注意力机制实现对教师课堂动作的准确识别，为教育领域提供了一种有效的技术支持，能够进一步的提高教学评估的效率和质量。
技术实现思路
1、本发明提供一种基于时空双分支特征融合的教师课堂视频动作识别方法，用来解决在课堂教学场景中对教师动作准确识别的问题。
2、本发明的技术方案是：一种基于时空双分支特征融合的教师课堂视频动作识别方法，利用双分支特征融合、通道融合模块以及自注意力模块，对教师课堂视频进行教师课堂动作识别，从而判别教师动作类别。教师课堂视频经过目标追踪与人体姿态估计分别获得rgb图像与人体关键点热图，再将两者分别输入到空间特征提取器与时序特征提取器中，并进行横向连接互通特征。两个分支的特征再输入到特征融合模块与注意力模块进行进一步的特征提取，最终经过全连接层输入到分类器中进行教师动作类别的判定。
3、具体步骤为：
4、step 1：预处理阶段：
5、step 1.1：对教师课堂视频进行教师对象的视觉目标追踪操作，获取教师课堂视频中连续教师目标对象位置信息，具体通过目标追踪模型实现追踪，预测视频中每一帧的教师对象的位置坐标，从而获得视频中每一帧的教师对象的位置信息。
6、step 1.2：通过step 1.1获取的连续教师目标对象位置信息，通过人体姿态估计模型对教师目标进行人体姿态估计，获取相应连续的教师人体关键点信息。
7、step 1.3：通过step 1.1获取的连续教师目标对象位置信息，对教师课堂视频进行裁剪，裁剪需要根据整个视频片段中所有的位置信息进行裁剪范围的计算，得到教师目标对象rgb图像。
8、step 1.4：通过step 1.2获取的连续教师人体关键点信息，设置采样参数，进行教师人体关键点的采样，生成对应的教师目标对象时序关键点热图。
9、step 2：特征融合与分类阶段：
10、step 2.1：通过空间特征提取器，对step 1.3获得的教师目标对象rgb图像进行特征提取，得到教师目标对象空间特征。
11、step 2.2：通过时序特征提取器，对step 1.4获得的教师目标对象时序关键点热图进行特征提取，得到教师目标对象空间-时序特征。
12、step 2.3：通过横向连接操作，将step 2.1中的空间特征提取器与step 2.2中的时序特征提取器的中间层特征进行融合，实现跨空间和时间维度的信息交互和融合。
13、step 2.4：对step 2.1的教师目标对象空间特征与step 2.2的教师目标对象空间-时序特征进行通道融合处理，得到教师目标对象通道融合特征。
14、step 2.5：将step 2.4得到的教师目标对象通道融合特征输入注意力模块进行进一步的特征提取，得到教师目标对象注意力时序特征。
15、step 2.6：将step 2.5得到的教师目标对象注意力时序特征，输入到全连接层进行分类操作，最终得到教师目标对象动作类别。
16、所述step 1.2、step 1.3中，连续教师目标对象位置信息将进行统一的教师目标对象处理，从而计算需要裁剪的尺寸大小，裁剪尺寸需要根据连续的位置信息统一计算一个范围，这个范围能够包含住教师目标对象。对于裁剪的位置是需要根据教师的运动情况来决定，因此可以采用教师目标对象的关键点信息计算裁剪位置。
17、所述step 2.3中，空间特征提取器与时序特征提取器是两个主要的特征提取器，两者的输入有所不同，空间特征提取器的输入是rgb图像，时序特征提取器的输入是连续的教师目标对象的关键点热图。在输入方面两种特征提取器是可以相对应的，因此将两种特征提取器的中间特征进行横向连接可以帮助两者更好的提取关键信息。
18、所述step 2.4中，利用通道融合模块对空间特征与空间-时序特征进行通道层面的融合。将空间特征与空间-时序特征按照特征维度进行拼接，构成新的特征组合。通道融合模块的核心是由一个1×1的卷积层与3×3的卷积层组成。1×1的卷积层将空间特征与空间-时序特征按通道进行映射，3×3的卷积层进一步的对特征进行提取。
19、所述step 2.5中，经过step 2.4 中特征的通道融合处理后，将其输入到自注意力机制模块中，以获取注意力特征。这一过程旨在为教师行为识别提供更为有效的特征，从而实现对动作的准确分类。通过自注意力机制模块的作用，模型能够聚焦于融合后的特征，提升对教师动作的识别能力，为后续动作分类任务提供更有力的支持。
20、本发明的有益效果是：本发明利用了时空双分支特征融合的方式来进行教师课堂动作识别。将教师课堂视频的空间信息和时间信息分别进行提取，同时再将这两个分支的特征进行融合，形成最终时间空间融合的特征表示，从而来对教师的动作进行分类识别。相比于传统的动作识别方法，基于时空双分支特征融合的方法能够更好地捕捉到教师在课堂中的动作信息，提高了识别的准确性和鲁棒性，使得最终的识别效果更加出色。
21、本发明中动作识别技术能够自动分析教师在课堂上的动作和姿势，减少了传统主观评估方法的主观性，提高了评估的客观性和准确性。通过利用计算机视觉和深度学习算法，动作识别技术可以快速、高效地对教师的课堂动作进行分析和分类，节省了评估的时间和人力成本。动作识别技术不仅可以帮助评估教学效果，还可以为教师提供反馈和改进建议，帮助其了解自己的教学风格和改进教学方法，从而进一步提升教学质量。
1.一种基于时空双分支特征融合的教师课堂视频动作识别方法，其特征在于：
2.根据权利要求1所述的基于时空双分支特征融合的教师课堂视频动作识别方法，其特征在于：step1.2与step1.3中，连续教师目标对象位置信息将进行统一的教师目标对象处理，获取统一的裁剪范围与裁剪位置。
3.根据权利要求1所述的基于时空双分支特征融合的教师课堂视频动作识别方法，其特征在于：step2.3中，将空间特征提取器与时序特征提取器中间层的中间特征进行特征映射，从而实现空间特征与时序特征的横向连接。
4.根据权利要求1所述的基于时空双分支特征融合的教师课堂视频动作识别方法，其特征在于：step2.4中，利用通道融合模块对空间特征与空间-时序特征进行融合，通道融合模块由一个1×1的卷积层和一个3×3的卷积层构成，1×1的卷积层在通道方向上映射空间特征和空间-时序特征，3×3的卷积层进一步提取特征。
