本发明涉及计算机视觉，特别是指一种融合行为分析和情感分析的课堂专注度评估方法及装置。
背景技术：
1、随着信息化不断发展，知识获取方式和传授方式发生了革命性变化，教育领域的数字化改革随之日渐加速。在我国不断推进教育信息化和智能化的背景下，建立完善的课堂监测与分析体系，深入研究课堂教学活动已变得越来越重要。
2、课堂教学作为基本的教学形式，一直是教育研究的核心。在课堂学习环境中，教师通过观察学生的行为和情感表现得到反馈，这种以人为主导的检测方法难以避免主观性，并且存在效率低、观测不全等问题，难以扩展到智能信息化课堂教学中。
3、基于计算机视觉技术，对课堂图片或视频进行分析并返回学生的状态评分，可以节省大量精力，让教师免于根据图像或视频对学生状态进行判断，直接根据返回的分数调整教学策略，进而达到提高课堂学习的效果。然而，目前基于计算机视觉的方法大多为对学生的行为分析或对学生的情感分析，无法兼顾行为和情感，这也成为了课堂学习效果提升的瓶颈。另外，在课堂学生行为识别中，通常同一种方法来识别学生的所有行为，这可能导致对行为差异性的忽视。现有的行为识别模型大多基于rgb或骨架图进行行为识别，rgb模态外观信息丰富但受光照、背景变化影响大,而骨骼模态对背景变化鲁棒且关注人体骨骼运动但缺乏人与物体的外观信息。
4、在现有技术中，缺乏一种兼顾行为分析和情感分析的自动且高效的课堂专注度评估方法。
技术实现思路
1、为了解决现有技术存在的无法兼顾行为分析和情感分析的技术问题，本发明实施例提供了一种融合行为分析和情感分析的课堂专注度评估方法及装置。所述技术方案如下：
2、一方面，提供了一种融合行为分析和情感分析的课堂专注度评估方法，该方法由课堂专注度评估设备实现，该方法包括：
3、通过摄像头对学生课堂状态进行数据采集，获得训练数据集；所述训练数据集包括行为识别数据集以及情感识别数据集；
4、基于残差神经网络结构以及yo l ov8模型结构建立待训练两阶段课堂行为识别模型；基于注意力机制的残差神经网络结构建立待训练课堂情感识别模型；
5、采用所述行为识别数据集，对所述待训练两阶段课堂行为识别模型进行训练，获得两阶段课堂行为识别模型；
6、采用所述情感识别数据集，对所述待训练课堂情感识别模型进行训练，获得情感识别模型；
7、获取当前学生课堂状态视频；对所述当前学生课堂状态视频进行数据处理，获得当前状态数据集；将所述当前状态数据集输入所述两阶段课堂行为识别模型，获得学生行为识别结果；将所述当前状态数据输入所述情感识别模型，获得学生情感识别结果；
8、根据所述学生行为识别结果以及所述学生情感识别结果，通过基于层次分析法的模糊综合评价法进行专注度量化，获得专注度评估结果。
9、其中，所述两阶段课堂行为识别模型包括大幅度行为识别模型以及小幅度行为识别模型；
10、所述大幅度行为识别模型包括数据融合层、特征融合层和线性输出层。
11、可选地，所述通过摄像头对学生课堂状态进行数据采集，获得训练数据集，包括：
12、通过摄像头对不同教室的不同角度进行拍摄，获得监控视频；对所述监控视频进行分帧处理，获得课堂学习图片；
13、根据所述课堂学习图片，使用openpose算法进行人体姿态估计，获得学生人体关键点坐标；
14、根据所述学生人体关键点坐标进行图片生成，获得学生rgb图以及学生骨架图；
15、基于学生的低头、抬头和侧头的行为动作，对所述学生rgb图以及学生骨架图进行筛选，获得大幅度行为识别数据集；所述大幅度行为识别数据集用于大幅度行为识别模型的训练；
16、基于学生的玩手机、记笔记和空手的行为动作，使用labe l img软件对所述学生rgb图以及学生骨架图进行标注，获得小幅度行为识别数据集；所述小幅度行为识别数据集用于小幅度行为识别模型的训练；
17、根据所述学生rgb图，通过预设的人脸检测算法对学生人脸区域图像进行裁剪，获得学生人脸图片；基于学生的愉悦、无表情、疲惫、分心和疑惑的人脸表情，对所述学生人脸图片进行筛选，获得情感识别数据集；所述情感识别数据集用于所述情感识别模型的训练。
18、可选地，所述两阶段课堂行为识别模型包括大幅度行为识别模型，所述将所述当前状态数据集输入所述两阶段课堂行为识别模型，获得学生行为识别结果，包括：
19、对所述当前状态数据集进行划分，获得当前大幅度行为识别数据集；
20、将所述当前大幅度行为识别数据集输入所述数据融合层，获得融合rgb图以及融合骨架图；
21、将所述融合rgb图以及所述融合骨架图输入所述特征融合层，获得融合特征；
22、将所述融合特征输入所述线性输出层进行数据处理，获得大幅度行为识别结果。
23、可选地，所述将所述当前大幅度行为识别数据集输入所述数据融合层，获得融合rgb图以及融合骨架图，包括：
24、对所述当前大幅度行为识别数据集进行预处理，获得第一rgb图以及第一骨架图；
25、对所述第一rgb图以及第一骨架图进行图片大小调整，获得第二rgb图以及第二骨架图；
26、采用加权融合法，将所述第二骨架图融入所述第二rgb图，获得融合rgb图；
27、采用加权融合法，将所述第二rgb图融入所述第二骨架图，获得融合骨架图。
28、可选地，所述将所述融合rgb图以及所述融合骨架图输入所述特征融合层，获得融合特征，包括：
29、将所述融合rgb图以及融合骨架图输入所述特征融合层进行特征提取，获得第一rgb特征图以及第一骨架特征图；
30、将所述第一rgb特征图以及第一骨架特征图进行图片大小调整，获得第二rgb特征图以及第二骨架特征图；
31、根据所述第二rgb图以及第二骨架特征图进行计算，得到低阶相似度矩阵；
32、根据所述低阶相似度矩阵进行计算，得到高阶相似度矩阵；
33、根据所述高阶相似度矩阵进行计算，得到行向量以及列向量；
34、根据所述行向量以及列向量进行加权融合，获得融合特征。
35、可选地，所述根据所述学生行为识别结果以及所述学生情感识别结果，通过基于层次分析法的模糊综合评价法进行专注度量化，获得专注度评估结果，包括：
36、根据学生行为的评价标准确定评价因素；所述评价标准包括积极行为、消极行为、积极情绪和消极情绪；所述评价因素包括第一级评价因素以及第二级评价因素；所述第一级评价因素是所述评价标准中行为情绪的组合；所述第一级评价因素表示学生的行为-情绪状态；所述第二级评价因素是指所述行为-情绪状态对应的行为动作以及情绪表征；
37、设定专注度评价等级；对所述专注度评价等级进行赋值，获得专注度等级值；所述专注度评价等级包括低、较低、中等、较高和高；
38、采用层次分析法对所述第一级评价因素以及第二级评价隐私进行权重分配，获得评价因素权重；
39、根据预设的问卷调查结果建立单因素评价矩阵；
40、基于所述第一级评价因素以及第二级评价因素，根据所述单因素评价矩阵以及所述评价因素权重，对根据所述学生行为识别结果以及所述学生情感识别结果进行模糊综合评价，获得专注度评估结果。
41、另一方面，提供了一种融合行为分析和情感分析的课堂专注度装置，该装置应用于融合行为分析和情感分析的课堂专注度评估方法，该装置包括：
42、训练数据集获取模块，用于通过摄像头对学生课堂状态进行数据采集，获得训练数据集；所述训练数据集包括行为识别数据集以及情感识别数据集；
43、模型构建模块，用于基于残差神经网络结构以及yo l ov8模型结构建立待训练两阶段课堂行为识别模型；基于注意力机制的残差神经网络结构建立待训练课堂情感识别模型；
44、行为识别模型训练模块，用于采用所述行为识别数据集，对所述待训练两阶段课堂行为识别模型进行训练，获得两阶段课堂行为识别模型；
45、情感识别模型训练模块，用于采用所述情感识别数据集，对所述待训练课堂情感识别模型进行训练，获得情感识别模型；
46、学生状态识别模块，用于获取当前学生课堂状态视频；对所述当前学生课堂状态视频进行数据处理，获得当前状态数据集；将所述当前状态数据集输入所述两阶段课堂行为识别模型，获得学生行为识别结果；将所述当前状态数据输入所述情感识别模型，获得学生情感识别结果；
47、专注度评价模块，用于根据所述学生行为识别结果以及所述学生情感识别结果，通过基于层次分析法的模糊综合评价法进行专注度量化，获得专注度评估结果。
48、其中，所述两阶段课堂行为识别模型包括大幅度行为识别模型以及小幅度行为识别模型；
49、所述大幅度行为识别模型包括数据融合层、特征融合层和线性输出层。
50、可选地，所述训练数据集获取模块，进一步用于：
51、通过摄像头对不同教室的不同角度进行拍摄，获得监控视频；对所述监控视频进行分帧处理，获得课堂学习图片；
52、根据所述课堂学习图片，使用openpose算法进行人体姿态估计，获得学生人体关键点坐标；
53、根据所述学生人体关键点坐标进行图片生成，获得学生rgb图以及学生骨架图；
54、基于学生的低头、抬头和侧头的行为动作，对所述学生rgb图以及学生骨架图进行筛选，获得大幅度行为识别数据集；所述大幅度行为识别数据集用于大幅度行为识别模型的训练；
55、基于学生的玩手机、记笔记和空手的行为动作，使用labe l img软件对所述学生rgb图以及学生骨架图进行标注，获得小幅度行为识别数据集；所述小幅度行为识别数据集用于小幅度行为识别模型的训练；
56、根据所述学生rgb图，通过预设的人脸检测算法对学生人脸区域图像进行裁剪，获得学生人脸图片；基于学生的愉悦、无表情、疲惫、分心和疑惑的人脸表情，对所述学生人脸图片进行筛选，获得情感识别数据集；所述情感识别数据集用于所述情感识别模型的训练。
57、可选地，所述学生状态识别模块，进一步用于：
58、对所述当前状态数据集进行划分，获得当前大幅度行为识别数据集；
59、将所述当前大幅度行为识别数据集输入所述数据融合层，获得融合rgb图以及融合骨架图；
60、将所述融合rgb图以及所述融合骨架图输入所述特征融合层，获得融合特征；
61、将所述融合特征输入所述线性输出层进行数据处理，获得大幅度行为识别结果。
62、可选地，所述学生状态识别模块，进一步用于：
63、对所述当前大幅度行为识别数据集进行预处理，获得第一rgb图以及第一骨架图；
64、对所述第一rgb图以及第一骨架图进行图片大小调整，获得第二rgb图以及第二骨架图；
65、采用加权融合法，将所述第二骨架图融入所述第二rgb图，获得融合rgb图；
66、采用加权融合法，将所述第二rgb图融入所述第二骨架图，获得融合骨架图。
67、可选地，所述学生状态识别模块，进一步用于：
68、将所述融合rgb图以及融合骨架图输入所述特征融合层进行特征提取，获得第一rgb特征图以及第一骨架特征图；
69、将所述第一rgb特征图以及第一骨架特征图进行图片大小调整，获得第二rgb特征图以及第二骨架特征图；
70、根据所述第二rgb图以及第二骨架特征图进行计算，得到低阶相似度矩阵；
71、根据所述低阶相似度矩阵进行计算，得到高阶相似度矩阵；
72、根据所述高阶相似度矩阵进行计算，得到行向量以及列向量；
73、根据所述行向量以及列向量进行加权融合，获得融合特征。
74、可选地，所述专注度评价模块，进一步用于：
75、根据学生行为的评价标准确定评价因素；所述评价标准包括积极行为、消极行为、积极情绪和消极情绪；所述评价因素包括第一级评价因素以及第二级评价因素；所述第一级评价因素是所述评价标准中行为情绪的组合；所述第一级评价因素表示学生的行为-情绪状态；所述第二级评价因素是指所述行为-情绪状态对应的行为动作以及情绪表征；
76、设定专注度评价等级；对所述专注度评价等级进行赋值，获得专注度等级值；所述专注度评价等级包括低、较低、中等、较高和高；
77、采用层次分析法对所述第一级评价因素以及第二级评价隐私进行权重分配，获得评价因素权重；
78、根据预设的问卷调查结果建立单因素评价矩阵；
79、基于所述第一级评价因素以及第二级评价因素，根据所述单因素评价矩阵以及所述评价因素权重，对根据所述学生行为识别结果以及所述学生情感识别结果进行模糊综合评价，获得专注度评估结果。
80、另一方面，提供一种课堂专注度评估设备，所述课堂专注度评估设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述融合行为分析和情感分析的课堂专注度评估方法中的任一项方法。
81、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述融合行为分析和情感分析的课堂专注度评估方法中的任一项方法。
82、本发明实施例提供的技术方案带来的有益效果至少包括：
83、本发明提出一种融合行为分析和情感分析的课堂专注度评价方法，通过构建两阶段课堂行为识别模型，该模型架构可丰富模型支持识别的场景，提升模型的泛化性能。基于行为识别和情感识别的结果综合分析，兼顾学生的行为和情感对学生的专注度进行综合评价，并对专注度进行量化，为教学效果评估提供数据依据，帮助教师依照学生学习状态调整教学策略，帮助学生进行自我调整，提高课堂学习效率。本发明是一种兼顾行为分析和情感分析的自动且高效的课堂专注度评估方法。
1.一种融合行为分析和情感分析的课堂专注度评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的融合行为分析和情感分析的课堂专注度评估方法，其特征在于，所述两阶段课堂行为识别模型包括大幅度行为识别模型以及小幅度行为识别模型；
3.根据权利要求2所述的融合行为分析和情感分析的课堂专注度评估方法，其特征在于，所述通过摄像头对学生课堂状态进行数据采集，获得训练数据集，包括：
4.根据权利要求1所述的融合行为分析和情感分析的课堂专注度评估方法，其特征在于，所述两阶段课堂行为识别模型包括大幅度行为识别模型，所述将所述当前状态数据集输入所述两阶段课堂行为识别模型，获得学生行为识别结果，包括：
5.根据权利要求4所述的融合行为分析和情感分析的课堂专注度评估方法，其特征在于，所述将所述当前大幅度行为识别数据集输入所述数据融合层，获得融合rgb图以及融合骨架图，包括：
6.根据权利要求4所述的融合行为分析和情感分析的课堂专注度评估方法，其特征在于，所述将所述融合rgb图以及所述融合骨架图输入所述特征融合层，获得融合特征，包括：
7.根据权利要求1所述的融合行为分析和情感分析的课堂专注度评估方法，其特征在于，所述根据所述学生行为识别结果以及所述学生情感识别结果，通过基于层次分析法的模糊综合评价法进行专注度量化，获得专注度评估结果，包括：
8.一种融合行为分析和情感分析的课堂专注度装置，所述融合行为分析和情感分析的课堂专注度装置用于实现如权利要求1-7任一项所述融合行为分析和情感分析的课堂专注度评估方法，其特征在于，所述装置包括：
9.一种课堂专注度评估设备，其特征在于，所述课堂专注度评估设备包括：
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。
