本发明涉及视觉感知技术领域，具体涉及一种基于视觉感知与人体三维重建的职业教育系统。
背景技术：
职业教育是教育体系中的一种类型，包括职业学校教育和职业培训。在职业培训的过程中，经常会有多名学员同时进行培训教学。因为师资力量有限，无法做到一对一的对学员的操作进行监督指导，不能及时发现操作错误的学员以及具体在什么步骤出现错误，对教育质量具有影响。
在现有技术中，可以通过教学区域的监控摄像头拍摄的图像对学员三维信息的操作动作与标准动作进行对比，发现异常动作。但是因为不同教育类别和不同操作类别，导致学员在进行动作时身体的不同部位运动程度不同。直接将学员动作和标准动作对比无法针对某个身体部位进行重点分析，且对于多名学员来说每个都要进行三维重建和对比，导致系统计算量过大。
技术实现要素：
为了解决上述技术问题，本发明的目的在于提供一种基于视觉感知与人体三维重建的职业教育系统，所采用的技术方案具体如下：
本发明提出了一种基于视觉感知与人体三维重建的职业教育系统，所述系统包括：
图像获取模块，用于获得教学区域图像；所述教学区域图像内包括多个学员；
部件分割模块，用于处理所述教学区域图像获得所述学员的二维姿态信息，所述二维姿态信息包括人体的关键点和所述关键点的关系亲和场信息；所述关键点包括遮挡关键点；根据所述关键点将所述学员分割成不同部件；
关键点置信度获取模块，用于获得与所述遮挡关键点相连部件的遮挡比例；根据所述遮挡比例获得关键点置信度；所述遮挡比例与所述关键点置信度为负相关关系；
部件权重获取模块，用于根据所述教学区域图像中每个所述部件的数量信息和运动程度获得每个所述部件的部件权重；所述部件权重与所述数量信息和所述运动程度为正相关关系；
整齐度获取模块，用于将所述学员分为包含多个所述学员的学员组；根据所述关键点置信度、所述关键点、所述关系亲合场信息和所述部件权重判断所述学员组内每个部件的部件整齐度；将所有所述部件整齐度相加获得所述学员组的整体整齐度；
姿态教育模块，用于将所述整体整齐度异常的所述学员组内所述学员根据所述二维姿态信息进行三维重建，获得三维姿态信息；将所述三维姿态信息与标准三维姿态信息对比，筛选出异常学员；对所述异常学员的姿态进行提醒。
进一步地，所述部件分割模块还包括姿态识别模块；
所述姿态识别模块用于通过预先训练好的openpose姿态识别网络处理所述教学区域图像，获得所述学员的所述关键点和所述关系亲合场信息。
进一步地，所述置信度获取模块还包括遮挡比例获取模块；
所述遮挡比例获取模块用于设置滑窗对所述教学区域图像进行边缘搜索；记录检测出边缘信息时所述滑窗的中心坐标；以所述中心坐标到所述遮挡关键点坐标的距离作为遮挡长度；以所述遮挡长度和所述部件的长度的比值作为所述遮挡比例。
进一步地，所述关键点置信度获取模块通过以下公式计算所述关键点置信度：
其中，δ为所述关键点置信度，l为所述遮挡长度，l为所述部件长度。
进一步地，所述关键点置信度获取模块还包括置信度调整模块；
所述置信度调整模块用于以无所述遮挡关键点的所述二维姿态信息作为标准二维姿态信息；获得所述部件与所述标准二维姿态信息内所述部件的部件相似度；以所述部件相似度的均值与所述关键点置信度的乘积作为调整后的所述关键点置信度。
进一步地，所述部件权重获取模块还包括部件数量信息获取模块；
所述部件数量信息获取模块用于将所述教学区域图像中出现的所述部件的数量与所有所述部件出现数量之和的比值作为所述部件数量信息。
进一步地，所述部件权重获取模块还包括运动程度获取模块；
所述运动程度获取模块用于以所述部件相邻帧的所述关系亲合场信息差均值表示所述运动程度。
进一步地，所述部件权重获取模块通过以下公式获得所述部件权重：
其中，
进一步地，所述姿态教育模块利用hmr网络处理所述二维姿态信息，获得smpl人体模型中的所述三维姿态信息。
进一步地，所述整齐度获取模块通过获得所述部件整齐度的方法包括：
获得所述部件的所述关系亲合场信息与所述学员组内所有所述部件的所述关系亲合场信息均值的余弦相似度；
以所述部件对应的所述关系亲合场反方向上与所述部件相连的所述关键点作为所述部件对应的所述关键点；
以所述部件对应的所述关键点与所述关键点置信度的乘积作为所述部件的部件关键点位置信息；以所述部件关键点位置信息与所述学员组内所有所述部件的所述部件关键点均值的差异作为关键点位置信息差异；
将所有所述学员的所述部件的所述关键点差异均值与所述余弦相似度求和并求均值；所述均值与所述部件权重的乘积为所述部件整齐度。
本发明具有如下有益效果：
1.本发明实施例通过对动态的对学员的身体部件进行加权，能够在职业教育中对于不同职业操作要求的部件进行重点评估，提高了教学质量和检测准确度。
2.本发明实施例通过将学员分组，寻找异常整体整齐度的学员组，针对该组成员进行三维重建和姿态教育，减少了系统计算量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种一种基于视觉感知与人体三维重建的职业教育系统框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知与人体三维重建的职业教育系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于视觉感知与人体三维重建的职业教育系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于视觉感知与人体三维重建的职业教育系统框图，该系统包括图像获取模块101、部件分割模块102，关键点置信度获取模块103、部件权重获取模块104、整齐度获取模块105、三维重建模块106和姿态教育模块107。
图像获取模块101利用广角相机获取学员的教学区域图像。学员的位置为有规则的排列，相机视觉为俯视，最大程度避免学员之间的互相遮挡。
部件分割模块102用于处理教学区域图像获得学员的二维姿态信息。二维姿态信息包括学员的人体关键点和关键点之间的关系亲合场信息。关系亲合场为关系矢量，用来度量关键点之间的匹配度。因为视觉和多人场景的原因，学员人体的关键点分为正常关键点和遮挡关键点。
优选的，部件分割模块103还包括姿态识别模块。姿态识别模块用于通过预先训练好的姿态识别网络处理教学区域图像，获得学员的关键点和关系亲合场信息。在本发明实施例中，姿态识别网络选用openpose网络，openpose网络包括关键点检测网络和关系亲合场两个子网络。姿态识别网络具体包括：
1)将相机采集到教学区域的教学区域图像作为训练数据。利用高斯卷积核在18个人体关键点位置处进行卷积操作，得到高斯热斑，以高斯热斑作为关键点标注。遮挡关键点标注为2，正常关键点标注为1，其他标注为0，完成关键点检测网络的标注。进一步将关键点存在的连接关系的点用方向矢量进行标注，完成关系亲合场网络的标注。
2)将训练数据和标签数据归一化后送入网络中进行训练。关键点检测网络为编码-解码结构，关键点编码器对输入的图像进行卷积和下采样操作进行特征提取，得到特征图，关键点解码器对特征图进行上采样得到包含关键点的关键点热图。关系亲合场网络也为编码-解码结构，得到各个关键点之间的亲和关系场信息。需要说明的是关键点检测网络包含全连接层，用来分类遮挡关键点和正常关键点。
3)损失函数包含三个部分，关键点检测网络损失函数、关系亲合场网损失函数和全连接损失函数。关键点检测网络损失函数和关系亲合场网损失函数与openpose网络中损失函数相同，全连接损失函数采用交叉是损失函数。将三者损失函数相加得到网络整体所用损失函数。利用梯度下降法不断迭代模型参数，完成模型训练。
部件分割模块102得到学员的关键点后，利用关键点将学员人体分割成不同部件。在本发明实施例中，人体关键点选择18个关键点，根据18个关键点将学员人体分割成17个部件，每一个骨骼即为一个部件，在其他实施例中也可选用16个关键点或者21个关键点等情况。
关键点置信度获取模块103获得与遮挡关键点相连的部件的遮挡比例。根据遮挡比例获得关键点置信度。遮挡比例与关键点置信度为负相关关系。
优选的，关键点置信度获取模块103还包括遮挡比例获取模块。遮挡比例获取模块用于设置滑窗对教学区域图像进行边缘搜索。记录检测出边缘信息时滑窗的中心坐标。以中心坐标到遮挡关键点坐标的距离作为遮挡长度。以遮挡长度和部件的长度的比值作为遮挡比例。
优选的，因为遮挡比例与关键点置信度为负相关关系，因此关键点置信度获取模块103利用以下公式计算关键点置信度：
其中，δ为关键点置信度，l为遮挡遮挡长度，l为部件长度。
需要说明的是，遮挡关键点可能会与多个部件相连，当只与一个部件相连时，以该部件评价置信度，当遮挡关键点与多个部件相连时，分别求每一个部件对该遮挡关键点产生的置信度，将每个置信度求和后得到最终置信度；当置信度超过1时，将其置1。
关键点置信度获取模块103还包括置信度调整模块。置信度调整模块用于以无遮挡关键点的所述二维姿态信息作为标准二维姿态信息。因为学员在相机视角范围内的角度问题，将标准二维姿态信息利用仿射变换技术投影至正视角度，将遮挡学员的二维姿态信息以同样的方法变换至正视角度，可以有效缓解学员在视野范围内的视角对相似度数值的影响。
置信度调整模块进一步获得部件与标准二维姿态信息内的部件的部件相似度。为了消除身高对相似度指标的影响，在本发明实施例中，利用余弦相似度作为部件相似度，获得部件的向量，计算该向量与标准二维姿态中对应向量的余弦相似度，以17个部件的部件相似度均值作为当前学员的相似度。相似度数值越大表示姿态越标准，遮挡关键点对姿态估计的影响就越小。因此以相似度与关键点置信度的乘积作为调整后的关键点置信度，得到最终关键点置信度结果。
需要说明的是，为了保证后续检测的准确性，需要将关键点置信度小于置信度阈值的关键点进行筛选。在本发明实施例中，置信度阈值设置为0.3。
部件权重获取模块104用于根据教学区域图像中部件的数量信息和运动程度获得部件的权重。部件权重与数量信息和运动程度为正相关关系，部件数量出现越多，运动程度越大，则部件权重越大。例如在厨师职业教育中，厨师的上半身是主体，重点关注的部件应该是手臂部件，每个学员包含一个手臂部件，在教学区域图像中具有多个学员，所以手臂部件出现的数量多，且作为主要操作部件，运动程度也大，因此需要在后续检测中重点关注手臂部件的情况。
优选的，部件权重获取模块104还包括数量信息获取模块。数量信息获取模块用于将教学区域图像中出现的部件数量与所有部件出现数量之和的比值作为部件数量信息。用公式表示为：
其中，λu为第u个部件的部件数量信息，numu为第u个部件在教学区域图像中的数量，nume为第e个部件在教学区域图像中的数量。
部件权重获取模块104还包括运动程度获取模块。因为关系亲合场表示的信息为方向矢量，因此运动程度获取模块以部件的相邻帧关系亲合场信息差均值表示运动程度。差值越大，表示动作幅度越大，需要重点关注。
优选的，部件权重获取模块104通过以下公式获得部件权重：
其中，
在本发明实施例中，为了节省相机功耗，采样频率设置为1秒采样一次，部件权重也随着采样时间1秒更新一次。
整齐度获取模块105用于根据关键点置信度、关键点、关系亲合场信息和部件权重判断学员组内部件的部件整齐度。将所有部件整齐度相加获得学员组的整体整齐度。
在本发明实施例中，为了使检测更准确，设置每个学员组包含3-5人，并将学员组内的学员进行编号。
优选的，整齐度获取模块105通过以下方法获得部件整齐度：
1)获得学员该部件的关系亲合场信息与学员组内所述部件的所述关系亲合场信息均值的余弦相似度。
2)以部件对应的关系亲合场反方向上与该部件相连的关键点作为部件对应的关键点。
3)以学员该部件对应的关键点与该关键点置信度的乘积作为该部件的部件关键点位置信息。以该部件的部件关键点位置信息与学员组内所有该部件的部件关键点均值的差异作为关键点位置信息差异。
4)将所有学员该部件的关键点差异均值与余弦相似度求和并求均值。均值与部件权重的乘积为所述部件整齐度。
用公式表示为：
其中，
需要说明的是，在进行职业教育过程前，所有学员都要求静止站立。对当前时刻的学员进行整齐度评价，获得初始时刻的整体整齐度。以各学员组的初始整体整齐度为基准判断各组是否存在整齐度异常现象。将实时采集的整体整齐度与初始整体整齐度做差，当差值大于整齐度阈值时，认为当前学员组为异常学员组。在本发明实施例中，整齐度阈值设置为1。
姿态教育模块106将整体整齐度异常的学员组内所有学员根据所述二维姿态信息进行三维重建，获得三维姿态信息。将三维姿态信息与标准三维姿态信息对比，通过学员编号筛选出异常学员。
优选的，姿态教育模块106利用hmr网络处理所述二维姿态信息，获得smpl人体模型中的所述三维姿态信息。标准三维姿态信息同样包含smpl人体模型参数。
姿态教育模块106通过三维姿态信息内参数与标准三维姿态信息的差异对异常学员进行提醒。根据三维姿态信息还可以对学员进行姿势矫正，姿势矫正可以达到具体的偏差角度，保证职业教育的质量。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述系统包括：
图像获取模块，用于获得教学区域图像；所述教学区域图像内包括多个学员；
部件分割模块，用于处理所述教学区域图像获得所述学员的二维姿态信息，所述二维姿态信息包括人体的关键点和所述关键点的关系亲和场信息；所述关键点包括遮挡关键点；根据所述关键点将所述学员分割成不同部件；
关键点置信度获取模块，用于获得与所述遮挡关键点相连部件的遮挡比例；根据所述遮挡比例获得关键点置信度；所述遮挡比例与所述关键点置信度为负相关关系；
部件权重获取模块，用于根据所述教学区域图像中每个所述部件的数量信息和运动程度获得每个所述部件的部件权重；所述部件权重与所述数量信息和所述运动程度为正相关关系；
整齐度获取模块，用于将所述学员分为包含多个所述学员的学员组；根据所述关键点置信度、所述关键点、所述关系亲合场信息和所述部件权重判断所述学员组内每个部件的部件整齐度；将所有所述部件整齐度相加获得所述学员组的整体整齐度；
姿态教育模块，用于将所述整体整齐度异常的所述学员组内所述学员根据所述二维姿态信息进行三维重建，获得三维姿态信息；将所述三维姿态信息与标准三维姿态信息对比，筛选出异常学员；对所述异常学员的姿态进行提醒。
2.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述部件分割模块还包括姿态识别模块；
所述姿态识别模块用于通过预先训练好的openpose姿态识别网络处理所述教学区域图像，获得所述学员的所述关键点和所述关系亲合场信息。
3.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述置信度获取模块还包括遮挡比例获取模块；
所述遮挡比例获取模块用于设置滑窗对所述教学区域图像进行边缘搜索；记录检测出边缘信息时所述滑窗的中心坐标；以所述中心坐标到所述遮挡关键点坐标的距离作为遮挡长度；以所述遮挡长度和所述部件的长度的比值作为所述遮挡比例。
4.根据权利要求3所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述关键点置信度获取模块通过以下公式计算所述关键点置信度：
其中，δ为所述关键点置信度，l为所述遮挡长度，l为所述部件长度。
5.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述关键点置信度获取模块还包括置信度调整模块；
所述置信度调整模块用于以无所述遮挡关键点的所述二维姿态信息作为标准二维姿态信息；获得所述部件与所述标准二维姿态信息内所述部件的部件相似度；以所述部件相似度的均值与所述关键点置信度的乘积作为调整后的所述关键点置信度。
6.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述部件权重获取模块还包括部件数量信息获取模块；
所述部件数量信息获取模块用于将所述教学区域图像中出现的所述部件的数量与所有所述部件出现数量之和的比值作为所述部件数量信息。
7.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述部件权重获取模块还包括运动程度获取模块；
所述运动程度获取模块用于以所述部件相邻帧的所述关系亲合场信息差均值表示所述运动程度。
8.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述部件权重获取模块通过以下公式获得所述部件权重：
其中，
9.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述姿态教育模块利用hmr网络处理所述二维姿态信息，获得smpl人体模型中的所述三维姿态信息。
10.根据权利要求1所述的一种基于视觉感知与人体三维重建的职业教育系统，其特征在于，所述整齐度获取模块通过获得所述部件整齐度的方法包括：
获得所述部件的所述关系亲合场信息与所述学员组内所有所述部件的所述关系亲合场信息均值的余弦相似度；
以所述部件对应的所述关系亲合场反方向上与所述部件相连的所述关键点作为所述部件对应的所述关键点；
以所述部件对应的所述关键点与所述关键点置信度的乘积作为所述部件的部件关键点位置信息；以所述部件关键点位置信息与所述学员组内所有所述部件的所述部件关键点均值的差异作为关键点位置信息差异；
将所有所述学员的所述部件的所述关键点差异均值与所述余弦相似度求和并求均值；所述均值与所述部件权重的乘积为所述部件整齐度。
技术总结