本发明属于计算机图像识别的技术领域，具体涉及一种基于帧对齐的同时刻多角度厨师帽检测方法。
背景技术：
食品安全是重大的基本民生问题，保障食品安全是所有食品生产经营者和各级政府、有关监管部门的法定责任，要不断加大监管力度，通过增强生产经营者的外部约束力，促其内部自身管理能力稳步提高。而厨房是食品安全监管的重点，因此规范及监管厨师的行为尤为重要。随着计算机视觉的发展，可以通过深度学习算法解决检测厨师佩戴厨师帽监管问题。
现有利用深度学习进行厨师帽检测的主要是通过人工标注数据利用通用目标检测进行监督学习或者通过两阶段训练，先定位人的位置，然后进行分类。申请号为201911205137.x的现有技术公开了一种基于人工智能的明厨亮灶场景下厨师帽的检测方法，该方案的主要实现方案为：采集并标注数据；通过检测器及特征处理器进行人员匹配；通过检测器定位人员后再进行厨师帽佩戴判定。然而，数据需要大量人工标注，成本高；而且针对不同场景，不同厨师帽的识别准确率不高，鲁棒性较弱。
技术实现要素：
本发明主要通过以下技术方案实现：
一种基于帧对齐的同时刻多角度厨师帽检测方法，包括以下步骤：
步骤s100：数据采集及标注：采集不同场景、不同摄像头位置的厨师帽数据，并利用labelimage对采集到的图片进行厨师帽检测框标注；
步骤s200：多角度视频帧对齐：对同一场景中不同角度的视频流进行帧对齐处理；
步骤s300：同时刻不同角度厨师帽检测：包括厨师帽检测模型训练和厨师帽检测模型部署；利用步骤s100中标注的图像数据训练厨师帽检测模型，将训练好的厨师帽检测模型转换为tensorrt引擎；然后利用转换好的tensorrt引擎对步骤s200中对齐后的不同角度视频帧同一时刻数据进行多batchsize加速推理，得到同一时刻不同角度的厨师帽检测结果；
步骤s400：行人重识别：对待检测人员的全身照进行特征提取并存入数据库，将对齐后的不同角度视频帧同一时刻数据输入步骤s300中转换好的tensorrt引擎并进行特征提取得到人形特征；然后将人形特征与数据库中的数据进行相似度计算，检索出相似度最大的数据库人形数据，若相似度大于阈值，则表示匹配上，否则不是；
步骤s500：同一人厨师帽佩戴匹配：遍历同一时刻不同角度下同一人的人形框位置，遍历同一时刻不同角度下的厨师帽框位置；计算同一时刻不同角度下厨师帽位置与同一人形框位置的iou，若同一时刻不同角度下均存在与同一人形框位置iou在预设范围内的厨师帽框，则认为佩戴了厨师帽，否则未佩戴。
为了更好地实现本发明，进一步地，所述步骤s100中在同一场景不同位置放置摄像头采集厨师帽数据。
为了更好地实现本发明，进一步地，所述步骤s200中依次进行视频帧预处理、视频帧特征提取、计算不同角度视频帧的相关系数，若相关系数大于阈值，则两个视频序列是帧对齐，否则两个视频序列不是帧对齐。
为了更好地实现本发明，进一步地，所述步骤s200包括以下步骤：
步骤s201：对不同角度的视频流进行边缘像素裁剪；
步骤s202：利用空间转换网络识别多角度同一目标；
步骤s203：计算不同角度的视频帧相关系数，若相关系数大于阈值，则认为两个视频序列是帧对齐的，否则不是。
为了更好地实现本发明，进一步地，所述步骤s202中的空间转换网络包括本地网络、网格生成器、采样器，所述本地网络为cnn，用于生成转换参数，所述转换参数采用仿射变换矩阵；所述网格生成器在输入图像u中生成对应于来自输出图像v的每个像素的坐标网格；所述采样器用于将转换的参数应用于输入图像。
为了更好地实现本发明，进一步地，所述步骤s400包括以下步骤：
步骤s401：利用待检测人员的全身照进行特征提取并存入数据库；
步骤s402：对对齐后的不同角度视频帧同一时刻数据进行多batchsize的人行检测推理；
步骤s403：对步骤402中所得的人行数据进行特征提取；
步骤s404：将步骤403所得人形特征与数据库中的数据进行相似度计算；
步骤s405：根据步骤s404所得结果检索出相似度最大的数据库人形数据，若相似度大于阈值b，则表示匹配上，否则不是。
本发明的有益效果：
本发明基于度量学习的厨师帽识别技术，以适配不同场景、不同外形的厨师帽识别。针对新的场景本方法可以快速迭代并产生高精度的厨师帽检测模型，针对不同场景下的厨师帽识别，本方法都能稳定、精准识别，具有较好的实用性。
附图说明
图1为本发明的流程图。
具体实施方式
实施例1：
一种基于帧对齐的同时刻多角度厨师帽检测方法，如图1所示，包括以下步骤：
1.数据采集
本方法采集的图像包含了不同场景、不同摄像头位置的厨师帽数据。
步骤1.1:在同一场景中的不同位置放置摄像头采集厨师帽数据；
步骤1.2:在不同场景中重复步骤1.1；
步骤1.3:利用labelimage对采集到的图片进行厨师帽检测框标注。
2.多角度视频帧对齐
本方法中对同一场景中不同角度的视频流进行帧对齐，主要分为视频帧预处理，视频帧特征提取以及计算特征相关性。具体步骤如下：
步骤2.1:对不同角度的视频流进行边缘像素裁剪；
步骤2.2:利用空间转换网络识别多角度同一目标。
一、空间转换网络（spatialtransformernetworks）由以下部分组成：
1）本地网络(thelocalizationnetwork)采用常规cnn,用以生成转换参数，本发明转换参数采用仿射变换矩阵，记为θ；
2）网格生成器(thegridgenerator)在输入图像u中生成对应于来自输出图像v的每个像素的坐标网格。
3）采样器(thesampler)将转换的参数应用于输入图像。
二、空间转换网络前向传播流程
网络结构图（输出图像记为v，输入图像记为u）：
1）u经过”localizationnet”得到仿射变换系数θ。
2）采用上一步生成的θ的逆矩阵记为θ‘，将v上的坐标与θ’相乘，实现逆仿射变换，得到v经过逆向仿射变换后在u（即输入图像）上的坐标网格，记为p’，参见上文”gridgenerator”示意图。
3）利用双线性插值在u上将p’上的所有坐标赋值，然后复制到v。完成空间转换过程。
步骤2.3:计算不同角度的视频帧相关系数，若相关系数大于阈值a，则认为两个视频序列是帧对齐的，否则不是。
3.同时刻不同角度厨师帽检测
本方法主要分为两个阶段：厨师帽检测模型训练阶段和厨师帽检测模型部署阶段。具体步骤如下:
步骤3.1:利用标注的图像数据训练厨师帽检测模型；
步骤3.2:将对于训练好的模型转换为tensorrt引擎；
步骤3.3:部署时利用转换好的tensorrt引擎对对齐后的不同角度视频帧同一时刻数据进行多batchsize加速推理，得到同一时刻不同角度的厨师帽检测结果。
4.行人重识别
本方法在于解决不同拍摄角度下同一人的识别问题。具体步骤如下所示：
步骤4.1:利用待检测人员的全身照进行特征提取并存入数据库；
步骤4.2:对对齐后的不同角度视频帧同一时刻数据进行多batchsize的人行检测推理；
步骤4.3:对步骤4.2中所得的人行数据进行特征提取；
步骤4.4:将4.3所得人形特征与数据库中的数据进行相似度计算；
步骤4.5:根据4.4所得结果检索出相似度最大的数据库人形数据，若相似度大于阈值b，则表示匹配上，否则不是。
5.同一人佩戴厨师帽匹配
本方法主要解决是否是同一人佩戴厨师帽匹配问题，具体步骤如下所示：
步骤5.1:根据步骤4.5中的结果，遍历同一时刻不同角度下同一人的人形框位置；
步骤5.2:遍历同一时刻不同角度下的厨师帽框位置；
步骤5.3:计算同一时刻不同角度下厨师帽框位置与同一人形框位置的iou，不同角度下均存在与同一人形框位置iou在范围[c,d]之间的厨师帽框，则该人佩戴厨师帽，否则未佩戴。
本发明基于度量学习的厨师帽识别技术，以适配不同场景、不同外形的厨师帽识别。针对新的场景本方法可以快速迭代并产生高精度的厨师帽检测模型，针对不同场景下的厨师帽识别，本方法都能稳定、精准识别，具有较好的实用性。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
1.一种基于帧对齐的同时刻多角度厨师帽检测方法，其特征在于，包括以下步骤：
步骤s100：数据采集及标注：采集不同场景、不同摄像头位置的厨师帽数据，并利用labelimage对采集到的图片进行厨师帽检测框标注；
步骤s200：多角度视频帧对齐：对同一场景中不同角度的视频流进行帧对齐处理；
步骤s300：同时刻不同角度厨师帽检测：包括厨师帽检测模型训练和厨师帽检测模型部署；利用步骤s100中标注的图像数据训练厨师帽检测模型，将训练好的厨师帽检测模型转换为tensorrt引擎；然后利用转换好的tensorrt引擎对步骤s200中对齐后的不同角度视频帧同一时刻数据进行多batchsize加速推理，得到同一时刻不同角度的厨师帽检测结果；
步骤s400：行人重识别：对待检测人员的全身照进行特征提取并存入数据库，将对齐后的不同角度视频帧同一时刻数据输入步骤s300中转换好的tensorrt引擎并进行特征提取得到人形特征；然后将人形特征与数据库中的数据进行相似度计算，检索出相似度最大的数据库人形数据，若相似度大于阈值，则表示匹配上，否则不是；
步骤s500：同一人厨师帽佩戴匹配：遍历同一时刻不同角度下同一人的人形框位置，遍历同一时刻不同角度下的厨师帽框位置；计算同一时刻不同角度下厨师帽位置与同一人形框位置的iou，若同一时刻不同角度下均存在与同一人形框位置iou在预设范围内的厨师帽框，则认为佩戴了厨师帽，否则未佩戴。
2.根据权利要求1所述的一种基于帧对齐的同时刻多角度厨师帽检测方法，其特征在于，所述步骤s100中在同一场景不同位置放置摄像头采集厨师帽数据。
3.根据权利要求1所述的一种基于帧对齐的同时刻多角度厨师帽检测方法，其特征在于，所述步骤s200中依次进行视频帧预处理、视频帧特征提取、计算不同角度视频帧的相关系数，若相关系数大于阈值，则两个视频序列是帧对齐，否则两个视频序列不是帧对齐。
4.根据权利要求3所述的一种基于帧对齐的同时刻多角度厨师帽检测方法，其特征在于，所述步骤s200包括以下步骤：
步骤s201：对不同角度的视频流进行边缘像素裁剪；
步骤s202：利用空间转换网络识别多角度同一目标；
步骤s203：计算不同角度的视频帧相关系数，若相关系数大于阈值，则认为两个视频序列是帧对齐的，否则不是。
5.根据权利要求4所述的一种基于帧对齐的同时刻多角度厨师帽检测方法，其特征在于，所述步骤s202中的空间转换网络包括本地网络、网格生成器、采样器，所述本地网络为cnn，用于生成转换参数，所述转换参数采用仿射变换矩阵；所述网格生成器在输入图像u中生成对应于来自输出图像v的每个像素的坐标网格；所述采样器用于将转换的参数应用于输入图像。
6.根据权利要求1-5任一项所述的一种基于帧对齐的同时刻多角度厨师帽检测方法，其特征在于，所述步骤s400包括以下步骤：
步骤s401：利用待检测人员的全身照进行特征提取并存入数据库；
步骤s402：对对齐后的不同角度视频帧同一时刻数据进行多batchsize的人行检测推理；
步骤s403：对步骤402中所得的人行数据进行特征提取；
步骤s404：将步骤403所得人形特征与数据库中的数据进行相似度计算；
步骤s405：根据步骤s404所得结果检索出相似度最大的数据库人形数据，若相似度大于阈值b，则表示匹配上，否则不是。
技术总结