本发明涉及图像识别领域，尤其涉及一种仪表读数识别方法、装置、设备及存储介质。
背景技术：
1、通常，为了监控生产状况以及生产安全，一般会在工厂的生产环境中安装大量用于监控温度、湿度、压力、电流等关键指标的各类仪表，其中，电子式仪表可以通过网络将数据发送给车间管理系统，但机械式仪表（带指针刻度）却依赖于人工巡检和抄表，不仅费时费力，而且获得仪表数据的效率低，进而影响生产进度和安全。
2、针对此问题，现有技术引入了固定摄像头，通过拍摄仪表图像并进行图像识别，进而快速获得仪表读数。但在很多应用场景中，由于大多数仪表安装位置比较特殊，比如安装在受栅栏保护或视角受限的区域中，进而使得拍摄的仪表图像中存在遮挡而无法快速准确获得仪表读数。虽然可以通过安装多个不同角度的摄像头避免仪表遮挡，但如果需要监控的仪表数量很多，则会大幅增加实施与维护成本。
技术实现思路
1、本发明的主要目的在于解决现有仪表遮挡环境下无法低成本且快速准确获得仪表读数的技术问题。
2、本发明第一方面提供了一种仪表读数识别方法，所述仪表读数识别方法包括：
3、采集仪表遮挡环境下的多张多角度的仪表图像；
4、将各所述仪表图像输入第一检测模型进行表盘检测，并对表盘检测结果进行裁剪，得到多张多角度的第一表盘图像；
5、对各所述第一表盘图像分别进行图像配准与图像融合，得到恢复所有遮挡区域图像信息的第二表盘图像；
6、将所述第二表盘图像输入第二检测模型进行关键点检测，得到所述第二表盘图像中与仪表指针刻度相关的多个关键点；
7、基于各所述关键点，识别所述仪表图像中的仪表读数。
8、在本发明第一方面的第一种实现方式中，所述采集仪表遮挡环境下的多张多角度的仪表图像包括：
9、控制巡检机器人行驶至预设位点，所述位点存在遮挡的仪表；
10、控制所述巡检机器人在所述位点的预设范围内机动，以采集仪表、遮挡物、机器人三者在不同相对位置关系下的可见光图像；
11、控制所述巡检机器人使用单目相机对仪表进行连续拍照，得到多张多角度的仪表图像，并将所有仪表图像归为一组。
12、在本发明第一方面的第二种实现方式中，在所述将各所述仪表图像输入第一检测模型进行表盘检测之前，还包括：
13、获取仪表未遮挡环境下拍摄的多张第一仪表图像样本；
14、分别对各第一仪表图像样本进行表盘标注，并对标注后的各第一仪表图像样本添加随机掩膜，得到带有遮挡区域的多张仪表图像训练样本；
15、将各仪表图像训练样本输入预置深度学习模型进行训练，得到所述第一检测模型。
16、在本发明第一方面的第三种实现方式中，在所述将所述第二表盘图像输入第二检测模型进行关键点检测之前，还包括：
17、获取仪表未遮挡环境下拍摄的多张第二仪表图像样本；
18、分别对各第二仪表图像样本进行指针刻度的关键点标注，得到多张仪表指针刻度图像训练样本；
19、将各仪表指针刻度图像训练样本输入预置深度学习模型进行训练，得到所述第二检测模型；
20、其中，所述第一检测模型与所述第二检测模型共用深度学习模型的主干网络，所述第一检测模型与所述第二检测模型分别具有独立的检测头。
21、在本发明第一方面的第四种实现方式中，所述对各所述第一表盘图像分别进行图像配准与图像融合，得到恢复所有遮挡区域图像信息的第二表盘图像包括：
22、从各所述第一表盘图像中随机选择一张或多张图像作为索引图像；
23、采用orb算法分别提取各所述第一表盘图像的特征点和描述子；
24、以任一张索引图像的特征点和描述子为匹配基准，分别采用暴力匹配算法和k近邻算法对其他图像进行图像配准，得到一组或多组配准图像；
25、对一组或多组配准图像进行图像融合，得到恢复所有遮挡区域图像信息的第二表盘图像。
26、在本发明第一方面的第五种实现方式中，所述对一组或多组配准图像进行图像融合，得到恢复所有遮挡区域图像信息的第二表盘图像包括：
27、当图像配准得到一组配准图像时，分别计算同组配准图像中所有图像在配准后的每个对应像素上的第一平均像素值；
28、将同组配准图像中的索引图像作为第一融合图像，使用各第一平均像素值对应更新所述第一融合图像配准后的每个对应像素上的像素值，得到恢复所有遮挡区域图像信息的第二表盘图像；
29、当图像配准得到多组配准图像时，以一组配准图像为单位，分别计算各组配准图像中所有图像在配准后的每个对应像素上的第二平均像素值；
30、将各组配准图像中的索引图像作为第二融合图像，使用各组的第二平均像素值对应更新所述第二融合图像配准后的每个对应像素上的像素值，得到恢复所有遮挡区域图像信息的多张第二表盘图像。
31、在本发明第一方面的第六种实现方式中，所述关键点包括：表盘中心点、指针尖端点以及多个刻度点，所述基于各所述关键点，识别所述仪表图像中的仪表读数包括：
32、以表盘中心点为起点、指针尖端点和各刻度点为终点，对应生成指针向量和多个刻度向量；
33、分别计算各刻度向量与指针向量的外积以及分别计算各相邻外积的积；
34、分别判断各相邻外积的积是否小于零；
35、若存在相邻外积的积小于零，则将所述相邻外积对应的两个刻度点所围区间作为指针所在的目标刻度区间；
36、分别计算所述目标刻度区间对应刻度向量与指针向量的内积和夹角；
37、基于所述夹角，计算所述区间的分割比，并基于所述分割比，得到所述仪表图像中的仪表读数。
38、本发明第二方面提供一种仪表读数识别装置，所述仪表读数识别装置包括：
39、采集模块，用于采集仪表遮挡环境下的多张多角度的仪表图像；
40、第一检测模块，用于将各所述仪表图像输入第一检测模型进行表盘检测，并对表盘检测结果进行裁剪，得到多张多角度的第一表盘图像；
41、预处理模块，用于对各所述第一表盘图像分别进行图像配准与图像融合，得到恢复所有遮挡区域图像信息的第二表盘图像；
42、第二检测模块，用于将所述第二表盘图像输入第二检测模型进行关键点检测，得到所述第二表盘图像中与仪表指针刻度相关的多个关键点；
43、识别模块，用于基于各所述关键点，识别所述仪表图像中的仪表读数。
44、在本发明第二方面的第一种实现方式中，所述采集模块具体用于：
45、控制巡检机器人行驶至预设位点，所述位点存在遮挡的仪表；
46、控制所述巡检机器人在所述位点的预设范围内机动，以采集仪表、遮挡物、机器人三者在不同相对位置关系下的可见光图像；
47、控制所述巡检机器人使用单目相机对仪表进行连续拍照，得到多张多角度的仪表图像，并将所有仪表图像归为一组。
48、在本发明第二方面的第二种实现方式中，所述仪表读数识别装置还包括：
49、第一训练模块，用于获取仪表未遮挡环境下拍摄的多张第一仪表图像样本；分别对各第一仪表图像样本进行表盘标注，并对标注后的各第一仪表图像样本添加随机掩膜，得到带有遮挡区域的多张仪表图像训练样本；将各仪表图像训练样本输入预置深度学习模型进行训练，得到所述第一检测模型。
50、在本发明第二方面的第三种实现方式中，所述仪表读数识别装置还包括：
51、第二训练模块，用于获取仪表未遮挡环境下拍摄的多张第二仪表图像样本；分别对各第二仪表图像样本进行指针刻度的关键点标注，得到多张仪表指针刻度图像训练样本；将各仪表指针刻度图像训练样本输入预置深度学习模型进行训练，得到所述第二检测模型；其中，所述第一检测模型与所述第二检测模型共用深度学习模型的主干网络，所述第一检测模型与所述第二检测模型分别具有独立的检测头。
52、在本发明第一方面的第四种实现方式中，所述预处理模块包括：
53、配准单元，用于从各所述第一表盘图像中随机选择一张或多张图像作为索引图像；采用orb算法分别提取各所述第一表盘图像的特征点和描述子；以任一张索引图像的特征点和描述子为匹配基准，分别采用暴力匹配算法和k近邻算法对其他图像进行图像配准，得到一组或多组配准图像；
54、融合单元，用于对一组或多组配准图像进行图像融合，得到恢复所有遮挡区域图像信息的第二表盘图像。
55、在本发明第一方面的第五种实现方式中，所述融合单元具体用于：
56、当图像配准得到一组配准图像时，分别计算同组配准图像中所有图像在配准后的每个对应像素上的第一平均像素值；
57、将同组配准图像中的索引图像作为第一融合图像，使用各第一平均像素值对应更新所述第一融合图像配准后的每个对应像素上的像素值，得到恢复所有遮挡区域图像信息的第二表盘图像；
58、当图像配准得到多组配准图像时，以一组配准图像为单位，分别计算各组配准图像中所有图像在配准后的每个对应像素上的第二平均像素值；
59、将各组配准图像中的索引图像作为第二融合图像，使用各组的第二平均像素值对应更新所述第二融合图像配准后的每个对应像素上的像素值，得到恢复所有遮挡区域图像信息的多张第二表盘图像。
60、在本发明第一方面的第六种实现方式中，所述关键点包括：表盘中心点、指针尖端点以及多个刻度点，所述识别模块具体用于：
61、以表盘中心点为起点、指针尖端点和各刻度点为终点，对应生成指针向量和多个刻度向量；
62、分别计算各刻度向量与指针向量的外积以及分别计算各相邻外积的积；
63、分别判断各相邻外积的积是否小于零；
64、若存在相邻外积的积小于零，则将所述相邻外积对应的两个刻度点所围区间作为指针所在的目标刻度区间；
65、分别计算所述目标刻度区间对应刻度向量与指针向量的内积和夹角；
66、基于所述夹角，计算所述区间的分割比，并基于所述分割比，得到所述仪表图像中的仪表读数。
67、本发明第三方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行上述的仪表读数识别方法。
68、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的仪表读数识别方法。
69、本发明提供的技术方案中，先采集仪表遮挡环境下的多张多角度的仪表图像，然后再通过深度学习模型检测出每张仪表图像中的表盘图像，然后再对所有表盘图像进行图像配准和图像融合处理，通过上述处理即可还原被遮挡位置的图像上下文信息，进而得到具有完整图像信息的新表盘图像，最后即可对新表盘图像进行读数识别。本发明采用关键点识别方式进行仪表读数识别，先通过深度学习模型检测出新表盘图像中的关键点，然后再基于各关键点，识别仪表图像中的仪表读数。本发明在未增加新的实施成本与维护成本的前提下，实现了对遮挡环境下仪表读数的快速准确识别。
1.一种仪表读数识别方法，其特征在于，所述仪表读数识别方法包括：
2.根据权利要求1所述的仪表读数识别方法，其特征在于，所述采集仪表遮挡环境下的多张多角度的仪表图像包括：
3.根据权利要求1所述的仪表读数识别方法，其特征在于，在所述将各所述仪表图像输入第一检测模型进行表盘检测之前，还包括：
4.根据权利要求1或3所述的仪表读数识别方法，其特征在于，在所述将所述第二表盘图像输入第二检测模型进行关键点检测之前，还包括：
5.根据权利要求1所述的仪表读数识别方法，其特征在于，所述对各所述第一表盘图像分别进行图像配准与图像融合，得到恢复所有遮挡区域图像信息的第二表盘图像包括：
6.根据权利要求5所述的仪表读数识别方法，其特征在于，所述对一组或多组配准图像进行图像融合，得到恢复所有遮挡区域图像信息的第二表盘图像包括：
7.根据权利要求1所述的仪表读数识别方法，其特征在于，所述关键点包括：表盘中心点、指针尖端点以及多个刻度点，所述基于各所述关键点，识别所述仪表图像中的仪表读数包括：
8.一种仪表读数识别装置，其特征在于，所述仪表读数识别装置包括：
9.一种计算机设备，其特征在于，所述计算机设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述的仪表读数识别方法。
