本申请涉及图像识别技术领域,尤其涉及基于yolonano算法的继保压板状态识别系统及方法。
背景技术:
继电保护及自动装置压板的正确投退关系到其相应功能的实现,如发生漏投退或误投退压板,在设备发生短路故障时继电保护及自动装置将无法正确动作,造成该装置拒动或误动,导致大面积停电、系统解列等电网事故,带来重大经济损失和不良的社会影响,因此,变电运行人员按规定需开展每月一次定期核对、每年一次专项核对、保供电或新设备投运启动专项核对压板状态工作,确保压板投退正确。
传统的对继保压板状态核对的方式主要采用人工核对压板的方式,逐一核对继保压板状态,但由于继保压板数量庞大,导致核对工作任务繁重,核对工作机械重复,质量效率缺乏保障,另外,人机工效存在危害,影响员工职业健康。
目前,采用继保压板投退状态图像识别系统对继保压板状态进行核对,其大多是轨道机器人与后台服务器相结合,具体为,首先,轨道机器人负责压板图像数据的收集并上传到后台服务器,然后,后台服务器运行算法对图像数据进行识别,识别结果保存于后台服务器。但是,其图像识别算法需依靠后台服务器执行,受架构复杂、不能携带和管理制度等因素制约而很难进行推广使用;同时,机器人巡检位置固定,不能解决玻璃门反光、视觉盲区、异物阻挡等而造成的图像无法识别等问题;另外,继保压板投退状态图像识别系统成本较高,不利于大范围推广使用。同时,在获得继保压板投退状态信息后,需要人工进行核对,从而判断继保压板投退状态是否异常,从而导致继保压板状态识别效率和准确性较低。
技术实现要素:
本申请提供了一种基于yolonano算法的继保压板状态识别系统及方法,用于解决目前的继保压板状态识别系统不能解决玻璃门反光、视觉盲区、异物阻挡等而造成的图像无法识别以及继保压板状态识别效率和准确性较低的技术问题。
有鉴于此,本申请第一方面提供了一种基于yolonano算法的继保压板状态识别系统,包括:手持终端和终端主机,所述手持终端与所述终端主机之间通过无线局域网络连接;
所述手持终端内设有图像采集模块、图形处理模块、图像识别模块和异常识别模块;
所述图像采集模块用于采集继保压板图像,还用于向所述终端主机上传所述继保压板图像;
所述图形处理模块用于接收所述图像采集模块采集的所述继保压板图像,还用于基于opencv计算机视觉处理库对所述继保压板图像进行降噪处理;
所述图像识别模块用于接收所述图像处理模块降噪处理后的所述继保压板图像,还用于基于图像识别模型对所述继保压板图像进行识别,从而得到继保压板状态信息,所述继保压板状态信息包括压板编号、压板名称、压板所属的屏柜编号、压板所属的屏柜名称和压板状态;其中,所述图像识别模型是预先基于yolonano深度卷积神经网络训练得到;
所述异常识别模块用于基于预设的压板台账信息确定所述继保压板状态信息所对应的初始继保压板状态信息,还用于判断所述继保压板状态信息与对应的所述初始继保压板状态信息是否一致,还用于当上述判断为不一致时,则生成异常状态信息。
优选地,所述手持终端内还设有存储模块,所述存储模块内设有microsdcard扩展板卡和ssd扩展板卡,所述存储模块用于存储所述继保压板图像、所述继保压板状态信息和所述异常状态信息。
优选地,所述手持终端内还设有显示模块,所述显示模块设有hdmi2.0显示接口、dp1.2显示接口、mipi-dsi显示接口和edp显示接口,所述显示模块用于显示所述继保压板图像、所述继保压板状态信息和所述异常状态信息。
优选地,所述手持终端内还设有通信模块,所述通信模块包括usb接口、wifi通信子模块和以太网子模块,所述通信模块用于实现所述手持终端与所述终端主机之间的数据交互。
优选地,所述手持终端内还设有压板台账管理模块,所述压板台账管理模块用于对压板台账信息进行录入操作、查看操作和更新操作,所述压板台账信息包括站点名称、屏柜编号、屏柜名称、压板编号、压板名称和初始继保压板状态信息。
优选地,所述手持终端内还设有压板核对报告模块,所述压板核对报告模块用于根据所述继保压板状态信息和对应的所述初始继保压板状态信息以及所述继保压板状态信息与对应的所述初始继保压板状态信息是否一致的判断结果生成压板核对报告,所述压板核对报告基于java代码以excel文件形式生成。
优选地,所述手持终端内还设有异常信息发送模块,所述异常信息发送模块用于接收所述异常识别模块发送的所述异常状态信息,还用于根据所述异常状态信息生成异常状态报告,还用于将所述异常状态报告上传至所述终端主机。
优选地,本系统还包括:
数据集模块,用于获取继保压板图像数据集,还用于对所述继保压板图像数据集中的继保压板状态信息进行标注,从而获得带有继保压板状态信息标注的继保压板图像数据集;还用于将所述带有继保压板状态信息标注的继保压板图像数据集转换成tfrecords格式;
训练模块,用于将转换成tfrecords格式后的所述带有继保压板状态信息标注的继保压板图像数据集对yolonano深度卷积神经网络进行训练迭代,从而得到所述图像识别模型。
第二方面,本发明还提供了一种应用上述的基于yolonano算法的继保压板状态识别系统的识别方法,包括以下步骤:
s1、通过图像采集模块采集继保压板图像,向所述终端主机上传所述继保压板图像;
s2、通过图形处理模块接收所述图像采集模块采集的所述继保压板图像,基于opencv计算机视觉处理库对所述继保压板图像进行降噪处理;
s3、通过图像识别模块接收所述图像处理模块降噪处理后的所述继保压板图像,基于图像识别模型对所述继保压板图像进行识别,从而得到继保压板状态信息,所述继保压板状态信息包括压板编号、压板名称、压板所属的屏柜编号、压板所属的屏柜名称和压板状态;其中,所述图像识别模型是预先基于yolonano深度卷积神经网络训练得到;
s4、通过异常识别模块基于预设的压板台账信息确定所述继保压板状态信息所对应的初始继保压板状态信息,判断所述继保压板状态信息与对应的所述初始继保压板状态信息是否一致,当上述判断为不一致时,则生成异常状态信息。
优选地,手持终端内还设有压板核对报告模块和异常信息发送模块,在步骤s4之后包括:
s5、通过所述压板核对报告模块根据所述继保压板状态信息和对应的所述初始继保压板状态信息以及所述继保压板状态信息与对应的所述初始继保压板状态信息是否一致的判断结果生成压板核对报告,所述压板核对报告基于java代码以excel文件形式生成;
s6、通过所述异常信息发送模块接收所述异常识别模块发送的所述异常状态信息,根据所述异常状态信息生成异常状态报告,将所述异常状态报告上传至所述终端主机。
从以上技术方案可以看出,本申请实施例具有以下优点:
本发明提供的一种基于yolonano算法的继保压板状态识别系统,通过设置手持终端,并在手持终端中集成图像采集模块、图形处理模块、图像识别模块和异常识别模块,提高了手持终端使用的灵活性,无需依靠服务器即可使用,降低了图像采集模块结构复杂度和成本,同时,便携使用。解决了目前的继保压板状态识别系统不能解决玻璃门反光、视觉盲区、异物阻挡等而造成的图像无法识别的问题。
同时,通过基于yolonano深度卷积神经网络训练好的图像识别模块对继保压板图像进行识别,从而得到继保压板状态信息,从而可以提高压板状态识别的准确性和识别效率,同时,还通过初始继保压板状态信息判断继保压板状态信息是否异常,从而进一步提高了继保压板状态的识别效率和实用性。
本发明还提供了本发明提供的一种应用上述基于yolonano算法的继保压板状态识别系统的识别方法,其与上述有益效果一致,在此不再赘述。
附图说明
图1为本申请实施例提供的一种基于yolonano算法的继保压板状态识别系统的结构示意图;
图2为本申请另一实施例提供的一种基于yolonano算法的继保压板状态识别系统的结构示意图;
图3为本申请实施例提供的实现训练得到图像识别模型的结构示意图;
图4为本申请实施例提供的一种基于yolonano算法的继保压板状态识别方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,采用继保压板投退状态图像识别系统对继保压板状态进行核对,其大多是轨道机器人与后台服务器相结合,具体为,首先,轨道机器人负责压板图像数据的收集并上传到后台服务器,然后,后台服务器运行算法对图像数据进行识别,识别结果保存于后台服务器。但是,其图像识别算法需依靠后台服务器执行,受架构复杂、不能携带和管理制度等因素制约而很难进行推广使用;同时,机器人巡检位置固定,不能解决玻璃门反光、视觉盲区、异物阻挡等而造成的图像无法识别等问题;另外,继保压板投退状态图像识别系统成本较高,不利于大范围推广使用。同时,在获得继保压板投退状态信息后,需要人工进行核对,从而判断继保压板投退状态是否异常,从而导致继保压板状态识别效率和准确性较低。
为此,本发明提供了一种基于yolonano算法的继保压板状态识别系统以解决上述问题。
为了便于理解,请参阅图1,本申请提供的基于yolonano算法的继保压板状态识别系统,包括:手持终端10和终端主机20,手持终端10与终端主机20之间通过无线局域网络连接;
手持终端10内设有图像采集模块101、图形处理模块102、图像识别模块103和异常识别模块104;
图像采集模块101用于采集继保压板图像,还用于向终端主机20上传继保压板图像;
图形处理模块102用于接收图像采集模块101采集的继保压板图像,还用于基于opencv计算机视觉处理库对继保压板图像进行降噪处理;
图像识别模块103用于接收图像处理模块降噪处理后的继保压板图像,还用于基于图像识别模型对继保压板图像进行识别,从而得到继保压板状态信息,继保压板状态信息包括压板编号、压板名称、压板所属的屏柜编号、压板所属的屏柜名称和压板状态;其中,图像识别模型是预先基于yolonano深度卷积神经网络训练得到;
异常识别模块104用于基于预设的压板台账信息确定继保压板状态信息所对应的初始继保压板状态信息,还用于判断继保压板状态信息与对应的初始继保压板状态信息是否一致,还用于当上述判断为不一致时,则生成异常状态信息。
本发明提出的一种基于yolonano算法的继保压板状态识别系统,通过设置手持终端10,并在手持终端10中集成图像采集模块101、图形处理模块102、图像识别模块103和异常识别模块104,提高了手持终端10使用的灵活性,无需依靠服务器即可使用,降低了图像采集模块101结构复杂度和成本,同时,便携使用。解决了目前的继保压板状态识别系统不能解决玻璃门反光、视觉盲区、异物阻挡等而造成的图像无法识别的问题。
同时,通过基于yolonano深度卷积神经网络训练好的图像识别模块103对继保压板图像进行识别,从而得到继保压板状态信息,从而可以提高压板状态识别的准确性和识别效率,同时,还通过初始继保压板状态信息判断继保压板状态信息是否异常,从而进一步提高了继保压板状态的识别效率和实用性。
以上为本发明提供的一种基于yolonano算法的继保压板状态识别系统的一个实施例的详细描述,以下为本发明提供的一种基于yolonano算法的继保压板状态识别系统的另一个实施例的详细描述。
为了方便理解,请参阅图2,本实施例提供的一种基于yolonano算法的继保压板状态识别系统,包括:手持终端10和终端主机20,手持终端10与终端主机20之间通过无线局域网络连接;
手持终端10内设有图像采集模块101、图形处理模块102、图像识别模块103、异常识别模块104、存储模块105、显示模块106、通信模块107、压板台账管理模块108、压板核对报告模块109和异常信息发送模块110;
图像采集模块101用于采集继保压板图像,还用于向终端主机20上传继保压板图像;
在本实施例中,图像采集模块101采用柯达pixprosl10镜头相机,集成有bsicmos传感器,以实现高达6fps的高分辨率拍摄,其中,bsicmos传感器的bsi功能设计可以增强低光性能和质量。
在本实施例中,图像采集模块101包含10倍可变焦镜头,变焦范围为28~280毫米,覆盖了广角到远焦视角。
在本实施例中,图像采集模块101利用内置wi-fi与终端主机20无线连接,可通过终端主机20对图像采集模块101进行设置采集频率和功能设置及参数设置,通过wi-fi将继保压板图像传输至终端主机20。
在本实施例中,终端主机20的运行环境为基于arm的linux操作系统。
图形处理模块102用于接收图像采集模块101采集的继保压板图像,还用于基于opencv计算机视觉处理库对继保压板图像进行降噪处理;
图像识别模块103用于接收图像处理模块降噪处理后的继保压板图像,还用于基于图像识别模型对继保压板图像进行识别,从而得到继保压板状态信息,继保压板状态信息包括压板编号、压板名称、压板所属的屏柜编号、压板所属的屏柜名称和压板状态;其中,图像识别模型是预先基于yolonano深度卷积神经网络训练得到;
异常识别模块104用于基于预设的压板台账信息确定继保压板状态信息所对应的初始继保压板状态信息,还用于判断继保压板状态信息与对应的初始继保压板状态信息是否一致,还用于当上述判断为不一致时,则生成异常状态信息。
可以理解的是,根据继保压板状态信息中的压板编号、压板名称、压板所属的屏柜编号和压板所属的屏柜名称可以在压板台账信息中快速地匹配到继保压板状态信息所对应的初始继保压板状态信息,而以初始继保压板状态信息作为基准,判断继保压板状态信息是否异常,如果异常,则生成异常状态信息,异常状态信息包括压板名称、继保压板状态信息、对应的初始继保压板状态信息、对比信息和异常符号。
存储模块105内设有microsdcard扩展板卡和ssd扩展板卡,存储模块105用于存储继保压板图像、继保压板状态信息和异常状态信息。
在本实施例中,存储模块105采用容量为128gb以上的高速嵌入式多媒体卡作为存储介质,保证了系统运行效率和传输效率,并且,内设microsdcard扩展板卡和ssd扩展板卡,以支持microsdcard扩展和支持pcie接口的ssd扩展,实现存储空间的灵活扩展,有效的保障了系统具有足够空间存储数据。
显示模块106设有hdmi2.0显示接口、dp1.2显示接口、mipi-dsi显示接口和edp显示接口,显示模块106用于显示继保压板图像、继保压板状态信息和异常状态信息。
在本实施例中,显示模块106采用高清电容触控屏,用户通过触控显示进行功能的选择和属性信息编辑,分析数据信息阅览等,并且,支持hdmi2.0显示接口、dp1.2显示接口、mipi-dsi显示接口和edp显示接口,提高了显示扩展能力。
通信模块107包括usb接口、wifi通信子模块和以太网子模块,通信模块107用于实现手持终端10与终端主机20之间的数据交互。
在本实施例中,通信模块107支持2.4ghz/5ghz双频wifi,千兆以太网及双usb3.0接口,传输速率可达5gbps。
通信模块107可以将继保压板图像及核对结果可选择通过wifi或usb接口传输到终端主机20中进行归档保存,也可通过wifi或usb接口把训练好的算法模型下载至手持终端10中,使得手持终端10上的图像识别模型保持最新状态。
手持终端10内还设有压板台账管理模块108,压板台账管理模块108用于对压板台账信息进行录入操作、查看操作和更新操作,压板台账信息包括站点名称、屏柜编号、屏柜名称、压板编号、压板名称和初始继保压板状态信息。
在本实施例中,压板台账管理模块108可以对压板台账信息进行录入操作、查看操作和更新操作,其中,可以实现对压板台账信息进行录入、查看和更新,其中,通过http请求终端主机20获取最新的台账信息。压板台账信息如表1所示。
表1压板台账信息
压板核对报告模块109用于根据继保压板状态信息和对应的初始继保压板状态信息以及继保压板状态信息与对应的初始继保压板状态信息是否一致的判断结果生成压板核对报告,压板核对报告基于java代码以excel文件形式生成。
在本实施例中,压板核对报告如表2所示。
表2压板核对报告
异常信息发送模块110用于接收异常识别模块104发送的异常状态信息,还用于根据异常状态信息生成异常状态报告,还用于将异常状态报告上传至终端主机20。
在本实施例中,异常状态报告包括压板名称和异常标识,并以xls格式生成。具体见表3。
表3异常状态报告
进一步地,参考图3,图3示意出了本系统实现训练得到图像识别模型的结构示意图,本系统还包括:
数据集模块30,用于获取继保压板图像数据集,还用于对继保压板图像数据集中的继保压板状态信息进行标注,从而获得带有继保压板状态信息标注的继保压板图像数据集;还用于将带有继保压板状态信息标注的继保压板图像数据集转换成tfrecords格式;
训练模块40,用于将转换成tfrecords格式后的带有继保压板状态信息标注的继保压板图像数据集对yolonano深度卷积神经网络进行训练迭代,从而得到图像识别模型。
需要说明的是,在yolonano深度卷积神经网络训练之前,需要构建yolonano深度卷积神经网络,其构建过程包含两个步骤:一、基于yolo系列网络创建原型网络;二、根据原型网络通过机器驱动探索策略获得yolonano深度卷积神经网络。同时,在训练好图像识别模型后,可以将图像识别模型转换为可运行于终端主机20的tflite模型。
为了方便理解,请参阅图4本发明还提供了一种应用上述的基于yolonano算法的继保压板状态识别系统的识别方法,包括以下步骤:
s1、通过图像采集模块采集继保压板图像,向终端主机上传继保压板图像;
s2、通过图形处理模块接收图像采集模块采集的继保压板图像,基于opencv计算机视觉处理库对继保压板图像进行降噪处理;
s3、通过图像识别模块接收图像处理模块降噪处理后的继保压板图像,基于图像识别模型对继保压板图像进行识别,从而得到继保压板状态信息,继保压板状态信息包括压板编号、压板名称、压板所属的屏柜编号、压板所属的屏柜名称和压板状态;其中,图像识别模型是预先基于yolonano深度卷积神经网络训练得到;
s4、通过异常识别模块基于预设的压板台账信息确定继保压板状态信息所对应的初始继保压板状态信息,判断继保压板状态信息与对应的初始继保压板状态信息是否一致,当上述判断为不一致时,则生成异常状态信息。
本发明提出的应用上述的基于yolonano算法的继保压板状态识别系统的识别方法,通过设置手持终端,并在手持终端中集成图像采集模块、图形处理模块、图像识别模块和异常识别模块,提高了手持终端使用的灵活性,无需依靠服务器即可使用,降低了图像采集模块结构复杂度和成本,同时,便携使用。解决了目前的继保压板状态识别系统不能解决玻璃门反光、视觉盲区、异物阻挡等而造成的图像无法识别的问题。
同时,通过基于yolonano深度卷积神经网络训练好的图像识别模块对继保压板图像进行识别,从而得到继保压板状态信息,从而可以提高压板状态识别的准确性和识别效率,同时,还通过初始继保压板状态信息判断继保压板状态信息是否异常,从而进一步提高了继保压板状态的识别效率和实用性。
进一步地,手持终端内还设有压板核对报告模块和异常信息发送模块,在步骤s4之后包括:
s5、通过压板核对报告模块根据继保压板状态信息和对应的初始继保压板状态信息以及继保压板状态信息与对应的初始继保压板状态信息是否一致的判断结果生成压板核对报告,压板核对报告基于java代码以excel文件形式生成;
s6、通过异常信息发送模块接收异常识别模块发送的异常状态信息,根据异常状态信息生成异常状态报告,将异常状态报告上传至终端主机。
进一步地,手持终端内还设有存储模块,存储模块内设有microsdcard扩展板卡和ssd扩展板卡;步骤s4之后包括:
s401、通过存储模块存储继保压板图像、继保压板状态信息和异常状态信息。
进一步地,手持终端内还设有显示模块,显示模块设有hdmi2.0显示接口、dp1.2显示接口、mipi-dsi显示接口和edp显示接口,步骤s4之后包括:
s402、通过显示模块显示继保压板图像、继保压板状态信息和异常状态信息。
进一步地,手持终端内还设有压板台账管理模块,在步骤s4之前还包括:
s41、通过压板台账管理模块对压板台账信息进行录入操作、查看操作和更新操作。
进一步地,步骤s3之前包括:
s31、获取继保压板图像数据集,对继保压板图像数据集中的继保压板状态信息进行标注,从而获得带有继保压板状态信息标注的继保压板图像数据集;将带有继保压板状态信息标注的继保压板图像数据集转换成tfrecords格式;
s32、将转换成tfrecords格式后的带有继保压板状态信息标注的继保压板图像数据集对yolonano深度卷积神经网络进行训练迭代,从而得到图像识别模型。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以通过一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(英文全称:read-onlymemory,英文缩写:rom)、随机存取存储器(英文全称:randomaccessmemory,英文缩写:ram)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。