本发明属于字符检测技术领域，具体涉及一种基于机器视觉的镀镍金属表面去料字符自动识别系统及方法。
背景技术：
镀镍是常见的金属表面处理技术，镀镍层结晶细致，孔隙率低，硬度高，镀层均匀，可焊性好，目前广泛用于电子、航空、机械、精密仪器、日用五金等。对镀镍完的金属工件采用压印、激光等去料方式生成字符是记录金属产品信息的常用方式。金属表面字符检测一方面可以通过字符识别自动获取产品信息，实现产品生产溯源和管控的自动化，提高生产效率；另一方面可以将印刻错误的产品自动分拣，从而提高产品出厂品质。然而，镀镍金属去料字符在视觉检测过程中具有如下问题：首先，镀镍金属呈现银白色或者银黄色颜色特征，镀镍金属去料字符与金属工件本身具有相近颜色，导致镀镍金属与其表面的去料字符区分不明显；此外，抛光后镀镍的金属具有镜面反射特性，导致镀镍金属图像的表面信息缺失造成漏检；再次，字符漏印、错印检测算法需要准确识别所有字符，且对文字大小、文字类型和空间位置的差异性具有较高的鲁棒性。
经检索，专利cn111368818a公开了基于机器视觉的食品袋检测系统及方法，专利cn212944161u公开了一种用于字符缺陷检查的视觉检查仪，该专利公开了丝网印刷手机背板字符缺陷的视觉检测系统机械结构，专利cn211604160u公开了一种基于x线图像的ocr字符识别装置，cn212871095u公开了一种针对字符覆膜包装的视觉定位装置，但这些专利均未公开视觉检测系统具体的图像处理方法；专利cn111832561a公开了一种对工业场景中图像拍摄角度校正的图像处理步骤，但未公开字符识别具体步骤；专利cn111860506a、cn111738251b、cn112541501a、cn112612911a公开了基于卷积神经网络的文字识别步骤，该方法往往需要海量图片训练，不适用于实际工业产品检测；专利cn108572776b公开了一种手写字符的渲染处理方法，不涉及非结构环境下获取弱对比度字符图像的获取与处理；专利cn112348026a公开了一种基于hog特征和svm分类方法的磁性硬盘序列码识别步骤，不涉及图像获取方法；专利cn112036226a公开了一种基于ocr和cnn的字符识别方法，用于识别印刷体字符和手写体字符，但该专利不涉及字符识别的具体步骤和过程，专利cn106570511b公开了一种基于计算机视觉的键盘字符缺陷在线检测系统和方法，专利cn111474184a公开了一种可基于工业机器视觉实现印刷字符缺陷检测方法，专利cn109409372b公开了一种空调显示屏字符分割方法，这些字符与背景具有较高对比度，不适用于镀镍金属表面去料字符检测。通过查新发现，目前检测的字符位置布置具有水平、垂直分布规律性，没有同时考虑字符与背景颜色相近、且具有镜面反射的金属表面去料字符的成像和识别，尚没有多形态分布镀镍金属去料字符成像方法、字符检测方法技术公开。
技术实现要素：
1、本发明的目的
本发明解决的问题是提供一种镀镍金属去料字符识别和缺陷自动检测所需的视觉检测装置及方法，以解决镀镍金属表面多形态分布、多字符类型、与背景具有相近颜色、具有镜面反射特性的字符自动识别和缺陷字符自动检测问题。
2、本发明所采用的技术方案
本发明提出了一种基于机器视觉的镀镍金属表面去料字符自动识别系统，包括工作平台、工业相机、光学镜头、低角度环形漫反射光源、光源控制器、工业pc机；
所述夹持调节支架上安装固定工业相机、光学镜头、低角度环形漫反射光源，固定工业相机、光学镜头、低角度环形漫反射光源的中心线一致，所述光学镜头安装在工业相机前端；
工业相机与工业pc机相连将图像数据传输至工业pc机；
所述低角度环形漫反射光源固定于夹持调节支架，并与光源控制器相连，其直径大于待检测金属工件的最大边长，其圆心与相机视野中心在同一条轴线，打光方式为正向低角度照明，灯珠照射角度与工作平台夹角范围为15°～30°，使得镀镍金属表面去料字符被照亮，形成亮场，而背景区域和金属工件其他区域形成暗场。
优选的，所述工业pc机通过usb3.0接口与工业相机2相连，用于镀镍去料字符识别和缺陷检测。
优选的，所述光源控制器为控制光源亮度。
优选的，工业相机与工作平台上的待检测金属工件的上表面的工作距离大于相机的最小物距。
优选的，夹持调节支架为多关节可调式装置。
本发明提出了.一种基于机器视觉的镀镍金属表面去料字符自动识别系统的方法，包括：图像增强、图像分割、图像定位与校正、字符区域提取与分类分割、基于ocr的字符识别；
所述图像增强，包含中值滤波、分段线性增强、照度增强；所述中值滤波3*3尺寸的方形模板，消除噪声；所述分段线性增强用以增强字符区域和背景区域的对比度；所述照度增强用以改善部分图像照度不均匀；
所述图像分割包含阈值分割、连通域提取、面积删选、区域填充、图像乘操作，从而去除与金属工件无关的背景区域；所述阈值分割采用固定阈值分割的方式获取金属工件边缘区域和字符的高灰度亮区域，然后采用连通域分析的方式，对提取到的各个连通域计算面积，根据面积特征筛选，实现金属工件外轮廓的提取，接着通过形态学填充处理，与原图像作乘运算，从而得到无背景区域干扰的金属工件图像；
所述图像定位与校正包括特征筛选、模板匹配、仿射变换，从而实现不同位姿金属工件字符的定位和位置校正；所述特征筛选，采用最小外接半径和最小外接矩形特征提取字符区域；所述模板匹配，是指利用字符完好、倾斜角度为0°的字符区域作为模板，对上述提取的感兴趣区域进行模板匹配，确定字符位置和倾斜角度；所述仿射变换，依据字符位置，对当前感兴趣区域进行图像校正，从而增加图像处理算法对不同位姿字符识别的普适性；
所述字符区域提取与分类分割包括字符区域提取和基于字符段分类的字符分割，从而实现不同形态特征字符识别的鲁棒性；所述字符区域提取是指对采用交互式方式确定校正后图像中的所有镀镍去料字符区域，并依据形貌特征进行分类；所述基于字符段分类的字符分割是指针对不同形貌的字符段采用分批处理，即对具有不同形貌特征的字符段分批字符分割；
所述基于ocr的字符识别，包括字符图像归一化、分类器设计与训练和字符识别；图像归一化是指将分割后的不同形态的字符进行尺寸归一化；所述分类器设计与训练是指采用多层感知器神经网络，将归一化的字符训练样本作为输入，将字符识别结果作为输出，通过迭代训练得到当前所有字符的ocr分类模型；所述字符识别是指对分割归一化后的所有字符运用ocr模型识别，并与完整字符集比较，如果缺少字符则判定为存在字符缺失缺陷，如果与完整字符集一致，则判定为合格，并显示所有字符识别结果。
优选的，包括以下步骤：
步骤1获取带有字符的镀镍金属工件原始图片，字符区域被照亮，具有较高的灰度值；
步骤2采用3*3模板对获取的图片进行中值滤波，用以消除噪声和提高图像清晰度；
步骤3对图像分段线性增强和照度增强，用以增强字符区域和背景区域的对比度，改善部分图像照度不均匀；
步骤4采用固定阈值分割方式，获取图像中灰度值比较高的区域，即字符区域和金属工件轮廓区域；
步骤5采用8-邻域区域连接，获取图像中的连通域，计算图像中所有连通区域的面积；
步骤6通过特征筛选，提取图像中面积最大的连通域，得到金属工件的轮廓区域；
步骤7采用形态学区域填充操作，对金属工件区域进行填充，得到金属工件区域，将该区域灰度值设为1，其他背景区域灰度值设为0；
步骤8将得到的上述二值图像与带有字符的镀镍金属工件原始图片进行图像乘操作，即可去除背景区域，获取金属工件区域；
步骤9创建字符完整的字符图像作模板，设置模板倾斜角度范围为[1°,360°]，以1°为角度步长逆时针旋转一周，得到360个大小相等、角度各异的模板，将其分别命名为i1～i360；
步骤10将步骤8获取的图像i与模板中的360幅图像逐一模板匹配，计算相似度
步骤11根据字符位置和角度，计算待校正图像到目标位置的刚性变换矩阵，最后对待校正图像执行仿射变换，进行平移和旋转角度修正，实现不同金属工件和字符图像位置的统一校正；
步骤12根据镀镍金属字符的分布和尺寸，将待检测字符分为三个检测区域；
步骤13分别计算各个检测区域的最小外接多边形，对检测区域中的字符进行等间距矩形分割；
步骤14建立ocr分类器，设置隐层数为80，字符图像统一规定为8*10大小，将字符训练样本和分类元组作为输入输出训练神经网络，设置迭代次数为200次，得到ocr分类器；
步骤15基于训练好的ocr分类器，逐个识别分割后的字符，如果字符完整，则给出识别结果；如果缺少字符或者字符不匹配，则给出相应提示。
3、本发明的有益效果
(1)本发明采用低角度环形漫反射光源正向照明方式，增加字符区域和背景区域的成像对比度，克服了金属工件表面镜面反射造成的信息缺失；
(2)本发明同时采用图像自动校正和图像字符段分类分割，提高了字符检测系统对不同位姿、不同形态特征字符识别的鲁棒性；
(3)本发明基于机器视觉技术对镀镍金属表面去料字符缺陷实时快速检测，提高了金属表面去料字符的检测效率和自动化程度。
附图说明
图1是本发明专利的视觉检测装置结构示意图；
图2是本发明专利图像处理方法流程图；
图3是本发明专利获取的镀镍金属工件去料字符图片；
图4是本发明专利字符分区处理示意图；
图5是本发明专利字符分割效果示意图；
图6是本发明专利字符识别和检测效果示意图。
字符检测效果图；
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例1
以下结合附图介绍本发明详细技术方案：如图1所示，本发明公开了一种镀镍金属表面去料字符的视觉检测装置，使得镀镍字符区域和镀镍金属工件区域具有成像差异性，包括工作平台、工业相机、光学镜头、低角度环形漫反射光源、光源控制器、工业pc机；
所述工作平台为硬件成像设备安装工位，其包含相机夹持调节支架、光源夹持调节支架、工作台面，其夹持组件为多关节可调式装置；
所述工业相机感光芯片水平分辨率p>l/d，垂直分辨率q>h/d，式中d为字符检测精度，l和h分别为检测金属工件投影的最小外接矩形的长和宽，以大于最小物距的工作距离s固定于相机夹持调节支架，保持相机相对于工作台面垂直，其通过数据线与工业pc机相连，并将采集的图像数据传输至工业pc；
所述光学镜头焦距f＝s*m/l，式中，m为感光芯片的长，其安装在相机前端；
所述低角度环形漫反射光源与光源控制器相连，其直径大于检测对象外形尺寸，安装在光源夹持支架上，位于检测对象和光学镜头之间，其圆心与相机视野中心在同一条轴线，打光方式为前光低角度照明，使被检测去料字符特征被加强形成亮场，在获取的图像上具有较高的灰度值，而其他区域形成暗场，在获取的图像上具有较低的灰度值；
所述光源控制器为控制光源亮度，需要调节到合理的亮度，使得检测字符成像清晰；
所述工业pc机为主处理器，通过usb3.0接口与工业相机相连，实现对图像的实时采集，通过图像处理算法，对采集的图像中的字符进行检测识别，并且将检测结果通过ui界面显示。
更进一步，本发明公开了一种镀镍金属表面去料字符的图像处理方法，所述的图像处理步骤包括：图像增强、图像分割、图像定位与校正、字符区域提取与分类分割、基于ocr的字符识别；
所述图像增强包含中值滤波、分段线性增强、照度增强，用以进一步提高图像清晰度，增加字符区域和背景区域的对比度。所述中值滤波3*3尺寸的方形模板，消除噪声；所述分段线性增强用以增强字符区域和背景区域的对比度；所述照度增强用以改善部分图像照度不均匀；
所述图像分割包含阈值分割、连通域提取、面积删选、区域填充、图像乘操作，从而去除与金属工件无关的背景区域。所述阈值分割采用固定阈值分割的方式获取金属工件边缘区域和字符的高灰度亮区域，然后采用连通域分析的方式，对提取到的各个连通域计算面积，根据面积特征筛选，实现金属工件外轮廓的提取，接着通过形态学填充处理，与原图像作乘运算，从而得到无背景区域干扰的金属工件图像；
所述图像定位与校正包括特征筛选、模板匹配、仿射变换，从而实现不同位姿金属工件字符的定位和位置校正。所述特征筛选，采用最小外接半径和最小外接矩形特征提取字符区域；所述模板匹配，是指利用字符完好、倾斜角度为0°的字符区域作为模板，对上述提取的感兴趣区域进行模板匹配，确定字符位置和倾斜角度；所述仿射变换，依据字符位置，对当前感兴趣区域进行图像校正，从而增加图像处理算法对不同位姿字符识别的普适性；
所述字符区域提取与分类分割包括字符区域提取和基于字符段分类的字符分割，从而实现不同形态特征字符识别的鲁棒性。所述字符区域提取是指对采用交互式方式确定校正后图像中的所有镀镍去料字符区域，并依据形貌特征进行分类；所述基于字符段分类的字符分割是指针对不同形貌的字符段采用分批处理，即对具有不同形貌特征的字符段分批字符分割；
所述基于ocr的字符识别包括字符图像归一化、分类器设计与训练和字符识别。图像归一化是指将分割后的不同形态的字符进行尺寸归一化；所述分类器设计与训练是指采用多层感知器神经网络，将归一化的字符训练样本作为输入，将字符识别结果作为输出，通过迭代训练得到当前所有字符的ocr分类模型；所述字符识别是指对分割归一化后的所有字符运用ocr模型识别，并与完整字符集比较，如果缺少字符则判定为存在字符缺失缺陷，如果与完整字符集一致，则判定为合格，并显示所有字符识别结果。
实施例2
本发明公开了一种镀镍金属表面去料字符的视觉检测装置，包括：1.夹持调节支架、2.工业相机、3.光学镜头、4.低角度环形漫反射光源、5.待检测金属工件、6.工作平台、7.工业pc机、8.光源控制器。
所述夹持调节支架1用于固定工业相机2和低角度环形漫反射光源4；
所述工业相机2固定于相机夹持支架，工业相机2与工作平台6上的待检测金属工件5的上表面的工作距离大于相机的最小物距，保持相机2与工作台面6垂直，工业相机2通过数据线与工业pc机7相连，并将图像数据传输至工业pc机7；
所述光学镜头3安装在工业相机2前端；
所述低角度环形漫反射光源4固定于夹持调节支架，并与光源控制器8相连，其直径大于待检测金属工件5的最大边长，其圆心与相机视野中心在同一条轴线，打光方式为正向低角度照明，灯珠照射角度与工作平台夹角范围为15°～30°，使得镀镍金属表面去料字符被照亮，形成亮场，而背景区域和金属工件其他区域形成暗场。
所述工业pc机7为主处理器，通过usb3.0接口与工业相机2相连，控制图像实时采集，并对采集的图像进行图像处理，实现镀镍去料字符识别和缺陷检测；
所述光源控制器8为控制光源亮度，需要微调到合理的亮度，保持成像清晰；
实施例2
如图2所示，本发明公开了一种镀镍金属表面去料字符识别和字符缺失检测的图像处理方法，主要包括以下步骤：
步骤1采用实施例1中的视觉检测装置，获取带有字符的镀镍金属工件原始图片，以镀镍金属电池为例，获取图片如图3所示，字符区域被照亮，具有较高的灰度值；
步骤2采用3*3模板对获取的图片进行中值滤波，用以消除噪声和提高图像清晰度；
步骤3对图像分段线性增强和照度增强，用以增强字符区域和背景区域的对比度，改善部分图像照度不均匀；
步骤4采用固定阈值分割方式，获取图像中灰度值比较高的区域(字符区域和金属工件轮廓区域)；
步骤5采用8-邻域区域连接，获取图像中的连通域，计算图像中所有连通区域的面积；
步骤6通过特征筛选，提取图像中面积最大的连通域，得到金属工件的轮廓区域；
步骤7采用形态学区域填充操作，对金属工件区域进行填充，得到金属工件区域，将该区域灰度值设为1，其他背景区域灰度值设为0；
步骤8将得到的上述二值图像与带有字符的镀镍金属工件原始图片进行图像乘操作，即可去除背景区域，获取金属工件区域；
步骤9创建字符完整的字符图像作模板，设置模板倾斜角度范围为[1°,360°]，以1°为角度步长逆时针旋转一周，得到360个大小相等、角度各异的模板，将其分别命名为i1～i360；
步骤10将步骤8获取的图像i与模板中的360幅图像逐一模板匹配，计算相似度
步骤11根据字符位置和角度，计算待校正图像到目标位置的刚性变换矩阵，最后对待校正图像执行仿射变换，进行平移和旋转角度修正，实现不同金属工件和字符图像位置的统一校正；
步骤12根据字符形貌特征，对字符进行分区分类处理，从而提高算法对不同形貌特征字符的分割准确度。以图4为例，根据镀镍金属字符的分布和尺寸，将待检测字符分为三个检测区域；
步骤13分别计算各个检测区域的最小外接多边形，对检测区域中的字符进行等间距矩形分割，部分分割结果如图5所示；
步骤14建立ocr分类器，设置隐层数为80，字符图像统一规定为8*10大小，将字符训练样本和分类元组作为输入输出训练神经网络，设置迭代次数为200次，得到ocr分类器；
步骤15基于训练好的ocr分类器，逐个识别分割后的字符，如果字符完整，则给出识别结果；如果缺少字符或者字符不匹配，则给出相应提示，如图6所示。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
1.一种基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：包括工作平台、工业相机、光学镜头、低角度环形漫反射光源、光源控制器、工业pc机；
所述夹持调节支架上安装固定工业相机、光学镜头、低角度环形漫反射光源，固定工业相机、光学镜头、低角度环形漫反射光源的中心线一致，所述光学镜头安装在工业相机前端；
工业相机与工业pc机相连将图像数据传输至工业pc机；
所述低角度环形漫反射光源固定于夹持调节支架，并与光源控制器相连，其直径大于待检测金属工件的最大边长，其圆心与相机视野中心在同一条轴线，打。。
光方式为正向低角度照明，灯珠照射角度与工作平台夹角范围为15～30，使得镀镍金属表面去料字符被照亮，形成亮场，而背景区域和金属工件其他区域形成暗场。
2.根据权利要求1所述的基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：
所述工业pc机通过usb3.0接口与工业相机2相连，用于镀镍去料字符识别和缺陷检测。
3.根据权利要求1所述的基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：所述光源控制器为控制光源亮度。
4.根据权利要求1所述的基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：工业相机与工作平台上的待检测金属工件的上表面的工作距离大于相机的最小物距。
5.根据权利要求1所述的基于机器视觉的镀镍金属表面去料字符自动识别系统，其特征在于：夹持调节支架为多关节可调式装置。
6.一种根据权利要求1-5任一所述的基于机器视觉的镀镍金属表面去料字符自动识别系统的方法，其特征在于：包括：图像增强、图像分割、图像定位与校正、字符区域提取与分类分割、基于ocr的字符识别；
所述图像增强，包含中值滤波、分段线性增强、照度增强；所述中值滤波3*3尺寸的方形模板，消除噪声；所述分段线性增强用以增强字符区域和背景区域的对比度；所述照度增强用以改善部分图像照度不均匀；
所述图像分割包含阈值分割、连通域提取、面积删选、区域填充、图像乘操作，从而去除与金属工件无关的背景区域；所述阈值分割采用固定阈值分割的方式获取金属工件边缘区域和字符的高灰度亮区域，然后采用连通域分析的方式，对提取到的各个连通域计算面积，根据面积特征筛选，实现金属工件外轮廓的提取，接着通过形态学填充处理，与原图像作乘运算，从而得到无背景区域干扰的金属工件图像；
所述图像定位与校正包括特征筛选、模板匹配、仿射变换，从而实现不同位姿金属工件字符的定位和位置校正；所述特征筛选，采用最小外接半径和最小外接矩形特征提取字符区域；所述模板匹配，是指利用字符完好、倾斜角度为0°的字符区域作为模板，对上述提取的感兴趣区域进行模板匹配，确定字符位置和倾斜角度；所述仿射变换，依据字符位置，对当前感兴趣区域进行图像校正，从而增加图像处理算法对不同位姿字符识别的普适性；
所述字符区域提取与分类分割包括字符区域提取和基于字符段分类的字符分割，从而实现不同形态特征字符识别的鲁棒性；所述字符区域提取是指对采用交互式方式确定校正后图像中的所有镀镍去料字符区域，并依据形貌特征进行分类；所述基于字符段分类的字符分割是指针对不同形貌的字符段采用分批处理，即对具有不同形貌特征的字符段分批字符分割；
所述基于ocr的字符识别，包括字符图像归一化、分类器设计与训练和字符识别；图像归一化是指将分割后的不同形态的字符进行尺寸归一化；所述分类器设计与训练是指采用多层感知器神经网络，将归一化的字符训练样本作为输入，将字符识别结果作为输出，通过迭代训练得到当前所有字符的ocr分类模型；所述字符识别是指对分割归一化后的所有字符运用ocr模型识别，并与完整字符集比较，如果缺少字符则判定为存在字符缺失缺陷，如果与完整字符集一致，则判定为合格，并显示所有字符识别结果。
7.根据权利要求6所述的基于机器视觉的镀镍金属表面去料字符自动识别方法，其特征在于，包括以下步骤：
步骤1获取带有字符的镀镍金属工件原始图片，字符区域被照亮，具有较高的灰度值；
步骤2采用3*3模板对获取的图片进行中值滤波，用以消除噪声和提高图像清晰度；
步骤3对图像分段线性增强和照度增强，用以增强字符区域和背景区域的对比度，改善部分图像照度不均匀；
步骤4采用固定阈值分割方式，获取图像中灰度值比较高的区域，即字符区域和金属工件轮廓区域；
步骤5采用8-邻域区域连接，获取图像中的连通域，计算图像中所有连通区域的面积；
步骤6通过特征筛选，提取图像中面积最大的连通域，得到金属工件的轮廓区域；
步骤7采用形态学区域填充操作，对金属工件区域进行填充，得到金属工件区域，将该区域灰度值设为1，其他背景区域灰度值设为0；
步骤8将得到的上述二值图像与带有字符的镀镍金属工件原始图片进行图像乘操作，即可去除背景区域，获取金属工件区域；
步骤9创建字符完整的字符图像作模板，设置模板倾斜角度范围为[1°,360°]，以1°为角度步长逆时针旋转一周，得到360个大小相等、角度各异的模板，将其分别命名为i1～i360；
步骤10将步骤8获取的图像i与模板中的360幅图像逐一模板匹配，计算相似度
步骤11根据字符位置和角度，计算待校正图像到目标位置的刚性变换矩阵，最后对待校正图像执行仿射变换，进行平移和旋转角度修正，实现不同金属工件和字符图像位置的统一校正；
步骤12根据镀镍金属字符的分布和尺寸，将待检测字符分为三个检测区域；
步骤13分别计算各个检测区域的最小外接多边形，对检测区域中的字符进行等间距矩形分割；
步骤14建立ocr分类器，设置隐层数为80，字符图像统一规定为8*10大小，将字符训练样本和分类元组作为输入输出训练神经网络，设置迭代次数为200次，得到ocr分类器；
步骤15基于训练好的ocr分类器，逐个识别分割后的字符，如果字符完整，则给出识别结果；如果缺少字符或者字符不匹配，则给出相应提示。
技术总结