通过图像算法检出喷涂瑕疵的方法与流程

1.本发明具体涉及一种通过图像算法检出喷涂瑕疵的方法。


背景技术：

2.近年来工业自动化的需求越来越多，智能化的喷涂瑕疵检测得到广泛关注。由于喷涂瑕疵形成的原因各异，因此检测方法也各不相同。
3.目前已经推出了解决喷涂检测的两种主流方案。一种是利用结构条纹光技术进行打光与图像采集，利用喷涂瑕疵在图像中引起的相位变化来进行瑕疵的检测与定位，精度较高，但对于瑕疵的检测有一定地局限性，而且工程实现难度大。另外一种是利用led进行打光与图像采集，并通过图像算法技术来检测图像中存在的瑕疵。


技术实现要素：

4.本发明的目的在于针对现有技术的不足，提供一种通过图像算法检出喷涂瑕疵的方法，该通过图像算法检出喷涂瑕疵的方法可以很好地解决上述问题。
5.为达到上述要求，本发明采取的技术方案是：提供一种通过图像算法检出喷涂瑕疵的方法，该通过图像算法检出喷涂瑕疵的方法包括如下步骤：
6.s1：使用多组灰度相机获得喷涂车身移动过程中的一系列清晰对焦的图像；
7.s2：进行光带掩膜提取；
8.s3：利用sobel算子进行提取图像边缘的操作；
9.s4：找到边缘图像的外部光带轮廓并对其进行膨胀和腐蚀操作，排除边缘部分；
10.s5：进行阈值判定保留瑕疵，并生成瑕疵掩膜图像；
11.s6：连接断边和消除孤立的瑕疵点；
12.s7：提取出瑕疵轮廓；
13.s8：对瑕疵进行分类，提取出满足检测标准的瑕疵。
14.该通过图像算法检出喷涂瑕疵的方法具有的优点如下：
15.图像质量和成像速度是任何图像系统中非常关键的步骤之一,该方法只需对焦模式下的一幅包含光带的喷涂图像便可准确检出光带中存在的瑕疵并判断其大小。通过被检测喷涂表面物件的移动便可以实现整个喷涂表面的检测，该瑕疵检出方法还可以根据实际工程需求调整参数进行特定瑕疵的检测。
附图说明
16.此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
17.图1示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法的流程示意图。
18.图2示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
19.图3示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
20.图4示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
21.图5示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
22.图6示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
23.图7示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
24.图8示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
25.图9示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
26.图10示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
27.图11示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
28.图12示意性地示出了根据本申请一个实施例的通过图像算法检出喷涂瑕疵的方法使用时的实例示意图。
具体实施方式
29.为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。
30.在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。
31.为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。
32.根据本申请的一个实施例，提供一种通过图像算法检出喷涂瑕疵的方法，如图1
‑
12所示，包括如下步骤：
33.s1：使用多组灰度相机获得喷涂车身移动过程中的一系列清晰对焦的图像；
34.s2：进行光带掩膜提取；
35.s3：利用sobel算子进行提取图像边缘的操作；
36.s4：找到边缘图像的外部光带轮廓并对其进行膨胀和腐蚀操作，排除边缘部分；
37.s5：进行阈值判定保留瑕疵，并生成瑕疵掩膜图像；
38.s6：连接断边和消除孤立的瑕疵点；
39.s7：提取出瑕疵轮廓；
40.s8：对瑕疵进行分类，提取出满足检测标准的瑕疵。
41.根据本申请的一个实施例，该通过图像算法检出喷涂瑕疵的方法的具体实现方式如下：
42.1)使用多组灰度相机获得喷涂车身移动过程中的一系列清晰对焦的图像。其中例图如图3所示，要检测的瑕疵在图中已做标注。
43.2)光带掩膜提取
44.光带掩膜的提取使用阈值进行提取，具体应用上阈值的计算可以基于实际测量值，也可以采用自适应的方式进行提取，主要目的是尽可能准确地提取到光带区域。假设原图像为i
f
，掩膜图像为i
m
，获得的阈值为t。其中i
f
(i，j)指第i行第j列的图像灰度值。
45.if i
f
(i，j)＞t
46.i
m
(i，j)＝1
47.else
48.i
m
(i，j)＝0
49.计算光带上下左右边界，分别为ymin、ymax、xmin、xmax。要获得上述边界值，可以对获得地掩膜图像i
m
(i，j)进行行列搜索并计算得到。
50.最后根据获得的边界值对二值图像进行截取，即：
51.i
m_roi
＝i
m
(ymin：ymax，xmin：xmax)，
52.获得图像i
m_roi
。其中获得掩膜图像如图3所示。
53.3)sobel算子提取图像边缘
54.将第二步获得的掩膜图像与原图像相乘即可获得光带掩膜内的原图像，本例图像如附录图4所示。
55.i
f_roi
＝i
m
(ymin：ymax，xmin：xmax).*i
m_roi
56.再使用sobel算子进行卷积计算，获得原图像光带掩膜内的边缘图像。使用到算子如下：
[0057][0058][0059]
首先使用x的算子与掩膜图像做卷积：
[0060]
i
fmx
＝convolve(i
fm
，kenelx)
[0061]
其次y方向的算子与原图像做卷积：
[0062]
i
fmy
＝convolve(i
fm
，kenely)
[0063]
最后求取x方向与y方向的卷积平方和：
[0064]
i
fms
＝i
fmx2
i
fmy2
[0065]
其中，i
fms
为最终提取到包含瑕疵边缘的图像，convolve为卷积操作，结果展示图如图5所示。
[0066]
4)精确找到边缘图像的外部光带轮廓并对其进行膨胀和腐蚀操作，排除边缘部分。
[0067]
需要比较精确的找到光带轮廓的原因是由于光带边缘附近图像噪声较大，比较容易引起较多的瑕疵误检，因此需要在找到光带外部轮廓的基础上对其进行边缘膨胀操作，让光带边缘附近的边缘不参与瑕疵判定。膨胀前的边缘二值图像如图6所示，膨胀后的边缘二值图像如图7所示，图8为最后的判断区域二值图像，图9为判断区域的瑕疵边缘图像。计算过程如下：
[0068]
i
m_roi_edge
＝findcontour(i
m_roi
)
[0069]
i
m_roi_dialate
＝dilate(i
m_roi_edge
)
[0070]
i
m_roi_erode
＝erode(i
m_roi_edge
)
[0071]
i
m_roi
＝i
m_roi_dialate
.*i
m_roi_erode
[0072]
i
f_flaw
＝i
m_roi
.*i
fms
[0073]
其中，findcontour为光带轮廓提取地算法操作，i
m_roi_edge
为光带边缘二值掩膜图像，i
m_roi_dialate
为光带边缘二值图像膨胀以后的图像，i
m_roi_erode
为光带边缘二值图像服饰后的图像，i
m_roi
为两者点积以后的图像，i
f_flaw
为消除光带边缘附近部分区域后的瑕疵sobel边缘图像。
[0074]
5)阈值判定保留瑕疵，并生成瑕疵掩膜图像。
[0075]
阈值的大小可以根据工程经验设定，也可以通过图8产生的瑕疵边缘进行直方图分析，计算出合适的瑕疵阈值，这里假设阈值为t
f
。
[0076]
目的是去掉微弱边缘引起的瑕疵，尽可能多的保留边缘。此结果为二值图像，结果如图10所示。
[0077][0078]
其中i
f_flaw_m
为计算后的二值图像。
[0079]
6)连接断边和消除孤立的瑕疵点
[0080]
由于在步骤5中使用了阈值判断，因此可能出现边缘有断边的情况，此步骤中使用图像形态学闭操作可以有效地连接被打断的微弱边缘，并在之后是由开操作消除不合格的瑕疵边缘和填充超过检测标准的瑕疵方便后边的轮廓提取。结果如图11所示，其中close和open是对步骤五中获得的二值图像进行图像学闭操作和开操作：
[0081]
i
f_flaw_m_
＝close(i
f_flaw_m
)
[0082]
i
f_flaw_m
＝open(i
f_flaw_m
)
[0083]
7)提取出瑕疵轮廓。
[0084]
在步骤6的基础上，通过图像的八连通域规则可以找出所有瑕疵的外部轮廓。一些很小的瑕疵由于没有足够的八联通域点，因此没有轮廓信息，也就被过滤掉了，但这并不影
响后续的测试。
[0085]
contour＝findcontour[i
f_flaw_m
]
[0086]
8)对瑕疵进行分类，提取出满足检测标准的瑕疵
[0087]
由于不同大小形状的瑕疵有不同的检测标准，因此首先需要对检测的瑕疵轮廓进行分类，在判定其大小。本例中，我们采用最小外接矩形长宽比系数来决定该瑕疵的类属，再根据其大小来判定其是否超出了检测标准，并进行标注。假设获得的轮廓最小外接矩形的长和宽分别为length,width,阈值为t
c
。
[0088][0089]
其中size为步骤七中查找到的轮廓数量，contourtype为瑕疵的类型,t
si
,t
pa
……
为不同类型瑕疵的检验标准。其中最后的else部分可能是其它的标准判断，比如单位面积内不满足单个瑕疵检测标准的瑕疵不能多余多少个
……
。
[0090]
通过上述分类和大小判定，便可以对图像中出现的瑕疵进行标注和丢弃，满足工业自动化中的瑕疵检测要求。
[0091]
以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不
能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。

技术特征：
1.一种通过图像算法检出喷涂瑕疵的方法，其特征在于，包括如下步骤：s1：使用多组灰度相机获得喷涂车身移动过程中的一系列清晰对焦的图像；s2：进行光带掩膜提取；s3：利用sobel算子进行提取图像边缘的操作；s4：找到边缘图像的外部光带轮廓并对其进行膨胀和腐蚀操作，排除边缘部分；s5：进行阈值判定保留瑕疵，并生成瑕疵掩膜图像；s6：连接断边和消除孤立的瑕疵点；s7：提取出瑕疵轮廓；s8：对瑕疵进行分类，提取出满足检测标准的瑕疵。2.根据权利要求1所述的通过图像算法检出喷涂瑕疵的方法，其特征在于，步骤s2具体包括如下步骤：光带掩膜的提取使用阈值进行提取，具体应用上阈值的计算基于实际测量值，或采用自适应的方式进行提取，主要目的是尽可能准确地提取到光带区域。3.根据权利要求2所述的通过图像算法检出喷涂瑕疵的方法，其特征在于：步骤s3具体包括如下步骤：将所述掩膜图像与原图像相乘即可获得光带掩膜内的原图像。4.根据权利要求3所述的通过图像算法检出喷涂瑕疵的方法，其特征在于：步骤s4具体包括如下步骤：在找到光带外部轮廓的基础上对其进行边缘膨胀操作，让光带边缘附近的边缘不参与瑕疵判定。5.根据权利要求4所述的通过图像算法检出喷涂瑕疵的方法，其特征在于：步骤s5具体包括如下步骤：通过产生的瑕疵边缘进行直方图分析，计算出合适的瑕疵阈值。6.根据权利要求5所述的通过图像算法检出喷涂瑕疵的方法，其特征在于：步骤s7具体包括如下步骤：通过图像的八连通域规则可以找出所有瑕疵的外部轮廓。7.根据权利要求6所述的通过图像算法检出喷涂瑕疵的方法，其特征在于：步骤s8具体包括如下步骤：采用最小外接矩形长宽比系数来决定该瑕疵的类属，再根据其大小来判定其是否超出了检测标准，并进行标注。
技术总结
本发明提供一种通过图像算法检出喷涂瑕疵的方法，包括如下步骤：S1：使用多组灰度相机获得喷涂车身移动过程中的一系列清晰对焦的图像；S2：进行光带掩膜提取；S3：利用Sobel算子提取图像边缘；S4：找到边缘图像的外部光带轮廓对其进行膨胀和腐蚀操作，排除边缘部分；S5：进行阈值判定保留瑕疵，并生成瑕疵掩膜图像；S6：连接断边和消除孤立的瑕疵点；S7：提取瑕疵轮廓；S8：对瑕疵分类，提取满足检测标准的瑕疵。该方法只需对焦模式下的一幅包含光带的喷涂图像便可准确检出光带中存在的瑕疵并判断其大小。通过被检测喷涂表面物件的移动便可以实现整个喷涂表面的检测，该瑕疵检出方法还可以根据实际工程需求调整参数进行特定瑕疵的检测。检测。检测。


技术研发人员：曹海川
受保护的技术使用者：成都小淞科技有限公司
技术研发日：2021.03.02
技术公布日：2021/6/29