本发明涉及一种结合faster rcnn的模板匹配焊点检测方法，属于图像处理领域，尤其适用于结合faster rcnn的模板匹配焊点检测。
背景技术：
1、在现代工业中，电子技术是重要的基石。印刷电路板(pcb)作为电子元器件的载体，其贴装质量直接影响产品的性能。在实际生产过程中，由于原材料、设备稳定性、温度、认为操作失误等因素会造成pcb加工缺陷。点焊是工业制造中实现快速、高效和稳定的连接方式。由于焊枪的热量和压力容易导致变形和质量不稳定，产生质量不一的焊点。为了保证pcb和点焊焊点的质量达标，需要对pcb的焊点和工件焊点进行目标检测，按照质量好坏识别出标准焊点和有缺陷的焊点，以及它们所处的位置。
2、随着目标检测在计算机视觉中应用较为广泛，计算机视觉在工业上的应用也被越来越重视。传统模式识别中的模板匹配方法虽然使用便利，但检测精度不佳，而利用深度学习的目标检测前期所需大量时间和样本量，在实际工业上较难应用，亟需一种新的目标检测方法来解决上述问题。利用模板匹配方法与深度学习网络相结合能够极大的发挥好各自方法有点，提高目标检测的快速性和准确性。发明专利cn 202310029435.8提出了“基于机器视觉的铁路扣件缺陷在线检测与识别方法”，通过模板匹配进行筛选，加上yolov5网络进行分类，能够判断出扣件缺陷的具体情况。但现有的方法只是机械的将模板匹配方法与深度学习网络相结合，在识别精度上仍然不够准确，同时缺少监督学习，识别结果置信度不高。
3、模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题；它是图像处理中最基本、最常用的匹配方法。模板匹配具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，该算法无效。对于有缺陷的焊点难以利用传统模板匹配方法检测，对于标准焊点单纯的采用模板匹配方法也很难满足精度的要求。
技术实现思路
1、有鉴于此，为了优化非标准焊点难以利用传统模板匹配方法检测，对标准焊点检测精度不够的问题。本发明提出一种结合fasterrcnn的模板匹配焊点检测方法，采用融合特征的优化模板匹配方法，能减少样本处理的工作量，并结合fasterrcnn网络进行相似度的交叉验证，实现焊点的准确检测。较之单独采用模板匹配和深度学习方法的目标检测，本发明方法旨在实现更快速、稳定、精确的检测焊点定位和焊点类型的识别。
2、包含以下步骤：
3、s1：获取各种场景下对应的焊点图像并按照标准焊点和有缺陷焊点进行人工标记，将标记后的这些图像作为模板图像；
4、s2：对模板图像进行自动扩充，生成模板图像数据集；
5、s3：建立faster rcnn网络，利用模板图像数据集进行训练和测试；
6、s4：输入待检测的焊点图像，分割出焊点区域后，利用模板匹配方法进行与标准焊点的模板图像数据集匹配，将其中相似度大于阈值的区域焊点直接判定为标准焊点，并输出该焊点位置，删除这些区域后，得到剩余焊点图像；
7、s5：将剩余焊点图像输入到faster rcnn网络进行目标检测，并利用非极大值抑制(non-maximum suppress，nms)算法除去冗余，计算出焊点的位置以及对应的置信度，对置信度高于阈值的标准焊点、有缺陷焊点进行判定，并输出对应位置，并从剩余焊点图像中删除这些区域，得到剩余疑难焊点图像；
8、s6：利用模板匹配方法对剩余疑难焊点图像与模板图像数据集匹配，得到疑难焊点的位置、类型以及对应的相似度；
9、s7：利用fasterrcnn网络对剩余疑难焊点图像与模板图像数据集匹配，得到疑难焊点的位置、类型以及对应的相似度；
10、s8：当步骤s6和步骤s7判定的同一疑似焊点的类型相同时，直接输出该焊点类型以及位置；否则执行步骤s9；
11、s9：比较该焊点对应的步骤s6中的相似度以及步骤s7中的相似度，当相似度都小于设定阈值时，直接将该焊点判定为有缺陷焊点，并输出该焊点位置；否则以相似度高的判定类型为准，并输出该焊点位置。
12、进一步，步骤s2所述的自动扩充为对模板图像进行缩放、旋转、裁剪或灰度变化操作，优化模板匹配算法对匹配目标发生旋转时检测效果不佳的情况。
13、进一步，所述的faster rcnn可以训练一个transformer，用以学习同一样本之间的变化，然后使用该transformer对小样本模板数据集进行扩充，提升样本数量，增强检测精确性。
14、进一步，步骤s4和步骤s6所述的模板匹配方法为标准相关匹配(tm_ccoeff_normed)，相似度为其中，t1(x′，y′)为模板图像在(x′，y′)处的特征值，t2(x+x′，y+y′)为待检测图像在(x+x′，y+y′)处的特征值，所述的特征值为像素值，其中，(x′，y)为模板左上角坐标，(x，y)为待检测图像左上角坐标，(x+x′，y+y′)为模板在待检测图像中的位置。
15、可优选的，步骤s4的模板匹配方法可以结合图像金字塔，实现多尺度的模板匹配。
16、可优选的，步骤s6所述的模板匹配方法可以采用融合特征作为模板图像或待检测图像的特征值；所述的模板图像在坐标点(x，y)处的融合特征值为：其中，tt(x，y)＝w1·(r-r′)2+w2·g(x，y)+w3.e(m，n)为模板图像特征，td(x，y)为faster rcnn网络的输出的以(x，y)为中心的滑窗的特征值；权重参数可以通过训练得到；w1、w2、w3为权重参数，通过实验测试得到；r为待检测的焊点半径；r′为理想的焊点半径，可根据经验人为设定；坐标点(x，y)处的梯度强度水平梯度强度gx(x，y)＝i(x+1,y)-i(x-1，y)，垂直梯度强度gy(x，y)＝i(x，y+1)-i(x，y-1)，i(x，y)为(x，y)处的像素值；e(m，n)为(x，y)处的线性邻域滤波输出的像素值，m、n为对应x、y方向上滤波邻域的大小，可以通过训练得到。所述的待检测图像在坐标点(x，y)处的融合特征值与模板图像在坐标点(x，y)处的融合特征值计算公式一致。
17、可优选的，对于加工工艺要求严格、且要求识别效率高的场景，可以将所有的疑难焊点直接判定为有缺陷焊点，减少步骤s6～步骤s9的操作，以减少计算量，提高识别效率。
18、进一步，步骤s4、步骤s5、步骤s9所述的阈值各不相同，可以通过模板图像数据集训练得到。
19、可优选的，步骤s6可以只采用有缺陷焊点的模板图像数据集来对剩余疑难焊点图像进行模板匹配计算，将这些疑难焊点的匹配结果分别与其在步骤s4中匹配的结果进行相似度比较，选择相似度高的结果为对应疑难焊点的类型以及对应的相似度。
20、本发明的有益效果在于：一种结合fasterrcnn的模板匹配焊点检测方法，通过基于置信度的多层次筛选实现准确的焊点检测，具体的：首先采用模板匹配方法在标准样本集快速筛选出标准焊点，保证识别精度的前提下大幅降低了剩余图像的计算量；然后结合faster rcnn网络对剩余焊点进行进一步的筛选，进一步减少识别的范围；再引入融合特征的模板匹配方法对疑难焊点进行检测，并结合fasterrcnn网络结果对疑难焊点进行交叉验证，保证了识别结果的精准。
1.一种结合faster rcnn的模板匹配焊点检测方法，其特征在于，该方法包含以下步骤：
2.根据权利要求1所述的一种结合faster rcnn的模板匹配焊点检测方法，其特征在于，所述的faster rcnn可以训练一个transformer，用以学习同一样本之间的变化，然后使用该transformer对小样本模板数据集进行扩充，提升样本数量，增强检测精确性。
3.根据权利要求1所述的一种结合faster rcnn的模板匹配焊点检测方法，其特征在于，步骤s4所述的模板匹配方法可以结合图像金字塔，实现多尺度的模板匹配。
4.根据权利要求1所述的一种结合faster rcnn的模板匹配焊点检测方法，其特征在于，步骤s6所述的模板匹配方法可以采用融合特征作为模板图像或待检测图像的特征值；所述的模板图像在坐标点(x，y)处的融合特征值为：其中，tt(x，y)＝w1·(r-r′)2+w2·g(x，y)+w3·e(m，n)为模板图像特征，td(x，y)为fasterrcnn网络的输出的以(x，y)为中心的滑窗的特征值；权重参数可以通过训练得到；w1、w2、w3为权重参数，通过实验测试得到；r为待检测的焊点半径；r′为理想的焊点半径，可根据经验人为设定；坐标点(x，y)处的梯度强度水平梯度强度gx(x，y)＝i(x+1，y)-i(x-1，y)，垂直梯度强度gy(x，y)＝i(x，y+1)-i(x，y-1)，i(x，y)为(x，y)处的像素值；e(m，n)为(x，y)处的线性邻域滤波输出的像素值，m、n为对应x、y方向上滤波邻域的大小，可以通过训练得到；所述的待检测图像在坐标点(x，y)处的融合特征值与模板图像在坐标点(x，y)处的融合特征值计算公式一致。
5.根据权利要求1所述的一种结合faster rcnn的模板匹配焊点检测方法，其特征在于，对于加工工艺要求严格、且要求识别效率高的场景，可以将所有的疑难焊点直接判定为有缺陷焊点，减少步骤s6～步骤s9的操作，以减少计算量，提高识别效率。
6.根据权利要求1所述的一种结合faster rcnn的模板匹配焊点检测方法，其特征在于，所述的步骤s6可以只采用有缺陷焊点的模板图像数据集来对剩余疑难焊点图像进行模板匹配计算，将这些疑难焊点的匹配结果分别与其在步骤s4中匹配的结果进行相似度比较，选择相似度高的结果为对应疑难焊点的类型以及对应的相似度。
