基于机器视觉的混凝土裂纹检测方法和系统与流程

专利2025-05-27  19


本发明属于计算机视觉领域,具体地,涉及基于机器视觉的混凝土裂纹检测方法和系统。


背景技术:

1、近年来,人们对基础设施结构的安全性和可靠性提出了越来越高的要求,混凝土结构的裂纹检测一直是其中的一个关键问题。现有的裂纹识别方法主要依赖于人力,如通过目视检查或者传统的无损检测方法,如超声波检测、电磁检测等。然而,这些方法都存在一定的局限性,如成本高、耗时长、可靠性低等。此外,这些传统方法通常需要专业人员操作,对操作人员的技能和经验有很高的要求,限制了其应用范围。

2、随着计算机视觉技术的发展,基于图像的裂纹检测也受到更多关注,该方式又可分为基于传统图像处理和基于机器学习两种。基于图像处理方式,目前通过图像灰度聚类、二值化等处理进行,虽然可以实现自动的裂纹检测,在一定程度上降低对人工的依赖和检测成本,但易受到复杂背景环境以及光照等因素的影响,在识别准确率和通用性上存在不足,易受环境因素限制。人工智能技术的发展为裂纹检测识别带来了新的思路,通过基于机器学习的方法可以研究开发具有较高检测准确率和鲁棒性的裂纹检测新技术,提高检测效率。基于机器学习方式主要借助于神经网络模型展开,通过构建多层网络模型实现裂纹的特征学习检测。

3、现有方法的模型简单,多是移植其它领域的网络模型,没有针对裂纹图像特征进行专门的网络设计研究,且模型检测的结果比较粗糙,只能实现裂纹有无判断或裂纹的大致框选,没有针对裂纹的细致化检测研究。


技术实现思路

1、针对现有技术中的缺陷,本发明的目的是提供一种基于机器视觉的混凝土裂纹检测方法和系统。

2、根据本发明提供的一种基于机器视觉的混凝土裂纹检测方法,包括:

3、步骤s1:采集图像数据,进行整理和标注,构建训练集、验证集、测试集;所述图像数据包括实际拍摄的裂纹图像、公开的裂纹数据集;

4、步骤s2:利用去噪算法对训练集、验证集、测试集中的图像进行预处理,并对训练集进行包括旋转、裁剪在内的数据增强操作;

5、步骤s3:基于深度学习进行裂纹检测网络设计,引入注意力机制以及残差结构,搭建卷积神经网络;

6、步骤s4:利用公开的裂纹数据集作为源域,实际拍摄的裂纹图像作为目标域进行迁移学习,并采用加权交叉熵损失函数作为约束,实现对卷积神经网络的训练;得到训练好的智能检测模型;

7、步骤s5:利用训练好的智能检测模型实现对待检测的高分辨率图像的智能检测,并通过图像连通域判断优化实际检测的效果。

8、优选地,所述步骤s1包括:

9、步骤s1-1:搜集公开的裂纹数据,形成公开的裂纹数据集;利用摄像设备拍摄混凝土表面的裂纹图像,获得实际拍摄的裂纹图像;

10、步骤s1-2:对所述公开的裂纹数据集进行整理,制作预训练数据集,并对该预训练数据集进行划分;具体地,按照7:1.5:1.5的比例将其划分为训练集、验证集、测试集;

11、步骤s1-3:将所述实际拍摄的裂纹图像裁剪成分辨率较小的小图像,并对每个小图像进行是否有裂纹的标注,形成小图像数据集;

12、步骤s1-4:减少所述小图像数据集中的非裂纹图像,至裂纹图像和非裂纹图像占比为1:1,并对该小图像数据集进行划分;具体地,按照7:1.5:1.5的比例划分为训练集、验证集、测试集;

13、优选地,所述步骤s2包括:

14、步骤s2-1:通过图像锐化以及直方图均衡的方式,拉伸预训练数据集、小图像数据集各自划分得到的训练集、验证集、测试集中的图像的像素强度分布范围,提升裂纹图像对比度;对小图像数据集划分得到的训练集、验证集、测试集中的图像进行滤波去噪;

15、步骤s2-2:对预训练数据集、小图像数据集各自划分得到的训练集中的图像进行随机的旋转变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、亮度变化、颜色变换,并且添加随机的噪声,实现训练集的数据扩充。

16、优选地,所述步骤s3包括:

17、步骤s3-1:将待识别的图像输入到卷积模块中,利用卷积模块提取图像特征,通过池化层进行降维,从而去除冗余信息,实现特征压缩,并利用批归一化操作对压缩的图像特征进行调整,得到处理后的特征;再通过激活函数引入非线性,增强网络的非线性拟合能力;

18、步骤s3-2:将处理后的特征输入残差模块中,通过学习特征输入卷积结构前后的差异来简化学习过程,让模型具有恒等映射的能力,优化梯度的传播;具体地,公式为:xn+1=xn+f(xn,wn),其中,xn、xn+1分别为第n个残差结构的输入、第n个残差结构的输出,f(xn,wn)代表残差函数,wn为xn对应的权重;

19、步骤s3-3:将步骤s3-2得到的特征进行不同步长的卷积操作,获得不同分辨率的特征图,然后分别对不同分辨率的特征图再次进行卷积操作,构成特征金字塔;

20、步骤s3-4:将特征金字塔的多尺度特征送入注意力模块中,利用注意力模块为不同位置的信息赋予不同的重要性,融合多尺度特征;得到融合特征图;

21、步骤s3-5:通过全连接层对融合特征图进行信息整合,输出预测概率,提供输入图像的类别信息;其中,所述类别信息指示的类别包括有裂纹类别、无裂纹类别。

22、优选地,所述步骤s4包括:

23、步骤s4-1:采用加权交叉熵损失函数作为约束,计算网络的预测输出与真实类别之间的差异,更新梯度信息;

24、加权交叉熵损失函数h(p,q)公式:

25、

26、其中,xi为第i个输入数据,wi为xi对应的权值,q(xi)为xi作为输入数据时的预测概率分布,p(xi)为xi作为输入数据时的真实分布;n为输入数据的数量;

27、步骤s4-2:初始化网络,利用预训练数据集划分得到的训练集对网络进行训练,并通过预训练数据集划分得到的验证集测试模型效果,获得预训练模型;

28、步骤s4-3:冻结预训练模型的部分结构,利用所述小图像数据集划分得到的训练集训练顶层网络,实现网络微调,并利用所述小图像数据集划分得到的验证集进行验证,确定最终模型,最后利用所述小图像数据集划分得到的测试集评估智能检测效果;

29、所述步骤s5包括:

30、步骤s5-1:利用滑动窗口扫描的方法对待检测的高分辨率图像进行从左到右、从上到下的滑动切分,获得低分辨率的小图像块;

31、步骤s5-2:通过训练好的智能检测模型对小图像块依次进行识别,得到小图像块对应的类别;小图像块重叠的区域类别不一致时,识别为裂纹;

32、步骤s5-3:对输入的高分辨率图像中识别为裂纹的小图像块进行标记,得出完整图像的裂纹情况检测结果;

33、步骤s5-4:将输入的高分辨率图像的每个窗口对应成二值图像的一个像素值,进行保留最大连通域的操作,然后再将所述像素值对应回高分辨率图像,得到优化后的裂纹检测结果;

34、在所述步骤s5-1中:对于最后一行和最后一列,采用向上或向左取整。

35、根据本发明提供的一种基于机器视觉的混凝土裂纹检测系统,包括:

36、模块m1:采集图像数据,进行整理和标注,构建训练集、验证集、测试集;所述图像数据包括实际拍摄的裂纹图像、公开的裂纹数据集;

37、模块m2:利用去噪算法对训练集、验证集、测试集中的图像进行预处理,并对训练集进行包括旋转、裁剪在内的数据增强操作;

38、模块m3:基于深度学习进行裂纹检测网络设计,引入注意力机制以及残差结构,搭建卷积神经网络;

39、模块m4:利用公开的裂纹数据集作为源域,实际拍摄的裂纹图像作为目标域进行迁移学习,并采用加权交叉熵损失函数作为约束,实现对卷积神经网络的训练;得到训练好的智能检测模型;

40、模块m5:利用训练好的智能检测模型实现对待检测的高分辨率图像的智能检测,并通过图像连通域判断优化实际检测的效果。

41、优选地,所述模块m1包括:

42、模块m1-1:搜集公开的裂纹数据,形成公开的裂纹数据集;利用摄像设备拍摄混凝土表面的裂纹图像,获得实际拍摄的裂纹图像;

43、模块m1-2:对所述公开的裂纹数据集进行整理,制作预训练数据集,并对该预训练数据集进行划分;具体地,按照7:1.5:1.5的比例将其划分为训练集、验证集、测试集;

44、模块m1-3:将所述实际拍摄的裂纹图像裁剪成分辨率较小的小图像,并对每个小图像进行是否有裂纹的标注,形成小图像数据集;

45、模块m1-4:减少所述小图像数据集中的非裂纹图像,至裂纹图像和非裂纹图像占比为1:1,并对该小图像数据集进行划分;具体地,按照7:1.5:1.5的比例划分为训练集、验证集、测试集;

46、优选地,所述模块m2包括:

47、模块m2-1:通过图像锐化以及直方图均衡的方式,拉伸预训练数据集、小图像数据集各自划分得到的训练集、验证集、测试集中的图像的像素强度分布范围,提升裂纹图像对比度;对小图像数据集划分得到的训练集、验证集、测试集中的图像进行滤波去噪;

48、模块m2-2:对预训练数据集、小图像数据集各自划分得到的训练集中的图像进行随机的旋转变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、亮度变化、颜色变换,并且添加随机的噪声,实现训练集的数据扩充。

49、优选地,所述模块m3包括:

50、模块m3-1:将待识别的图像输入到卷积模块中,利用卷积模块提取图像特征,通过池化层进行降维,从而去除冗余信息,实现特征压缩,并利用批归一化操作对压缩的图像特征进行调整,得到处理后的特征;再通过激活函数引入非线性,增强网络的非线性拟合能力;

51、模块m3-2:将处理后的特征输入残差模块中,通过学习特征输入卷积结构前后的差异来简化学习过程,让模型具有恒等映射的能力,优化梯度的传播;具体地,公式为:xn+1=xn+f(xn,wn),其中,xn、xn+1分别为第n个残差结构的输入、第n个残差结构的输出,f(xn,wn)代表残差函数,wn为xn对应的权重;

52、模块m3-3:将模块m3-2得到的特征进行不同步长的卷积操作,获得不同分辨率的特征图,然后分别对不同分辨率的特征图再次进行卷积操作,构成特征金字塔;

53、模块m3-4:将特征金字塔的多尺度特征送入注意力模块中,利用注意力模块为不同位置的信息赋予不同的重要性,融合多尺度特征;得到融合特征图;

54、模块m3-5:通过全连接层对融合特征图进行信息整合,输出预测概率,提供输入图像的类别信息;其中,所述类别信息指示的类别包括有裂纹类别、无裂纹类别。

55、优选地,所述模块m4包括:

56、模块m4-1:采用加权交叉熵损失函数作为约束,计算网络的预测输出与真实类别之间的差异,更新梯度信息;

57、加权交叉熵损失函数h(p,q)公式:

58、

59、其中,xi为第i个输入数据,ei为xi对应的权值,q(xi)为xi作为输入数据时的预测概率分布,p(xi)为xi作为输入数据时的真实分布;n为输入数据的数量;

60、模块m4-2:初始化网络,利用预训练数据集划分得到的训练集对网络进行训练,并通过预训练数据集划分得到的验证集测试模型效果,获得预训练模型;

61、模块m4-3:冻结预训练模型的部分结构,利用所述小图像数据集划分得到的训练集训练顶层网络,实现网络微调,并利用所述小图像数据集划分得到的验证集进行验证,确定最终模型,最后利用所述小图像数据集划分得到的测试集评估智能检测效果;

62、所述模块m5包括:

63、模块m5-1:利用滑动窗口扫描的方法对待检测的高分辨率图像进行从左到右、从上到下的滑动切分,获得低分辨率的小图像块;

64、模块m5-2:通过训练好的智能检测模型对小图像块依次进行识别,得到小图像块对应的类别;小图像块重叠的区域类别不一致时,识别为裂纹;

65、模块m5-3:对输入的高分辨率图像中识别为裂纹的小图像块进行标记,得出完整图像的裂纹情况检测结果;

66、模块m5-4:将输入的高分辨率图像的每个窗口对应成二值图像的一个像素值,进行保留最大连通域的操作,然后再将所述像素值对应回高分辨率图像,得到优化后的裂纹检测结果;

67、在所述模块m5-1中:对于最后一行和最后一列,采用向上或向左取整。

68、与现有技术相比,本发明具有如下的有益效果:

69、(1)传统裂纹检测的人工过程费时费力,在复杂环境下现场人员运维难度大,且易受检验人员主观判断的影响。本发明提出的裂纹识别方法可以实现自动检测,无需人工巡检或设计特征,可以降低成本,提高检测效率,且能够实现24小时实时检测,实现故障早发现。

70、(2)本发明提出基于深度学习的裂纹检测方法,利用深度学习模型强大的特征提取能力和自主学习能力,实现对结构表面裂纹的高效、准确、快速检测,对环境的适应能力强,能够适用于多种不同裂纹情况结构,泛化性、可靠性高。

71、(3)本发明利用残差连接、特征金字塔等结构解决网络退化以及小目标、多尺度识别等问题,利用迁移学习实现有限数据的高效利用,采用加权交叉熵损失解决数据不平衡问题,并通过对实际图像的滑动处理达到了裂纹的精细化检测识别效果,最终实现高准确性的裂纹检测。


技术特征:

1.一种基于机器视觉的混凝土裂纹检测方法,其特征在于,包括:

2.根据权利要求1所述的基于机器视觉的混凝土裂纹检测方法,其特征在于,所述步骤s1包括:

3.根据权利要求1所述的基于机器视觉的混凝土裂纹检测方法,其特征在于,所述步骤s2包括:

4.根据权利要求1所述的基于机器视觉的混凝土裂纹检测方法,其特征在于,所述步骤s3包括:

5.根据权利要求1所述的基于机器视觉的混凝土裂纹检测方法,其特征在于,所述步骤s4包括:

6.一种基于机器视觉的混凝土裂纹检测系统,其特征在于,包括:

7.根据权利要求6所述的基于机器视觉的混凝土裂纹检测系统,其特征在于,所述模块m1包括:

8.根据权利要求6所述的基于机器视觉的混凝土裂纹检测系统,其特征在于,所述模块m2包括:

9.根据权利要求6所述的基于机器视觉的混凝土裂纹检测系统,其特征在于,所述模块m3包括:

10.根据权利要求6所述的基于机器视觉的混凝土裂纹检测系统,其特征在于,所述模块m4包括:


技术总结
本发明提供了一种基于机器视觉的混凝土裂纹检测方法和系统,包括:采集图像数据,进行整理和标注,搭建训练集、验证集、测试集;所述图像数据包括实际拍摄的裂纹图像和公开的裂纹数据集;利用去噪算法对各数据集中的图像进行预处理,并进行旋转、裁剪等数据增强操作;引入注意力机制以及残差结构,搭建卷积神经网络;利用公开的裂纹数据集作为源域,实际拍摄的裂纹图像作为目标域进行迁移学习,并采用加权交叉熵损失函数作为约束,实现对卷积神经网络的训练;利用训练好的模型实现对输入高分辨率图像的智能检测,并通过图像连通域判断优化实际检测的效果。本发明实现对结构表面裂纹的高效、准确、快速检测,对环境的适应能力强,可靠性高。

技术研发人员:王静怡,王迅,王豪
受保护的技术使用者:上海船舶电子设备研究所(中国船舶集团有限公司第七二六研究所)
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/index.php/read-1820406.html

最新回复(0)