本发明属于自动化工业质量检测,尤其是涉及一种基于超网络语义分割的轮胎缺陷检测方法、设备和介质。
背景技术:
1、随着轮胎行业的不断升级,轮胎正处于从传统斜交式结构向子午线结构逐步过渡的阶段。这一结构升级旨在提升轮胎性能、延长使用寿命,同时满足绿色低碳、节能降耗的新要求。然而,这一升级也带来了制造工艺的复杂化,使得轮胎内部缺陷的产生可能性相应增加,这对产品质量和安全性提出了更高的要求。目前排查轮胎缺陷主要有两种方法:人工目测法和计算机图象分析法,但一方面,部分缺陷,例如胎侧区域杂质缺陷、带束层打褶缺陷和帘线区域间距不规则缺陷难以通过人工目检进行排查,从而增加漏检、误检的风险;另一方面,检测标准也容易受到工人主观因素的影响,难以实现检测标准化和规范化,所以通过计算机视觉方法进行轮胎缺陷检测是行业发展的必然趋势。
2、近年来,深度学习技术在图像分类、目标识别、语义分割等领域得到了广泛的应用,深度学习方法具有端到端学习、自动学习特征等优势,能够更好地适应复杂多变的轮胎x光图像特征。中国专利申请cn202210855373.1公开了一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,设计了轻量化的编码器结构,对轮胎x射线图像的各个区域的纹理特征和空间信息进行捕获,同时记录语义上下文信息,利用构造的预训练方法保存编码器的参数权重;此外,还设计了基于特征融合的解码器结构,根据训练数据集学习输出灰度图像的像素级分类结果,可实时自动检测轮胎故障。但该方法只处理了带束层差级和错边缺陷,因此,需要设计一种轮胎缺陷检测方法,可以准确实现轮胎的多类型缺陷检测。
技术实现思路
1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于超网络语义分割的轮胎缺陷检测方法、设备和介质,可以准确实现轮胎的多类型缺陷检测。
2、本发明的目的可以通过以下技术方案来实现:
3、本发明提供一种基于超网络语义分割的轮胎缺陷检测方法,包括以下步骤:
4、获取待检测轮胎的x射线图像,进行预处理后输入训练好的超网络语义分割网络,基于所述超网络语义分割网络的输出获取缺陷检测结果;
5、其中,所述超网络语义分割网络包括编码器和解码器,所述编码器和所述解码器使用跳跃连接;所述编码器包括骨干网络和上下文头,所述骨干网络用于根据待检测轮胎的x射线图像提取不同分辨率的特征图,每个特征图与其像素位置信息拼接成最终特征图输入所述解码器,所述上下文头用于从每个最终特征图中提取高级语义信息;
6、所述解码器包括多个元块,每个元块对应一个分辨率级别,每个元块将对应分辨率级别的最终特征图和经过双线性上采样操作的低一级别分辨率的最终特征图进行加权操作后,输入高一级别分辨率对应的元块,每个元块的权重基于对应分辨率级别的最终特征图的全局语义信息生成,最后一个元块的输出作为所述超网络语义分割网络的输出。
7、进一步地,所述超网络语义分割网络的训练过程如下:
8、s1、获取含缺陷的轮胎的x射线图像并进行预处理,构建缺陷数据集,所述缺陷包括胎侧区域杂质缺陷、带束层打褶缺陷和帘线区域间距不规则缺陷;
9、s2、将所述缺陷数据集输入所述超网络语义分割网络,通过迭代训练进行网络调优。
10、进一步地,步骤s1中,所述预处理的具体过程如下:将图像在垂直方向进行竖直切割,裁剪后保留带束层和胎侧区域,然后通过中值滤波去除噪声,并利用直方图均衡化进行图像增强,最后使用labelme进行像素级别的标注。
11、进一步地,步骤s1中,通过图像几何变换对所述缺陷数据集进行增广。
12、进一步地,所述骨干网络基于efficientnet模型构建。
13、进一步地,所述上下文头为嵌套的u-net结构,包括下采样路径和上采样路径,所述下采样路径通过多个卷积层逐层降低输入所述上下文头的最终特征图的分辨率,输入平均池化层后送入所述上采样路径,所述上采样路径包括多个层,每一层对应一个分辨率级别,每一层将对应分辨率级别的最终特征图与经过上采样操作的前一层的输出进行连接后输出,最后一层的输出通过全连接层进行融合。
14、进一步地,所述上采样路径中,使用最近邻插值技术将前一层的输出进行上采样操作。
15、进一步地,所述元块基于mobilenetv2的倒残差块构建,首先使用逐点卷积进行升维操作,然后通过深度卷积进行特征提取,最后使用逐点卷积进行降维操作。
16、本发明还提供一种电子设备,包括存储器、处理器,以及存储于所述存储器中的程序,所述处理器执行所述程序时实现上述方法。
17、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法。
18、与现有技术相比,本发明具有以下有益效果:
19、1、本发明将待检测轮胎的x射线图像进行预处理后,输入训练好的超网络语义分割网络,基于超网络语义分割网络的输出获取缺陷检测结果,其中,本发明设计的超网络语义分割网络包括编码器和解码器,编码器包括骨干网络和上下文头,骨干网络用于根据待检测轮胎的x射线图像提取不同分辨率的特征图,每个特征图与其像素位置信息拼接成最终特征图输入解码器,上下文头用于从每个最终特征图中提取高级语义信息;解码器包括多个元块,每个元块对应一个分辨率级别,每个元块将对应分辨率级别的最终特征图和经过双线性上采样操作的低一级别分辨率的最终特征图进行加权操作后,输入高一级别分辨率对应的元块,每个元块的权重基于对应分辨率级别的最终特征图的全局语义信息生成,最后一个元块的输出作为所述超网络语义分割网络的输出,上述网络结构有利于促进全局信息的融合,同时能够充分利用图像的像素位置信息进行权重调整,可以进一步提高多类型轮胎缺陷检测的准确性。
20、2、本发明在构造用于训练超网络语义分割网络的数据集时,通过中值滤波去除噪声,并利用直方图均衡化进行图像增强,使得图像具有更均匀的灰度概率分布,从而增强图像的对比度和细节信息,同时,通过图像几何变换对所述缺陷数据集进行增广,缓解轮胎缺陷数据量不足带来的误差问题,提高模型的准确性。
1.一种基于超网络语义分割的轮胎缺陷检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于超网络语义分割的轮胎缺陷检测方法,其特征在于,所述超网络语义分割网络的训练过程如下:
3.根据权利要求2所述的一种基于超网络语义分割的轮胎缺陷检测方法,其特征在于,步骤s1中,所述预处理的具体过程如下:将图像在垂直方向进行竖直切割,裁剪后保留带束层和胎侧区域,然后通过中值滤波去除噪声,并利用直方图均衡化进行图像增强,最后使用labelme进行像素级别的标注。
4.根据权利要求2所述的一种基于超网络语义分割的轮胎缺陷检测方法,其特征在于,步骤s1中,通过图像几何变换对所述缺陷数据集进行增广。
5.根据权利要求1所述的一种基于超网络语义分割的轮胎缺陷检测方法,其特征在于,所述骨干网络基于efficientnet模型构建。
6.根据权利要求1所述的一种基于超网络语义分割的轮胎缺陷检测方法,其特征在于,所述上下文头为嵌套的u-net结构,包括下采样路径和上采样路径,所述下采样路径通过多个卷积层逐层降低输入所述上下文头的最终特征图的分辨率,输入平均池化层后送入所述上采样路径,所述上采样路径包括多个层,每一层对应一个分辨率级别,每一层将对应分辨率级别的最终特征图与经过上采样操作的前一层的输出进行连接后输出,最后一层的输出通过全连接层进行融合。
7.根据权利要求6所述的一种基于超网络语义分割的轮胎缺陷检测方法,其特征在于,所述上采样路径中,使用最近邻插值技术将前一层的输出进行上采样操作。
8.根据权利要求1所述的一种基于超网络语义分割的轮胎缺陷检测方法,其特征在于,所述元块基于mobilenetv2的倒残差块构建,首先使用逐点卷积进行升维操作,然后通过深度卷积进行特征提取,最后使用逐点卷积进行降维操作。
9.一种电子设备,包括存储器、处理器,以及存储于所述存储器中的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。