本发明涉及轮胎行业花纹磨损程度识别测量技术领域，具体来说，是一种基于生成对抗网络的轮胎磨损程度预测方法。
背景技术：
众所周知，轮胎与路面间的摩擦力是汽车驱动、制动及转向的来源。在汽车轮胎的胎面上设计花纹可以有效提高轮胎与地面的摩擦力以及轮胎的贮水、排水能力，同时还有利于轮胎的散热。
汽车在行驶过程中，其轮胎会不断损耗，当轮胎花纹深度低于临界值时，汽车轮胎与地面的摩擦力显著下降，并对轮胎的贮水、排水能力产生较大的影响。当路面有水膜时，容易产生“水滑现象”，对交通造成极大的安全隐患。
目前轮胎胎面花纹深度的主要检测方法有两种，第一种方法如图1所示，其是通过轮胎花纹深度尺或者游标卡尺，手动测量轮胎胎面同一截面的几条主花纹沟，并取平均值，该方法的缺点是需要人工手动测量，人力成本过大，效率低下。第二种方法如图2所示，其是利用激光传感器水平扫描轮胎表面获得，缺点是激光器、处理器等设备的成本较高，不能够普遍应用。并且，这两种技术都无法远程测量轮胎胎面花纹深度。
车辆正常使用情况下，在没有对车辆轮胎进行拆卸时，用户一般不能拍摄到严格的车辆轮胎正面图像，却很容易通过手机就可以获得轮胎的侧面照片，但是侧面照片并不能清楚的识别到轮胎的直线型花纹沟槽。
鉴于此，本发明通过一种图像转换方法，能够将轮胎侧面图像重构成相应的轮胎正面图像，从而实现一种远程、快速、简便的对轮胎磨损程度进行预测的方法。
技术实现要素：
基于上述技术背景，本发明的主要目的是提供一种基于生成对抗网络的轮胎磨损程度预测方法，该方法能够实施远程测量，通过拍摄的轮胎侧面照片即可预测轮胎的磨损程度，进而及时了解轮胎磨损情况，有效降低人力、物力成本投入。
为解决上述问题，本发明所采用的技术方案是：
一种基于生成对抗网络的轮胎磨损程度预测方法，特殊之处在于，步骤如下：
s1：对拍摄的轮胎侧面照片进行预处理；
s2：利用ist-gan网络模型框架将s1处理后的轮胎侧面图像重构为轮胎正面图像；
s3：利用twp预测模型框架对转换后的轮胎正面图像进行轮胎磨损程度的预测，得出相应的预测结论。
进一步地，所述s1中，对拍摄的轮胎侧面照片进行预处理，是指将轮胎侧面照片的格式及像素进行调整，并对照片颜色作灰度处理。
进一步地，所述s2中的ist-gan网络模型框架以及s3中的twp预测模型框架，其训练过程均依赖于轮胎样本数据集的建立，该轮胎样本数据集的建立过程包括：
将一定数量的轮胎作为样本，采集每个样本轮胎同一位置的正面照片（垂直于轮胎胎面）和侧面照片（与胎面有一定倾斜角度），得到一系列轮胎正面图像和轮胎侧面图像，对照片进行预处理，得到用于ist-gan网络模型框架训练的数据集；
测量并记录每个样本轮胎的直线型花纹沟槽深度，并根据直线型花纹沟槽深度设置三个阈值标签作为分类依据，将其分类为建议更换轮胎、轮胎良好和轮胎优秀三类不同磨损程度的分类数据集，用于twp预测模型框架的训练；
进一步地，为了确保s2中的轮胎侧面图像能够准确的重构出轮胎正面图像，所述ist-gan网络模型框架基于两个生成器g1、g2设计了两个循环转换分支，并且在两个循环转换分支中借助于两个判别器d1、d2对两个生成器g1、g2进行训练优化；
所述两个循环转换分支包括正向循环一致性转换分支和逆向循环一致性转换分支；
在正向循环一致性转换分支中，生成器g1将轮胎正面图像p作为输入，合成伪造的轮胎侧面图像
在逆向循环一致性转换分支中，生成器g2将轮胎侧面图像s作为输入，合成伪造的轮胎正面图像
为了保证上述双向循环一致性转换过程中每一张图片都能映射到目标，设计了循环一致性损失函数：
其中，生成器g1用以实现从轮胎正面数据集ip到轮胎侧面数据集is的映射；生成器g2用以实现从轮胎侧面数据集is到轮胎正面数据集ip的映射；
正向循环转换过程中，生成器g1和判别器d1之间设计正向循环对抗性损失函数，从而使判别器d1能够将合成伪造的轮胎侧面图像和输入的轮胎侧面图像进行对比，进而选择合成更好的（即损失最小）伪造的轮胎侧面图像，该正向循环对抗性损失函数为：
逆向循环转换过程中，生成器g2和判别器d2之间设计逆向循环对抗性损失函数，从而使判别器d2能够将合成伪造的轮胎正面图像和输入的轮胎正面图像进行对比，进而选择合成更好的（即损失最小）伪造的轮胎正面图像，该逆向循环对抗性损失函数为：
最后，通过最小化整体目标损失来得到较好的ist-gan网络模型，该ist-gan网络模型框架的目标函数：
其中，参数λ控制判别器损失函数和生成器损失函数的重要性，参数λ取值越大，说明生成器的循环一致性损失函数的权重越高，因此减少循环一致性损失就越有意义，即ist-gan网络模型在训练过程中更注重降低生成器的损失。
利用测试集对训练好的ist-gan网络模型框架进行测试，输出重构后的轮胎正面图像。
进一步地，所述ist-gan网络模型框架训练时的学习率为2e-4、批量大小为1、迭代周期300，使用intel（r）coretmi7-9700cpu处理器进行迭代，整个训练过程大约需要9个小时。
进一步地，所述s3中的twp预测模型框架，是由三个输入分支、三个卷积层、一个全连接层以及一个分类层构成；其训练过程包括以下步骤：
s31、利用三个输入分支将三类带有标签且代表不同磨损程度的分类数据集输入；
s32、经过三层卷积层将s2重构的轮胎图像映射到隐层特征空间，进行特征提取；
s33、将输出的特征张量输入到全连接层，将学习到的“分布式特征表示”映射到样本标记空间；
s34、通过分类层将其分类为三类不同磨损程度中的其中一种，从而得到轮胎的胎磨损程度。
进一步地，训练过程中通过记录每次训练相应的损失值和准确率，对模型进行修正，直至训练完成。
进一步地，所述三个卷积层是以卷积-池化-激活规律搭建而成，其中卷积核大小5*5，卷积核移动步长1，卷积核个数64，池化大小2*2，池化步长2，池化类型为最大池化；
所述卷积层和全连接层均利用非线性激活函数leakyrelu，所述分类层利用softmax激活函数。
进一步的，使用softmax分类作为输出层，选择交叉熵作为损失函数，通过softmax计算出该损失函数值：
其中，k是种类数量，lable表示输入数据的标签值，q表示输入数据的预测值。其次，通过输出准确率来评估该方法的有效性：
其中，
本发明的一种基于生成对抗网络的轮胎磨损程度预测方法，结合了gan网络和深度学习网络两种网络模型，其中的ist-gan网络模型重构了样本，扩充了样本集，转换了图像风格；同时结合两种网络模型的优势，能够提高模型的准确率和鲁棒性。ist-gan网络模型采用相互验证的双向循环转换，较单向循环可以使轮胎正面数据到侧面数据的转换更加真实，从而训练得到更好的生成器。对于数据集来说，本发明不需要通过人工对数据集进行大量标记，节省了大量的人工成本，提高了效率。对于用户来说，只需拍一张轮胎侧面照片即可通过本发明的方法预测得知轮胎的磨损情况，极大地方便了用户，同时降低了轮胎公司的售后服务成本。
附图说明
图1是使用轮胎花纹深度尺人工测量轮胎花纹沟槽深度示意图；
图2是利用激光测量轮胎花纹沟槽深度示意图；
图3是拍摄的轮胎正面图像和轮胎侧面图像；
图4是图像风格转换方法框架ist-gan流程图；
图5轮胎磨损程度预测方法框架twp流程图。
具体实施方式
下面将结合本实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
日常生活中，车辆在正常使用的情况下，在没有对车辆轮胎进行拆卸时，用户一般不能拍摄到严格的车辆轮胎正面图像，但通常很容易通过手机就可以获得轮胎的侧面照片，但是侧面照片并不能清楚的识别到轮胎的直线型花纹沟槽。基于此，本实施例的一种基于生成对抗网络的轮胎磨损程度预测方法中涉及到一种图像风格转换方法，通过该方法可以实现从轮胎侧面图像重构成相应的轮胎正面图像，从而辅助完成轮胎磨损程度的预测。
此外，在没有专业的测量工具的情况下，很难计算出轮胎的花纹沟槽深度，也就很难得知轮胎的磨损程度。因此，本实施例的一种基于生成对抗网络的轮胎磨损程度预测方法中还涉及到一种简单高效的轮胎磨损程度预测方法，该方法可以实现将重构好的轮胎正面图像做出轮胎磨损程度的预测，从而帮助车主在去汽车修理厂之前对自己的轮胎磨损情况能够有所了解。
本实施例所述的图像风格转换方法主要是构建了一种基于生成对抗网络的框架，本实施例中将其定义为ist-gan网络模型框架，通过对该模型框架进行训练，输出重构的轮胎正面图像。
本实施例所述的轮胎磨损程度预测方法主要是搭建了一种基于深度学习的框架，即twp预测模型框架，通过三类不同磨损程度的数据集对该模型框架进行训练，对重构的轮胎正面图像输入进行预测，从而预测该轮胎是属于建议更换轮胎、轮胎良好和轮胎优秀三类中的哪一类。
由于以上两种模型框架的训练均须依赖于一定数量的数据集，因此，在对这两种模型框架训练之前，需要首先建立轮胎样本数据集，所述轮胎样本数据集的建立方法包括：
将一定数量的轮胎作为样本，采集每个样本轮胎同一位置的正面照片（垂直于轮胎胎面）和侧面照片（与胎面有一定倾斜角度），并对照片进行预处理，所述预处理是将收集到的一系列轮胎正面图像和轮胎侧面图像的格式及像素大小（本实施例将其批量裁剪为256*256像素）作一致性处理，并将处理后的图像颜色转换为灰度，以便于后续框架的训练需要。处理后的一系列轮胎正面图像和轮胎侧面图像中，将80%的图像数据作为训练集，另外20%的图像数据作为测试集，用于ist-gan网络模型框架的训练；
测量并记录每个样本轮胎的直线型花纹沟槽深度，并根据直线型花纹沟槽深度设置三个阈值标签作为分类依据，将其分类为建议更换、轮胎良好和轮胎优秀三类不同磨损程度的分类数据集，用于ist-gan网络模型框架的训练。本实施例以轿车为例，将轮胎线型花纹沟槽深度在1.6-3.5mm范围内的轮胎划定为建议更换，将轮胎线型花纹沟槽深度在3.5-6mm范围内的轮胎划定为轮胎良好，将轮胎线型花纹沟槽深度在6-8mm范围内的轮胎划定为轮胎优秀；如涉及到轿车之外的卡车等车型，可参考国家标准设定阈值进行分类。
本实施例的一种基于生成对抗网络的轮胎磨损程度预测方法，包括以下步骤：
s1：对拍摄得到的轮胎侧面照片进行预处理，所述预处理包括将照片的格式、像素进行调整，并将处理后的图像颜色转换为灰度；
s2：利用ist-gan网络模型框架将s1处理后的轮胎侧面图像重构为轮胎正面图像；
s3：利用twp预测模型框架对转换后的轮胎正面图像进行轮胎磨损程度的预测，得出相应的预测结论。
本实施例中，为了确保s2中的轮胎侧面图像能够准确的重构出轮胎正面图像，所述ist-gan网络模型框架基于两个生成器g1、g2设计了两个循环转换分支，并且在两个循环转换分支中借助于两个判别器d1、d2对两个生成器g1、g2进行训练优化；
所述两个循环转换分支包括正向循环一致性转换分支和逆向循环一致性转换分支；
在正向循环一致性转换分支中，生成器g1将轮胎正面图像p作为输入，合成伪造的轮胎侧面图像
在逆向循环一致性转换分支中，生成器g2将轮胎侧面图像s作为输入，合成伪造的轮胎正面图像
为了保证上述双向循环一致性转换过程中每一张图片都能映射到目标，设计了循环一致性损失函数：
其中，生成器g1用以实现从轮胎正面数据集ip到轮胎侧面数据集is的映射；生成器g2用以实现从轮胎侧面数据集is到轮胎正面数据集ip的映射；
正向循环转换过程中，生成器g1和判别器d1之间设计正向循环对抗性损失函数，从而使判别器d1能够将合成伪造的轮胎侧面图像和输入的轮胎侧面图像进行对比，进而选择合成更好的（即损失最小）伪造的轮胎侧面图像，该正向循环对抗性损失函数为：
逆向循环转换过程中，生成器g2和判别器d2之间设计逆向循环对抗性损失函数，从而使判别器d2能够将合成伪造的轮胎正面图像和输入的轮胎正面图像进行对比，进而选择合成更好的（即损失最小）伪造的轮胎正面图像，该逆向循环对抗性损失函数为：
最后，通过最小化整体目标损失来得到较好的ist-gan网络模型，该ist-gan网络模型框架的目标函数：
其中，参数λ控制判别器损失函数和生成器损失函数的重要性，参数λ取值越大，说明生成器的循环一致性损失函数的权重越高，因此减少循环一致性损失就越有意义，即ist-gan网络模型在训练过程中更注重降低生成器的损失。
利用测试集对训练好的ist-gan网络模型框架进行测试，输出重构后的轮胎正面图像。
本实施例的ist-gan网络模型框架，训练学习率为2e-4、批量大小为1、迭代周期300，使用intel（r）coretmi7-9700cpu处理器进行迭代，整个训练过程大约需要9小时。
本实施例中，s3所涉及的twp预测模型框架，是由三个输入分支、三个卷积层、一个全连接层以及一个分类层构成；其通过三类不同磨损程度的分类数据集对该模型框架进行训练，对重构的轮胎正面图像输入进行预测，从而预测该轮胎是属于建议更换轮胎、轮胎良好和轮胎优秀三类中的哪一类。
其训练过程包括以下步骤：
s31、利用三个输入分支将三类不同磨损程度的分类数据集及其标签输入；
s32、经过三层卷积层将s2重构的轮胎图像映射到隐层特征空间，进行特征提取；
s33、将输出的特征张量输入到全连接层，将学习到的“分布式特征表示”映射到样本标记空间；
s34、通过分类层将其分类为三类不同磨损程度中的其中一种，如果图像属于轮胎线型花纹沟槽深度在1.6-3.5mm范围内则轮胎建议更换，如果图像属于轮胎线型花纹沟槽深度在3.5-6mm范围内则代表轮胎良好，如果图像属于轮胎线型花纹沟槽深度在6-8mm范围内代表轮胎优秀，从而得到轮胎的胎磨损程度。
进一步地，训练过程中通过记录每次训练相应的损失值和准确率，对模型进行修正，直至训练完成。
进一步地，所述三个卷积层是以卷积-池化-激活规律搭建而成，其中卷积核大小5*5，卷积核移动步长1，卷积核个数64，池化大小2*2，池化步长2，池化类型为最大池化；
所述卷积层和全连接层均利用非线性激活函数leakyrelu，所述分类层利用softmax激活函数。
进一步的，使用softmax分类作为输出层，选择交叉熵作为损失函数，通过softmax计算出该损失函数值：
其中，k是种类数量，lable表示输入数据的标签值，q表示输入数据的预测值。其次，通过输出准确率来评估该方法的有效性：
其中，
本发明的一种基于生成对抗网络的轮胎磨损程度预测方法，用户只需拍摄一张轮胎侧面图片，即可得知轮胎的磨损程度，便于提前做好更换轮胎的计划，能够大量节约人力和物力成本，省时省力更省心。
综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作各种更动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。
