本发明涉及半监督学习，尤其是涉及一种基于对抗性与交叉一致性训练的半监督路面裂痕检测方法。
背景技术：
1、在数字孪生和智慧城市建设的背景下，智能化的道路损坏检测是确保道路品质、安全性、通行能力和舒适性的关键环节。未能及时检测和修复的道路损伤不仅会对驾驶体验造成不便，还可能对车辆状况、交通安全和生命安全带来严重风险，有时甚至会导致无法逆转的人身伤害和财产损失。目前，道路损伤的识别仍然依赖于人工的日常维护巡查，这需要结构工程师和认证检查员定期对道路进行检测并记录损伤位置。然而，这种人工检测方法常常受到车速、人员经验和注意力等因素的影响，导致维护效率低下、运营成本高昂，且难以确保人员安全。此外，人工检测的结果通常缺乏客观性，因为它们主要依赖于检查员的主观判断和经验。因此，随着人工智能技术的飞速发展，许多网络科技公司，如百度、阿里云等，都在致力于开发智能化的道路损伤检测算法，以推动人工智能在道路巡查系统中的应用。其中，道路裂痕的智能检测是研究的热点之一。
2、在深度学习技术尚未广泛应用之前，路面裂痕的智能检测主要依赖于一系列传统的二维图像处理技术，这些技术根据不同的原理可以分为边缘检测、阈值分割、纹理分析、小波分析和最小路径搜索等几类。尽管这些传统方法在处理一些简单场景时能够取得一定效果，但它们往往计算量大，对光照和天气等环境因素变化敏感，鲁棒性不足。此外，由于路面裂痕形状的不规则性，这些经典算法中的一些几何假设并不总是适用，这在一定程度上限制了这些方法的实用性。
3、为了克服传统方法的局限性，得益于人工智能技术的进步，研究者们开始采用各种机器学习算法来检测路面裂痕，包括支持向量机(svm)、随机森林(random forest)、马尔可夫随机场(markov random field)和adaboost等集成学习方法。近年来，随着深度学习技术的突破，深度卷积神经网络(dcnn)因其卓越的性能而成为路面裂痕智能检测领域的研究热点。与传统算法通过手动设置参数和阈值来分割路面裂痕图像以识别裂痕不同，深度卷积神经网络(dcnn)算法通常利用大量人工标注的路面数据进行训练，采用数据驱动的方式，无需手动调整参数，也不需要对路面裂痕的形状做出假设，同时对各种环境因素具有更强的鲁棒性。这些数据驱动的路面裂痕检测算法主要分为三类：图像分类网络、目标检测网络和语义分割网络。图像分类网络通过训练对健康路面和含裂痕路面裂痕图像进行分类；目标检测网络则用于实例级别的路面裂痕检测，通常以边界框形式标出裂痕区域及其类别；语义分割网络则通过训练实现对路面裂痕图像的像素级裂痕检测。
4、尽管现有的dcnn算法在路面裂痕检测方面已经展现出卓越的性能，但这些算法大多属于有监督学习网络，这意味着在训练过程中需要大量经过人工标注的数据集。然而，准备像素级别的精细标注是一项费时费力的任务，尤其是对细裂痕的标注。在智慧城市建设成为国家战略的当下，研究者们需要面对现实挑战，针对路面损坏智能识别算法在实际应用中遇到的问题，探索算法的优化原理和方法，以降低成本、提高效率，加速这些算法在数字孪生和智慧城市建设领域的应用步伐。
5、经过检索，中国发明专利公开号cn 116993684 a公开了一种无监督路面裂痕检测方法、装置及存储介质，，其中方法包括以下步骤：使用多尺度随机正方形掩膜对健康路面裂痕图像进行随机去除；构建条件式生成对抗网络模型，提取随机去除后的健康路面裂痕图像的信息和特征分布，并根据所提取的特征分布重建得到新的健康路面裂痕图像；利用逐像素损失函数、结构一致性损失函数、特征一致性损失函数以及对抗损失函数，对网络模型进行训练；输入路面裂痕图像，得到条件式生成对抗网络模型重建后的图像，与输入的路面裂痕图像进行对比处理，得到误差图；对误差图进行滤波处理和二值化处理，得到路面裂痕检测结果。该现有专利存在检测效果不够准确、尤其是在细小裂痕的检测中表现不佳的问题。
6、如何实现少量人工标注的准确路面裂痕检测，成为需要解决的技术问题。
技术实现思路
1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法。
2、本发明的目的可以通过以下技术方案来实现：
3、根据本发明的一个方面，提供了一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，该方法包括以下步骤：
4、步骤s1，获取路面裂痕图像数据，并划分为训练集和验证集；
5、步骤s2，构建分割网络模型和判别器，其中所述分割网络模型包括主分割网络和辅分割网络，所述主分割网络包括主编码器和主解码器；
6、步骤s3，使用对抗性训练策略对所述主分割网络和判别器进行训练；在判别器的输出端增加高置信度预测区域的计算权重，自适应地指导交叉一致性训练；训练主分割网络学习由输入路面裂痕图像数据到裂痕分割结果的映射关系，保存在验证集上表现性能最好的主分割网络模型参数；
7、步骤s4，在测试阶段，输入路面裂痕图像到训练好的主分割网络，加载步骤s5中性能最好的主分割网络模型参数，得到像素级路面裂痕检测结果。
8、优选地，所述路面裂痕图像数据包括有真值标注的路面裂痕图像数据和无标注的路面裂痕图像数据。
9、更加优选地，所述的主编码器使用在imagenet上预训练好的resnet-50作为backbone；
10、所述的辅分割网络包括多个辅助解码器；
11、所述的主分割网络对步骤s1的有真值标注的路面裂痕图像数据进行处理，然后由判别器分区假图像和真图像。
12、优选地，所述的判别器为基于u-net的判别器网络架构，包含编码器和解码器，并通过跳跃连接传递信息；
13、所述判别器将两对图像连接在一起作为输入，并同时输出全局和局部的决策结果，其中局部为逐个像素，全局为整个图像对。
14、优选地，所述编码器包含五个由卷积操作、批量正则化操作和relu激活组成的卷积块；
15、所述解码器包含五个由逆卷积操作、批量正则化操作和relu激活组成的卷积块。
16、更加优选地，所述的对抗性训练策略利用判别器特征匹配损失函数、判别器全局损失函数和判别器局部损失函数，对判别器和主分割网络进行训练；
17、所述判别器特征匹配损失函数定义如下：
18、
19、其中r为判别器的卷积层个数，为第i个卷积层，表示主分割网络的分割结果，i表示带有标注的输入图像，y表示数据集中的真值标注，表示期望函数。
20、更加优选地，所述判别器全局损失函数和判别器局部损失函数定义如下：
21、
22、
23、其中，denc表示判别器的编码器，和表示期望函数，d(y,i)i,j和表示判别器在像素点(i,j)上的判定结果，表示主分割网络的分割结果，i表示带有标注的输入图像，y表示数据集中的真值标注。
24、更加优选地，所述交叉一致性为主解码器md和辅助解码器的特征映射和分割结果之间的交叉一致性；
25、使用所述交叉一致性训练策略，从无真值标注的路面裂痕图像数据中提取训练信号，具体为：
26、首先，输入无标注的路面裂痕图像数据集中的图像iu到主编码器，得到中间层表示，定义为zu＝me(iu)；
27、接着，引入随机扰动函数pf，其中f∈[1,f]，f表示所用扰动函数的数量；在交叉一致性训练的每次迭代中使用随机扰动函数，获得中间层表示的扰动版本，表示为其中代表组合，zu为中间层表示，第f个扰动版本pf被随机选择作为辅助解码器的输入，辅助解码器的分割结果表示为
28、所述随机扰动函数包含特征噪声和特征丢失。
29、更加优选地，所述在判别器的输出端增加高置信度预测区域的计算权重，自适应地指导交叉一致性训练具体为：
30、输入无标注的路面裂痕图像到主解码器，将主解码器和辅助解码器们的分割结果输入到判别器，输出的决策结果作为这些分割结果的置信度分布；
31、使用置信度分布作为权重图，来强调主解码器和辅助解码器们的分割结果的高置信度区域；
32、主解码器和辅助解码器的权重图定义如下：
33、
34、
35、其中，代表主解码器输出权重图，代表辅助解码器输出权重图，d代表设计判别器，iu表示无标注输入图像，zu为中间层表示，为中间层表示的扰动版本，md为主解码器，为辅助解码器；
36、用于衡量主解码器输出与辅助解码器输出之间差异的损失函数定义为：
37、
38、其中，k代表辅助解码器的数量，⊙代表哈德曼乘积，md为主解码器，为辅助解码器，zu为中间层表示，为中间层表示的扰动版本，代表主解码器输出权重图，代表辅助解码器输出权重图；
39、辅助特征匹配损失用于比较主解码器和辅助解码器的中间卷积层所生成的特征图，定义为：
40、
41、其中，代表期望函数，t代表解码器卷积层的个数，和分别代表主解码器和辅助解码器的第i个卷积层，zu为中间层表示，为中间层表示的扰动版本。
42、优选地，所述保存在验证集上表现性能最好的主分割网络模型参数具体为：若连续设定次数m个epoch在验证集上的效果都没有提升，则终止训练，保存在验证集上效果最好的主分割网络模型参数；
43、所述主分割网络模型参数包括各层中各神经元的权重和偏差值。
44、与现有技术相比，本发明具有以下有益效果：
45、1)本发明方法结合对抗性训练策略与自适应交叉一致性训练对路面裂痕进行智能检测，有效解决了现有基于深度学习的有监督路面裂痕检测算法依赖于大量精细完备的标注数据，导致耗费大量人力、物力的问题，大大降低了人工标注的需求，有助于全自动化智能检测，更适用于数字孪生领域中的智慧城市建设。
46、2)本发明设计了基于跳跃连接的判别器，使用的对抗性训练策略，判别器特征匹配损失函数、判别器全局损失函数和判别器局部损失函数，对判别器和主分割网络进行训练，保持局部一致性、图像全局一致性及网络特征一致性，从而增强分割网络模型的检测准确率。
47、3)本发明设计了多个辅助解码器，使用交叉一致性训练策略，通过约束辅助解码器的网络特征和分割结果与主解码器的一致性来增强编码器的表征能力，达到从无真值标注的数据中提取额外训练信号的目的，以增强主分割网络的裂痕分割性能。
48、4)本发明使用所设计的判别器的输出作为权重图，通过增加高置信度预测区域的计算权重来自适应地指导交叉一致性训练，使得网络更多地学习到高置信度预测区域，从而更好地利用无标注数据的信息，增强模型预测对扰动的不变性，使得模型经过训练后对数据分布变化具有鲁棒性，并提升主分割网络的裂痕分割性能。
49、5)本发明在crack500、deepcrack、cfd等数据集上进行了实验，实验结果表明所提出的算法仅需10％—20％的有真值标注训练数据即可取得与有监督算法使用100％有真值标注训练数据相媲美的检测性能，并且表现优于先进的半监督分割算法和无监督裂痕分割算法。
1.一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述路面裂痕图像数据包括有真值标注的路面裂痕图像数据和无标注的路面裂痕图像数据。
3.根据权利要求2所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述的主编码器使用在imagenet上预训练好的resnet-50作为backbone；
4.根据权利要求1所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述的判别器为基于u-net的判别器网络架构，包含编码器和解码器，并通过跳跃连接传递信息；
5.根据权利要求4所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述编码器包含五个由卷积操作、批量正则化操作和relu激活组成的卷积块；
6.根据权利要求4所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述的对抗性训练策略利用判别器特征匹配损失函数、判别器全局损失函数和判别器局部损失函数，对判别器和主分割网络进行训练；
7.根据权利要求6所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述判别器全局损失函数和判别器局部损失函数定义如下：
8.根据权利要求3所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述交叉一致性为主解码器md和辅助解码器的特征映射和分割结果之间的交叉一致性；
9.根据权利要求2所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述在判别器的输出端增加高置信度预测区域的计算权重，自适应地指导交叉一致性训练具体为：
10.根据权利要求1所述的一种基于对抗性与自适应交叉一致性训练的路面裂痕检测方法，其特征在于，所述保存在验证集上表现性能最好的主分割网络模型参数具体为：若连续设定次数m个epoch在验证集上的效果都没有提升，则终止训练，保存在验证集上效果最好的主分割网络模型参数；
