本发明属于图像识别，具体涉及一种基于多尺度特征自表达的联合工业异常检测方法及系统。
背景技术：
1、在工业领域中，异常检测和定位是智能制造中的重要任务，主要通过人工智能方法自动识别缺陷产品表面缺陷，在兼顾准确率和效率的情况下，大量节省人力成本，保证更加安全和智能的生产环境。然而，在实际应用中往往会受到一定的限制，例如工业产品中异常样本的稀缺性和异常类型的复杂多样性。一种常见的解决方案是使用无监督的学习方法，只对正常样本进行建模学习，并为测试集中的样本通过计算异常分数来识别异常区域。目前大多数的异常检测方法都遵循“单类别-单模型”的模式，即需要对不同的产品类别的样本需要训练不同的模型，而每一个特定类别的模型针对性的检测该类别下的异常样本。然而在工业领域中，庞大的产品类别会使得大量相应的模型需要训练和存储，这样的代价是随着类别数量呈现线性增长的。相比之下，一种更加适用工业场景下的模式是“多类别-单模型”，即学习一个涵盖多产品类别正常样本的统一模型，并使用这个统一模型同时具有检测多类产品样本异常的能力。在这样的情况下，大多数在“单类别-单模型”下设计的模型往往在测试集上产生明显的性能下降，使得模型识别和定位异常的能力显著降低。
技术实现思路
1、为了解决现有技术中存在的问题，本发明提供一种基于多尺度特征自表达的联合工业异常检测方法，实现使用一个统一模型对多类工业产品进行异常检测和定位，而无需对不同类别产品单独训练模型，克服从“单类别-单模型”模式到“多类别-单模型”模式下的性能下降，本发明提出了基于多尺度特征自重建和自表达任务的无监督学习方法，可帮助模型更好的学习多类别正常图像的特征表示，并通过融合自重建和自表达差异，实现对异常图像的判别和定位。
2、为了实现上述目的，本发明采用的技术方案是：一种基于多尺度特征自表达的联合工业异常检测方法，包括如下步骤：
3、将统一数据集中的正常图像输入到骨干网络中，经特征提取后将多种不同尺度的特征融合，得到多尺度特征；
4、对所述多尺度特征进行特征自重建，得到重建特征，通过比对重建特征与所述多尺度特征的差异，获得多层特征自重建差异图；
5、提取特征自重建模块中不同层次的特征，输入到多层次特征自表达模块，获得多层次特征自表达差异图；具体的，所述多层次特征自表达模块包括多个并行连接的特征自表达模块，每个特征自表达模块分别输入特征自重建模块中对应层次的特征，并输出对应的自表达特征，通过比对输入特征与自表达特征的差异，获得多层特征自表达差异图；
6、基于获取的多层特征自表达差异图和多层特征自重建差异图，判断图像是否存在异常，并对于异常图像定位出异常区域。
7、进一步的，所述统一数据集具体如下：
8、将不同产品类别的图像混合为统一数据集，统一数据集的图像均规范到相同的大小，图像为对应不同类别工业产品的彩色图像；统一数据集包含统一的训练集和统一的测试集；训练集涵盖不同类型工业产品用于训练的正常图像，且在训练过程中不使用产品的类别信息；测试集涵盖不同类型工业产品用于测试的图像，涵盖未在训练集中出现的正常图像和异常图像。
9、进一步的，将统一数据集中的正常图像输入到骨干网络中，经特征提取后将多种不同尺度的特征融合，得到多尺度特征时，骨干网络采用大规模数据集上预训练的swin-s模型，经特征提取后将三种不同尺度的特征融合，在训练和测试的过程中，将整个特征提取骨干网络参数冻结，具体过程如下所示：
10、
11、式中，x表示输入图像，fe表示预训练的模型，fei(x)表示对应第i层提取的特征图，式中共取了对应m1，m2，m3三层的特征，up(·)表示将不同大小的特征图规范到统一尺度的上采样操作，concat(·)表示将所有的特征尺度在通道维度上拼接，f表示获取的多尺度特征。
12、进一步的，对所述多尺度特征进行特征自重建，得到重建特征包括：将提取的多尺度特征输入到特征自重建模块，特征自重建模块的网络结构包括多个串行连接的自注意力模块，通过多层的自注意力模块交互，输出重建特征，整个过程的公式如下所示：
13、fr＝ran(...ra2(ra1(f)))
14、式中，rai(·)表示第i层的自注意力模块，采用vit模型中自注意力模块结构；f表示输入的多尺度特征，fr表示自重建的特征；特征自重建模块输出的特征自重建差异图的公式如下：
15、dr＝|fr-f|
16、式中，dr表示特征自重建差异图。
17、进一步的，特征自重建模块对应的中间层特征输入自表达模块，得到自表达的特征，具体如下：
18、其中i＝1，2，....n-1
19、式中，表示特征自重建模块第i层自注意力模块输出的特征，pai(·)表示第i个特征自表达模块，为第i个特征自表达模块的输出特征；对应n层的特征自重建模块，共有n-1个中间层特征。
20、进一步的，在训练过程中，采用均方误差损失函数约束，使得每一个特征自表达模块的输入和输出特征接近，公式如下：
21、
22、其中，表示第i个特征自表达损失，l2为所有特征自表达损失的平均值；
23、在测试过程中，每一层对应的特征自表达差异图的公式如下：
24、其中i＝1，2，....n-1
25、式中，表示第i层的特征自表达差异图；所获取的多层特征自表达差异图表示为
26、进一步的，基于获取的多层特征自表达差异图和多层特征自重建差异图，判断图像是否存在异常，并对于异常图像定位出异常区域包括：
27、从多层特征自表达差异图中取平均特征自表达差异图；
28、分别对特征自重建图dr和平均特征自表达差异图dp上采样到与输入图像相同的大小，并取平均值获得整张输入图像像素级别的异常分数图：
29、
30、式中，spixel表示输入图像像素级别的异常分数图，up(·)表示上采样到输入图像大小；异常分数图中最大的异常分数max(spixel)作为图像级别的异常分数，记为simage。
31、基于所述方法的构思，本发明还提供一种基于多尺度特征自表达的联合工业异常检测系统，包括多尺度特征提取模块、特征自重建模块，多层次特征自表达模块和异常识别/定位模块；
32、多尺度特征提取模块用于将统一数据集中的正常图像输入到骨干网络中，经特征提取后将多种不同尺度的特征融合，得到多尺度特征；
33、特征自重建模块用于对所述多尺度特征进行特征自重建，得到重建特征，通过比对重建特征与所述多尺度特征的差异，获得多层特征自重建差异图；
34、多层次特征自表达模块用于提取特征自重建模块中不同层次的特征，输入到多层次特征自表达模块，获得多层次特征自表达差异图；具体的，所述多层次特征自表达模块包括多个并行连接的特征自表达模块，每个特征自表达模块分别输入特征自重建模块中对应层次的特征，并输出对应的自表达特征，通过比对输入特征与自表达特征的差异，获得多层特征自表达差异图；
35、异常识别/定位模块基于获取的多层特征自表达差异图和多层特征自重建差异图，判断图像是否存在异常，并对于异常图像定位出异常区域。
36、本发明还可以提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现本发明所述基于多尺度特征自表达的联合工业异常检测方法。
37、同时提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于多尺度特征自表达的联合工业异常检测方法。
38、与现有技术相比，本发明至少具有以下有益效果：基于本发明所述方法可以在仅有正常工业产品的情况下，使用一个统一模型，同时对多类工业产品的图像进行异常检测和定位，而无需对不同类别产品单独训练模型；本发明所述方法具备较高的实时性和使用较小规模的模型，可应用于对实时性要求高的工业异常检测场景。
1.一种基于多尺度特征自表达的联合工业异常检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多尺度特征自表达的联合工业异常检测方法，其特征在于，所述统一数据集具体如下：
3.根据权利要求1所述的基于多尺度特征自表达的联合工业异常检测方法，其特征在于，将统一数据集中的正常图像输入到骨干网络中，经特征提取后将多种不同尺度的特征融合，得到多尺度特征时，骨干网络采用大规模数据集上预训练的swin-s模型，经特征提取后将三种不同尺度的特征融合，在训练和测试的过程中，将整个特征提取骨干网络参数冻结，具体过程如下所示：
4.根据权利要求1所述的基于多尺度特征自表达的联合工业异常检测方法，其特征在于，对所述多尺度特征进行特征自重建，得到重建特征包括：将提取的多尺度特征输入到特征自重建模块，特征自重建模块的网络结构包括多个串行连接的自注意力模块，通过多层的自注意力模块交互，输出重建特征，整个过程的公式如下所示：
5.根据权利要求4所述的基于多尺度特征自表达的联合工业异常检测方法，其特征在于，特征自重建模块对应的中间层特征输入自表达模块，得到自表达的特征，具体如下：
6.根据权利要求4所述的基于多尺度特征自表达的联合工业异常检测方法，其特征在于，在训练过程中，采用均方误差损失函数约束，使得每一个特征自表达模块的输入和输出特征接近，公式如下：
7.根据权利要求1所述的基于多尺度特征自表达的联合工业异常检测方法，其特征在于，基于获取的多层特征自表达差异图和多层特征自重建差异图，判断图像是否存在异常，并对于异常图像定位出异常区域包括：
8.一种基于多尺度特征自表达的联合工业异常检测系统，其特征在于，包括多尺度特征提取模块、特征自重建模块，多层次特征自表达模块和异常识别/定位模块；
9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程序时能实现权利要求1～7中任一项所述基于多尺度特征自表达的联合工业异常检测方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1～7中任一项所述的基于多尺度特征自表达的联合工业异常检测方法。
