基于图像亮度随机变换的对抗样本生成方法及系统与流程

1.本发明属于计算机视觉图像识别
技术领域：
：，特别涉及一种基于图像亮度随机变换的对抗样本生成方法及系统。
背景技术：
：：2.在图像识别领域，一些标准测试集上的实验结果表明，深度神经网络的识别能力已经可以达到超过人类的水平。然而，在深度学习带给人们巨大便利的同时，其本身也存在一些安全性问题。对于一个非正常的输入，深度神经网络是否依然能够得出满意的结果，其中隐含的安全问题也渐渐引起人们的关注。深度神经网络已经被证明容易受到对抗样本的攻击，它是通过在原始输入图像中添加人类不易察觉的附加扰动导致模型错误分类而产生的。通常情况下，对抗样本具有一定的迁移性，即针对一个模型生成的对抗样本可能对另一个模型而言也是对抗的，这种现象使得黑盒攻击成为可能，这凸显了其威胁性。攻击性能强的对抗样本是评估模型鲁棒性的重要工具，以及它还可以作为对抗训练的输入来改善模型的鲁棒性。虽然对抗样本具有可迁移性，但如何进一步提高其迁移性以进行有效的黑盒攻击仍然有待研究。一些基于梯度的攻击被提出来寻找对抗样本，例如单步攻击方法和迭代攻击方法。在白盒攻击场景下，这些方法表现出强大的攻击能力，然而在黑盒设置下，这些方法的攻击成功率却比较低，可以认为是对抗样本发生了“过拟合”，即同一对抗样本在白盒和黑盒设置下的攻击能力类似于同一神经网络在训练集与测试集上的表现差异。技术实现要素：3.为此，本发明提供一种基于图像亮度随机变换的对抗样本生成方法及系统，将图像亮度的随机变换引入到对抗攻击中，从而有效的消除对抗样本生成过程中的过拟合，提升对抗样本的可迁移性，从而为构建更加鲁棒的图像分类识别系统打下良好基础。4.按照本发明所提供的设计方案，一种基于图像亮度随机变换的对抗样本生成方法，用于视觉图像分类识别，包含如下内容：5.收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图像、与输入图像对应的标签数据；6.构建用于对抗样本生成的神经网络模型；7.针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行数据增强，利用动量迭代fgsm图像对抗算法对神经网络模型进行求解，在目标损失函数关于输入的梯度方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据在网络模型上的目标损失函数来生成对抗样本。8.作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，神经网络模型目标损失函数表示为：j(θ,x,y)，其中，x为输入图像，y为与输入图像x对应的标签，θ为神经网络模型的参数，通过最大化j(θ,x,y)来生成与输入图像x对应的对抗样本xadv。9.作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，对抗扰动限制的网络模型优化问题表示为：ε为对抗扰动大小。10.作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，每次迭代的随机变换中，通过设置转换概率来控制输入图像和变换图像之间的平衡。11.作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，利用动量迭代fgsm图像对抗算法对网络模型中对抗扰动进行优化，优化后的对抗样本生成问题表示为：[0012][0013]其中，rt(·)为用于对亮度进行随机调整的随机变换函数。[0014]作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，利用动量迭代fgsm图像对抗算法对网络模型进行求解，首先设置最大迭代次数、和衰减系数，并根据扰动大小和最大迭代次数得到迭代步长；在每次迭代中，利用转换概率获取输入图像的转换图像，并结合输入图像的梯度方向和衰减系数获取梯度加权累计，结合迭代步长、梯度加权累计、转换图像并通过裁剪函数来更新作为对抗样本的数据。[0015]作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，通过裁剪函数更新数据的过程表示为：其中，表示用于将对抗样本约束在输入图像x的扰动大小ε邻域内的裁剪函数，为当前迭代轮次t下的对抗样本，α为迭代步长，用于更新当前数据的梯度加权累计gt表示前迭代轮次t‑1下获取的梯度加权累计，μ为衰减系数，表示当前迭代轮次t下目标损失函数对应标签为y、模型参数为θ的输入图像的梯度，sign(·)表示符号函数。[0016]进一步地，本发明还提供一种基于图像亮度随机变换的对抗样本生成系统，用于视觉图像分类识别，包含：数据收集模块、模型构建模块和对抗生成模块，其中，[0017]数据收集模块，用于收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图像、与输入图像对应的标签数据；[0018]模型构建模块，用于构建用于对抗样本生成的神经网络模型；[0019]对抗生成模块，用于针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行数据增强，利用动量迭代fgsm图像对抗算法对神经网络模型进行求解，在目标损失函数关于输入的梯度方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据在网络模型上的目标损失函数来生成对抗样本。[0020]本发明的有益效果：[0021]本发明将提高深度学习模型性能的方法用于对抗样本的生成过程当中，将图像亮度的随机变换引入到对抗攻击中，从而有效的消除对抗样本生成过程中的过拟合，提升对抗样本的可迁移性，从而为构建更加鲁棒的图像分类识别系统打下良好基础。并进一步通过实验数据验证，相比现有的基于数据增强的对抗样本生成方法，在对抗训练网络上的平均黑盒攻击成功率提升23.5％，能够有助于评估模型的鲁棒性和不同防御方法的有效性，具有较好的应用前景。附图说明：[0022]图1为实施例中基于图像亮度随机变换的对抗样本生成流程示意；[0023]图2为实施例中不同网络模型调整超参数对攻击成功率的影响示意。具体实施方式：[0024]为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。[0025]深度神经网络对对抗样本是脆弱的，这种对抗样本是在原始输入图像上添加人视觉几乎不可见的噪声，从而让深度神经网络误分类，这给深度神经网络带来了威胁。因此在深度神经网络部署前，对抗性攻击可以作为评估模型鲁棒性的重要方法。但是，在黑盒情况下，对抗样本的攻击成功率还有待提高，即对抗样本的可迁移性还有待提升。本发明实施例，提供一种基于图像亮度随机变换的对抗样本生成方法，参见图1所示，用于视觉图像分类识别，包含如下内容：[0026]s101、收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图像、与输入图像对应的标签数据；[0027]s102、构建用于对抗样本生成的神经网络模型；[0028]s103、针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行数据增强，利用动量迭代fgsm图像对抗算法对神经网络模型进行求解，在目标损失函数关于输入的梯度方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据在网络模型上的目标损失函数来生成对抗样本。[0029]基于数据增强，将图像亮度的随机变换引入到对抗攻击中，优化对抗样本的生成过程，从而有效的消除对抗样本生成过程中的过拟合，提升对抗样本的可迁移性。[0030]作为本发明实施例中基于图像亮度随机变换的对抗样本生成方法，进一步地，神经网络模型目标损失函数表示为：j(θ,x,y)，其中，x为输入图像，y为与输入图像x对应的标签，θ为神经网络模型的参数，通过最大化j(θ,x,y)来生成与输入图像x对应的对抗样本xadv。对于对抗样本生成，通过最大化j(θ,x,y)来生成一个与x视觉上不可区分的对抗样本xadv来愚弄模型，即让模型对对抗样本xadv进行错误分类。进一步地，本案实施例中，使用无穷范数对对抗扰动进行了限制，即||xadv‑x||∞≤ε。对抗样本生成转化为以下条件约束优化问题：[0031][0032]鉴于本发明实例中所提出的对抗样本生成方法是以基于梯度的对抗样本生成方法为基础，并在此基础上进行改进而来的。故对基于梯度的对抗样本生成方法进行简要介绍。[0033]fastgradientsignmethod(fgsm).fgsm是最基础的对抗样本生成方法之一，在损失函数关于输入的梯度方向上寻找对抗样本，并对对抗扰动予以无穷范数限制。其更新公式如下：[0034][0035]iterativefastgradientsignmethod(i‑fgsm).i‑fgsm是fgsm方法的迭代版本，它是将fgsm中的梯度运算分成多步迭代进行，以此消除单步攻击所带来的“欠拟合”。该方法可以表达为下式：[0036][0037]其中，α是每次迭代的步长，α＝ε/t，t为迭代次数，clip函数的作用是将对抗样本约束在原始图像x的ε邻域内，以满足无穷范数约束，实验表明，i‑fgsm比fgsm的白盒攻击成功率要高，但迁移性较差。[0038]momentumiterativefastgradientsignmethod(mi‑fgsm).mi‑fgsm首次提出将动量运用到对抗样本生成过程中，能够稳定梯度更新方向，改进了收敛过程，从而大幅度提高了攻击成功率。与i‑fgsm相比，不同点在于对抗样本的更新方向不一样：[0039][0040][0041]μ是动量项的衰减因子，gt是前t轮迭代的梯度加权累积。[0042]diverseinputmethod(dim).dim在每次迭代时以给定的概率对原始输入进行随机变换，以减轻过拟合现象。转换包括随机调整大小和随机填充。该方法可以很自然的与其他基线攻击方法相结合来生成更具可迁移性的对抗样本。其随机变换方程如下：[0043][0044]projectedgradientdescent(pgd).pgd是对fgsm的改进，是fgsm的强迭代版本，它提高了对抗样本的攻击成功率。[0045]进一步地，本案实施例中，利用图像亮度随机变换攻击方法(简写为rtm)，在每次迭代的时候对原始输入图像以p的概率进行亮度随机变换，以此来缓解过拟合现象。该方法对亮度随机变换的图像的对抗扰动进行优化:[0046][0047][0048]具体来说，随机变换函数rt(·)是随机亮度的调整，它将输入图像的亮度以一定的倍率随机变暗。转换概率p控制着原始输入图像和变换图像之间的平衡。通过上述优化，利用数据增强来实现对模型的有效攻击，从而避免白盒模型的“过度拟合”攻击，提高对抗样本的可迁移性。[0049]进一步地，基于上述的方法，本发明实施例还提供一种基于图像亮度随机变换的对抗样本生成系统，用于视觉图像分类识别，包含：数据收集模块、模型构建模块和对抗生成模块，其中，[0050]数据收集模块，用于收集用于视觉图像分类识别的样本数据，该样本数据中包含络)上测试它们。结果展示在表1中，其中成功率是指以对抗样本作为输入的模型分类错误率。此外，将rtm与dim结合形成rt‑dim，需要注意的是，此时rtm对应的转换概率p设置为1，其在7个网络上测试的结果如表2所示。[0062]表1的结果显示，本案中方案算法rt‑mi‑fgsm在大部分黑盒设置下的攻击成功率远高于其他基线攻击，特别是也高于同样是基于数据增强的dim攻击方法，并且保持着较高的白盒攻击成功率。例如，在inc‑v3网络上生成对抗样本攻击inc‑v4网络，rt‑mi‑fgsm黑盒攻击成功率达到了71.4％，是这几种方法中最高的。此外，在对抗训练网络上，rt‑mi‑fgsm有着更好的表现。相比其他三种攻击方法，本案方案大幅提高了黑盒攻击成功率，以在inc‑v3网络上生成对抗样本攻击对抗训练网络为例，rt‑mi‑fgsm在对抗训练网络上的平均攻击成功率为24.6％，mi‑fgsm则为12.2％，高出了12.4％。这有力的证明了本案方案能够有效的提升对抗样本的迁移性。[0063]接下来，单独比较同是基于数据增强的rt‑mi‑fgsm与dim方法的攻击成功率，实验结果表明本案方案算法有着更好的表现。无论是在正常训练的网络上还是在对抗训练的网络上，大部分情况下，rt‑mi‑fgsm比dim有着更高的黑盒攻击成功率。特别是，rt‑mi‑fgsm相比dim大幅提高了在对抗训练网络上的黑盒攻击成功率。例如，在inc‑v4网络上生成对抗样本攻击对抗训练网络inc‑v3ens3，dim的黑盒攻击成功率为26.6％，rt‑mi‑fgsm为42.6％。[0064]表2的结果显示，rt‑mi‑fgsm与dim集成形成地rt‑dim进一步提高了大部分黑盒设置下的攻击成功率。以在inc‑v4网络上生成对抗样本攻击对抗训练网络为例，rt‑dim的平均攻击成功率达到了45.5％，而同等条件下的dim为21.6％，平均攻击成功率提升了一倍以上。一个有趣的现象是rt‑dim的白盒攻击攻击成功率没有dim高，我们猜想可能是两种方法的集成，进一步增大了原始输入图像变换的随机性导致的。[0065]table1:[0066][0067]table2:[0068][0069]尽管表1和表2的结果表明，rt‑mi‑fgsm和rt‑dim能够提升对抗样本在黑盒模型上的迁移性，但还能够通过攻击集成模型来进一步增加黑盒攻击成功率。即通过对多个网络逻辑值的集成来进行攻击。可考虑上述中的7个网络，分别运用i‑fgsm,mi‑fgsm，dim，rt‑mi‑fgsm以及rt‑dim针对六个网络的集成来生成对抗样本，并在这个集成网络以及保留网络上进行测试。在实验中，迭代方法中的迭代轮数t＝10，扰动大小ε＝16，每个网络的集成权重相等，即ωk＝1/6，实验结果如表3所示。[0070]table3:[0071][0072]从表3可以看出，在黑盒设置下，rt‑dim比其他几种方法的攻击成功率都要高。例如，当‑inc‑v3为保留网络时，rt‑dim攻击‑inc‑v3的成功率为85.2％，而i‑fgsm,mi‑fgsm，dim,rt‑mi‑fgsm分别为54.3％，75.4％，84.3％,83.6％。此外，在具有挑战性的对抗训练网络上，rt‑dim的平均黑盒攻击成功率为72.1％，比dim的平均黑盒攻击成功率高出23.5％，结果表明了本案方案的有效和优势。[0073]下面通过一系列的拓展实验来进一步研究不同参数对rt‑mi‑fgsm和rt‑dim的影响。考虑攻击一个网络集合，以此来更准确的评估模型的鲁棒性。通用的实验设置如下，最大扰动为ε＝16,迭代次数t＝10,步长α＝1.6。对于mi‑fgsm，衰减系数默认为μ＝1.0。[0074]转换概率p.首先，在白盒和黑盒模型下，转换概率p对攻击成功率的影响。转换概率p在0到1之间变换。当p＝0时，rt‑mi‑fgsm退化为mi‑fgsm，rt‑dim退化为dim。图2(a)、(b)展示了本案方案在各种网络上的攻击成功率。可以观察到，随着p的增加，rt‑mi‑fgsm和rt‑dim的变化趋势是不一样的。对于rt‑mi‑fgsm，随着p的增加，其黑盒攻击成功率升高，白盒攻击成功率降低，而rt‑dim则是随着p的增加，对抗训练网络上的黑盒攻击成功率逐步升高，而白盒攻击成功率和正常训练网络上的黑盒攻击成功率则是先降低后升高，最终呈现上升趋势。此外，对于所有攻击，如果p较小，即仅利用少量随机转换输入，对抗训练网络上的黑盒成功率会显著提高，正常训练网络上的黑盒成功率略有波动，而白盒成功率只会略有下降。这种现象表明将随机转换后的输入添加到对抗样本生成过程中的重要性。特别是，我们可以通过控制p的取值来实现黑盒攻击成功率和白盒攻击成功率之间的平衡。[0075]随机调整倍率r.接下来，在白盒和黑盒设置下，随机调整倍率r对攻击成功率的影响。此时调整倍率r是在一个范围内随机取值。调整倍率r取值的范围从(1,1]变化到(1/16,1]，即调整倍率r取值的范围越来越大。当r∈(1,1]时，此时r＝1，rt‑mi‑fgsm退化为mi‑fgsm，rt‑dim退化为dim。在图2(c)、(d)中展示了各种网络上的攻击成功率。可以看到，随着r取值范围的增加，rt‑mi‑fgsm的黑盒攻击成功率升高，白盒攻击成功率降低，而rt‑dim则是对抗训练网络上的黑盒攻击成功率大幅提升，白盒攻击成功率和正常训练网络上的黑盒攻击成功率小幅提升。随机调整倍率r兼顾了图像亮度变换的随机性与调整幅度，可单独对图像调整幅度，即对常数调整倍率r进行讨论。[0076]常数调整倍率r.在白盒和黑盒设置下，常数调整倍率r对攻击成功率的影响。此时调整倍率r是一个常数。调整倍率r取值的范围从1/16变化到1，即调整倍率r的取值越来越大，此时在每一次迭代过程中，对原始输入做的变换都是相同的。当r＝1时，rt‑mi‑fgsm退化为mi‑fgsm，rt‑dim退化为dim。在图2(e)、(f)中展示了各种网络上的攻击成功率，需要注意的是，在图2(e)中最左端的纵坐标数值表示的是本案方案算法(rt‑mi‑fgsm和rt‑dim)的攻击成功率，而在图2(b)、(d)最右端的纵坐标数值表示的是本案方案算法下的攻击成功率。可以看到，随着r取值的增大，rt‑mi‑fgsm和rt‑dim有着不同的变换趋势。对于rt‑mi‑fgsm，随着r的增大，即图像亮度变换的幅度减小，其对抗训练网络上的黑盒攻击成功率显著降低，正常训练网络上的黑盒攻击成功率先升高再降低，最终呈现下降趋势，白盒攻击成功率则略有提升。而rt‑dim则是对抗训练网络上的黑盒攻击成功率大幅降低，白盒攻击成功率和正常训练网络上的黑盒攻击成功率略有降低。相同方法在随机调整倍率和常数调整倍率下的攻击效果是不一样的，在随机调整倍率下，本案方案算法更容易在白盒模型上获得更高的攻击成功率，而在常数调整倍率下，则更容易在黑盒模型上获得更高的攻击成功率。[0077]除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。[0078]基于上述的方法和/或系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的方法。[0079]基于上述的方法和/或系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的方法。[0080]在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。[0081]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。[0082]最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本
技术领域：
：的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。当前第1页12当前第1页12