本发明涉及计算机视觉技术领域，特别是涉及一种防御对抗性攻击的行人重识别方法。
背景技术：
行人重识别是一个图片检索问题，其目标是在多个不重叠的摄像机视角下匹配出目标人物。近年来，它在视频监控和安全领域得到了越来越广泛的应用。受深度学习在各种视觉任务中的成功启发，基于深度神经网络的行人重识别模型开始成为研究热点，并在图片检索方面获得较高的识别精度。
但最近的研究发现，深度神经网络很容易受到攻击。输入的图片经过精心修改，添加视觉上难以察觉的干扰变成对抗性图片，就会干扰深度神经网络的正常运行，从而影响基于深度神经网络的行人重识别模型对图片的识别精度。行人重识别框架在安全相关系统中的广泛部署，使得增强行人重识别模型对于对抗攻击图片的防御能力变得至关重要。
论文《adversarialmetricattackanddefenseforpersonre-identification》中使用了对抗性度量训练的方法进行对于对抗性样本的防御训练，该防御训练有效提升了行人重识别模型的识别精度，但该方法仅对特定方法的攻击做训练，迁移性不足，难以抵抗其他攻击方法产生的对抗样本。
论文《vulnerabilityofpersonre-identificationmodelstometricadversarialattacks》基于上述方法进行改进，提出了指导抽样在线对抗训练(goat)，通过多次迭代计算出指导示例对距离度量进行修正。该方法的精度较上述方法有所提高，增强了模型的鲁棒性，但对行人重识别网络内部参数有所调整，改变了原先的行人重识别网络。
技术实现要素：
本发明针对现有技术的不足，提供一种防御对抗性攻击的行人重识别方法，首先将对抗性图片进行下采样处理，接着用下采样后的图片训练生成对抗式网络模型，然后对查询集中的图片进行下采样处理，通过生成对抗式网络的变分自编码器重新生成图片，将重新生成的图片输入行人重识别模型进行检索，匹配到对应的图片得到行人重识别结果。
为了达到上述目的，本发明提供的技术方案是一种防御对抗性攻击的行人重识别方法，包括以下步骤：
步骤1，训练生成对抗式网络模型，具体包括以下几个步骤：
步骤1.1，将对抗性图片进行下采样处理；
步骤1.2，通过编码器输出分布并采样生成隐变量；
步骤1.3，将隐变量通过解码器输出分布并采样生成新的图片；
步骤1.4，通过生成对抗式网络判断新的图片是否像真实图片；
步骤1.5，计算最终的损失函数；
步骤1.6，按照步骤1.1～1.5训练生成对抗式神经网络直到训练集全部学习完毕；
步骤2，重新生成查询集中的图片，具体包括以下子步骤：
步骤2.1，对查询集图片进行下采样处理；
步骤2.2，通过步骤1训练得到的生成对抗式网络的生成器中的编码器输出分布并采样生成隐变量；
步骤2.3，将隐变量通过步骤1训练得到的生成对抗式网络的生成器中的解码器输出分布并采样生成新的图片；
步骤2.4，计算损失函数；
步骤2.5，从步骤2.4中选出损失函数小于临界值τ＝0.03的图片，计算其与原图的欧氏距离，选择欧氏距离最小的一张图片输出；
步骤3，将步骤2中重新生成的图片输入行人重识别网络，匹配到对应的图片并输出。
而且，所述步骤1.2是将步骤1.1下采样后的图片x输入编码器，经过六层卷积提取输入图片的特征，计算出隐变量z的后验分布q(z|x)，根据后验分布采样得到隐变量z，再计算隐变量z的后验分布q(z|x)与z的分布p(z)的kl散度dkl(q(z|x)‖p(z))。其中，预设p(z)服从
而且，所述步骤1.3是将步骤1.2中隐变量z通过一个由四个全连接层组成的映射网络f转换为一组中间隐向量w，将w通过adain操作后输入解码器的每个卷积层，解码器通过多层卷积提取w的特征，其中从第二次卷积开始逐步上采样，最终得到生成图片x′的条件概率分布p(x′|z)，并采样得到生成图片x′。
而且，所述步骤1.4是将步骤1.3中生成的图片x′输入判别器，判别器通过多层卷积提取特征，其中每两层卷积后进行一次下采样，最后通过一个全连接层输出判断结果。将步骤1.2和步骤1.3中的变分自编码器作为生成器，和判别器的结果一同计算生成对抗式网络的损失函数lgan，
其中，
而且，所述步骤1.5中最终的损失函数lloss为编码器输出后计算得到的kl散度和生成对抗式网络的损失函数相加，即：
其中，kl散度dkl(q(z|x′)||p(z))的计算方式与步骤1.2一致。
而且，所述步骤2.2是将步骤2.1中下采样后的图片x1输入训练后的编码器，经过六层卷积提取输入图片的特征，计算出隐变量z1的后验分布q(z1|x1)。根据后验分布采样得到隐变量z1，再计算隐变量z1的后验分布q(z1|x1)与z1的分布p(z1)的kl散度dkl(q(z1|x1)‖p(z1))。其中，预设p(z1)服从
而且，所述步骤2.3中将步骤2.2中隐变量z1通过一个由四个全连接层组成的映射网络f转换为一组中间隐向量w，将w通过adain操作后输入训练后的解码器的每个卷积层。解码器通过多层卷积提取w的特征，其中从第二次卷积开始逐步上采样，最终得到生成图片x′1的条件概率分布p(x'1|z1)，并采样得到生成图片x′1。
而且，所述步骤2.4中损失函数l为编码器输出后计算得到的kl散度，即：
l＝dkl(q(z1|x1')||p(z1))(3)
其中，kl散度dkl(q(z1|x1')||p(z1))的计算方式与步骤2.2一致。
而且，所述步骤3中行人重识别网络可以采用resnet50，将交叉熵损失作为损失函数进行训练，测试及实施时通过神经网络提取特征，并根据特征之间的度量由小到大进行排序从而匹配到对应的图片。
与现有技术相比，本发明具有如下优点：与现有技术直接对输入的图片进行计算和匹配相比，本发明先通过对抗性图片训练生成对抗式网络模型，然后通过生成对抗式网络的变分自编码器重新生成图片，在尽可能保留原图特征的前提下削弱了对抗样本图片中的噪声，增强了行人重识别模型对于对抗攻击样本的防御能力，有效解决了深度神经网络易遭受攻击的问题，使得输入图片受到攻击时行人重识别网络匹配的准确度得到有效提升。
附图说明
图1为本发明实施例生成对抗式网络的训练流程图。
图2为本发明实施例的技术流程图。
图3为本发明实施例的生成对抗式网络的网络结构图。
具体实施方式
本发明针对行人重识别任务中，现有的深度神经网络难以防御对抗性攻击样本的问题，提出一种防御对抗性攻击的行人重识别方法，首先将对抗性图片进行下采样处理，接着用下采样后的图片训练生成对抗式网络模型，然后对查询集中的图片进行下采样处理，通过生成对抗式网络的变分自编码器重新生成图片，将重新生成的图片输入行人重识别模型进行检索，匹配到对应的图片得到行人重识别结果。
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明实施例的流程包括以下步骤：
步骤1，训练生成对抗式网络模型，具体包括以下几个步骤：
步骤1.1，将对抗性图片进行下采样处理。
步骤1.2，通过编码器输出分布并采样生成隐变量。将下采样后的图片x输入编码器，经过六层卷积提取输入图片的特征，计算出隐变量z的后验分布q(z|x)。根据后验分布采样得到隐变量z，再计算隐变量z的后验分布q(z|x)与z的分布p(z)的kl散度dkl(q(z|x)‖p(z))。其中，预设p(z)服从
步骤1.3，将隐变量通过解码器输出分布并采样生成新的图片。将步骤1.2中隐变量z通过一个由四个全连接层组成的映射网络f转换为一组中间隐向量w，将w通过adain操作后输入解码器的每个卷积层。解码器通过多层卷积提取w的特征，其中从第二次卷积开始逐步上采样，最终得到生成图片x′的条件概率分布p(x′|z)，并采样得到生成图片x′。
步骤1.4，通过生成对抗式网络判断新的图片是否像真实图片。将步骤1.3中生成的图片x′输入判别器，判别器通过多层卷积提取特征，其中每两层卷积后进行一次下采样，最后通过一个全连接层输出判断结果。将步骤1.2和步骤1.3中的变分自编码器作为生成器，和判别器的结果一同计算生成对抗式网络的损失函数lgan，
其中，
步骤1.5，计算最终的损失函数。最终的损失函数lloss为编码器输出后计算得到的kl散度和生成对抗式网络的损失函数相加，即：
其中，kl散度dkl(q(z|x′)||p(z))的计算方式与步骤1.2一致。
步骤1.6，按照步骤1.1～1.5训练生成对抗式神经网络直到训练集全部学习完毕。训练得到的生成对抗式网络变分自编码器可以使重新生成的图片在尽可能保留原图特征的前提下削弱对抗样本图片中的噪声。
步骤2，重新生成查询集中的图片，具体包括以下子步骤：
步骤2.1，对查询集图片进行下采样处理。
步骤2.2，通过步骤1训练得到的生成对抗式网络的生成器中的编码器输出分布并采样生成隐变量。将步骤2.1中下采样后的图片x1输入训练后的编码器，经过六层卷积提取输入图片的特征，计算出隐变量z1的后验分布q(z1|x1)。根据后验分布采样得到隐变量z1，再计算隐变量z1的后验分布q(z1|x1)与z1的分布p(z1)的kl散度dkl(q(z1|x1)‖p(z1))。其中，预设p(z1)服从
步骤2.3，将隐变量通过步骤1训练得到的生成对抗式网络的生成器中的解码器输出分布并采样生成新的图片。将步骤2.2中隐变量z1通过一个由四个全连接层组成的映射网络f转换为一组中间隐向量w，将w通过adain操作后输入训练后的解码器的每个卷积层。解码器通过多层卷积提取w的特征，其中从第二次卷积开始逐步上采样，最终得到生成图片x′1的条件概率分布p(x'1|z1)，并采样得到生成图片x′1。
步骤2.4，计算损失函数。损失函数l为编码器输出后计算得到的kl散度，即：
l＝dkl(q(z1|x1')||p(z1))(3)
其中，kl散度dkl(q(z1|x1')||p(z1))的计算方式与步骤2.2一致。
步骤2.5，从步骤2.4中选出损失函数小于临界值τ＝0.03的图片，计算其与原图的欧氏距离，选择欧氏距离最小的一张图片输出。
步骤3，将步骤2中重新生成的图片输入行人重识别网络，匹配到对应的图片并输出。本实施例行人重识别网络采用resnet50，将交叉熵损失作为损失函数进行训练，测试及实施时通过神经网络提取特征，并根据特征之间的度量由小到大进行排序从而匹配到对应的图片。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
1.一种防御对抗性攻击的行人重识别方法，其特征在于，包括如下步骤：
步骤1，训练生成对抗式网络模型，具体包括以下几个步骤：
步骤1.1，将对抗性图片进行下采样处理，得到x；
步骤1.2，通过编码器输出分布并采样生成隐变量z；
步骤1.3，将隐变量通过解码器输出分布并采样生成新的图片x′；
步骤1.4，通过生成对抗式网络判断新的图片是否像真实图片；
步骤1.5，计算最终的损失函数；
步骤1.6，按照步骤1.1～1.5训练生成对抗式神经网络直到训练集全部学习完毕；
步骤2，重新生成查询集中的图片，具体包括以下子步骤：
步骤2.1，对查询集图片进行下采样处理，得到x1；
步骤2.2，通过步骤1训练得到的生成对抗式网络的生成器中的编码器输出分布并采样生成隐变量z1；
步骤2.3，将隐变量通过步骤1训练得到的生成对抗式网络的生成器中的解码器输出分布并采样生成新的图片x′1；
步骤2.4，计算损失函数；
步骤2.5，从步骤2.4中选出损失函数小于临界值τ的图片，τ为常数，计算其与原图的欧氏距离，选择欧氏距离最小的一张图片输出；
步骤3，将步骤2中重新生成的图片输入行人重识别网络，匹配到对应的图片并输出。
2.如权利要求1所述的一种防御对抗性攻击的行人重识别方法，其特征在于：所述步骤1.2是将步骤1.1下采样后的图片x输入编码器，经过六层卷积提取输入图片的特征，计算出隐变量z的后验分布q(z|x)，根据后验分布采样得到隐变量z，再计算隐变量z的后验分布q(z|x)与z的分布p(z)的kl散度dkz(q(z|x)||p(z))，其中，预设p(z)服从n(0，i)。
3.如权利要求2所述的一种防御对抗性攻击的行人重识别方法，其特征在于：所述步骤1.3是将步骤1.2中隐变量z通过一个由四个全连接层组成的映射网络f转换为一组中间隐向量w，将w通过adain操作后输入解码器的每个卷积层，解码器通过多层卷积提取w的特征，其中从第二次卷积开始逐步上采样，最终得到生成图片x′的条件概率分布p(x′|z)，并采样得到生成图片x′。
4.如权利要求3所述的一种防御对抗性攻击的行人重识别方法，其特征在于：所述步骤1.4是将步骤1.3中生成的图片x′输入判别器，判别器通过多层卷积提取特征，其中每两层卷积后进行一次下采样，最后通过一个全连接层输出判断结果，将步骤1.2和步骤1.3中的变分自编码器作为生成器，和判别器的的结果一同计算生成对抗式网络的损失函数lgan，
其中，
5.如权利要求4所述的一种防御对抗性攻击的行人重识别方法，其特征在于：所述步骤1.5中最终的损失函数lloss为编码器输出后计算得到的kl散度和生成对抗式网络的损失函数相加，即：
其中，kl散度dkl(q(z|x′)||p(z))的计算方式与步骤1.2一致。
6.如权利要求1所述的一种防御对抗性攻击的行人重识别方法，其特征在于：所述步骤2.2是将步骤2.1中下采样后的图片x1输入训练后的编码器，经过六层卷积提取输入图片的特征，计算出隐变量z1的后验分布q(z1|x1)，根据后验分布采样得到隐变量z1，再计算隐变量z1的后验分布q(z1|x1)与z1的分布p(z1)的kl散度dkz(q(z1|x1)||p(z1))，其中，预设p(z1)服从n(0，i)。
7.如权利要求6所述的一种防御对抗性攻击的行人重识别方法，其特征在于：所述步骤2.3中将步骤2.2中隐变量z1通过一个由四个全连接层组成的映射网络f转换为一组中间隐向量w，将w通过adain操作后输入训练后的解码器的每个卷积层，解码器通过多层卷积提取w的特征，其中从第二次卷积开始逐步上采样，最终得到生成图片x1′的条件概率分布p(x'1|z1)，并采样得到生成图片x′1。
8.如权利要求7所述的一种防御对抗性攻击的行人重识别方法，其特征在于：所述步骤2.4中损失函数l为编码器输出后计算得到的kl散度，即：
l＝dkl(q(z1|x'1)||p(z1))(3)
其中，kl散度dkl(q(z1|x'1)||p(z1))的计算方式与步骤2.2一致。
9.如权利要求1所述的一种防御对抗性攻击的行人重识别方法，其特征在于：所述步骤3中行人重识别网络可以采用resnet50，将交叉熵损失作为损失函数进行训练，测试及实施时通过神经网络提取特征，并根据特征之间的度量由小到大进行排序从而匹配到对应的图片。
技术总结