基于结合生成对抗网络的哈希算法的大规模数据检索方法与流程

本发明属于深度学习技术领域，具体涉及一种结合生成对抗网络的基于哈希算法的大规模数据检索方法。

背景技术：

近似近邻（ann）搜索在机器学习和信息检索等相关应用中发挥着基础作用。由于其存储成本低、检索速度快，哈希算法最近引起了ann研究界的广泛关注。哈希的目的是将数据点从原始空间映射到二进制代码的汉明空间，其中原始空间和汉明空间之间的相似性得以保留。通过使用二进制哈希码来表示原始数据，可以极大地降低存储成本。此外，通过使用哈希码构建索引，可以实现搜索的恒定或亚线性时间复杂性。因此，哈希算法在大规模数据集的ann搜索中变得越来越流行。

哈希由于其存储和搜索效率，经常被用于近似近邻搜索中。考虑到传统的哈希学习方法的瓶颈，基于深度的哈希学习最近在研究者中获得了相当的欢迎。虽然这类方法通过利用深度神经网络的端到端训练过程来生成紧凑的二进制代码，显示了有希望的性能增益，但组件之间的内在联系使得显著优化架构是不可行的。受噪声干扰和训练数据不完整的相似性标签的影响，正常的深度模型在表示学习阶段甚至带有明显的偏差。

现有的哈希方法可以分为独立于数据的方法和依赖数据的方法。在独立于数据的方法中，哈希函数通常是随机生成的，与任何训练数据无关。有代表性的独立于数据的方法包括位置敏感哈希（lsh）和它的变体。数据依赖型方法试图从一些训练数据中学习哈希函数，这也被称为学习哈希（l2h）方法。与独立于数据的方法相比，l2h方法可以在较短的哈希代码中达到相当或更好的精度。因此，在实际应用中，l2h方法已经比独立于数据的方法越来越受欢迎。其中依赖于数据的方法包括无监督的和有监督的哈希。无监督哈希方法通过对未标记的数据进行训练来学习将数据编码为二进制代码的哈希函数。有监督的哈希方法进一步探索有监督的信息（例如成对的相似性或相关性反馈），以生成紧凑的哈希代码。最近，深度学习哈希方法通过融合深度学习的力量在图像检索数据集上产生了突破性的结果。特别是，dhn是第一个联合保留配对相似性和控制量化误差的端到端框架。hashnet通过平衡训练数据中的正负对来交换精度与召回率，并通过延续技术来降低量化误差，从而改进了dhn，在几个基准数据集上获得了最先进的性能。

在cnn带来了超越dnn方法的巨大性能提升之后，gan的到来成为了包括计算机视觉、模式识别等领域的另一个重要里程碑。生成对抗网络（gans）是一种强大的模型，可以在不需要监督信息的情况下以最小化的博弈机制生成图像。目前最先进的用于图像合成的无监督生成模型包括深度卷积gans（dcgans）和wassersteingans（wgans）。最近，一个更强大的生成模型家族通过对监督信息（如类标签或文本描述）的进一步调节，将图像与gans合成。辅助分类器gan（ac-gan）是最先进的解决方案，通过将监督信息送入生成器并增加损失函数来说明判别器中的监督信息。

现有的监督生成模型只纳入了点状监督信息，如类标签或文本描述。然而，在许多实际的检索应用中，只有成对的相似性信息来训练哈希模型。deepsemantichashing是第一个探索gans用于图像合成的哈希方法，但它只能纳入点状侧信息（类标签），这在在线图像检索应用中往往是不可用的。

技术实现要素：

本发明的目的是提供一种结合生成对抗网络的基于哈希算法的大规模数据检索方法，以弥补现有技术的不足。

基于深度学习的哈希方法表明，使用深度神经网络可以更有效地进行特征表示和哈希编码的端到端学习，它可以自然地编码任何非线性哈希函数。这些深度学习到哈希方法在许多基准上表现出最先进的性能。特别是，事实证明，共同学习保全相似性的表征和控制将连续表征二进制化为二进制代码的量化误差至关重要。然而，这些深度学习到哈希方法的一个关键缺点是，它们需要首先学习连续的深度表征，在分离的符号阈值后步骤中将其二进制化为哈希编码。通过连续松弛，即用连续优化解决哈希码的离散优化，所有这些方法本质上解决了一个明显偏离哈希目标的优化问题，因为它们在优化过程中不能准确地学习二进制哈希码。因此，现有的深度哈希方法可能无法生成紧凑的二进制哈希码来进行有效的相似性检索。

通过整合生成对抗网络（gan），本发明提出了一种新型的深度学习哈希架构（gdpsh），用于从原始图像的扩展集中生成紧凑的哈希代码；本发明从真实图像和大规模合成图像中学习紧凑的二进制哈希代码。本发明包括一个专门设计的gan，能够纳入成对的相似性信息，以及一个用真实和合成图像训练的深度哈希网络，以生成几乎无损的哈希代码；这里提出了明确的损失函数，包括余弦交叉熵损失和余弦量化损失，用于相似性保护的学习和量化误差控制。

在图像检索应用中，假设得到了个训练点，其中一些对点和被赋予了成对的相似性标签。也可以通过手动构建一些数据集的类标签来获得这些成对的标签。如果和是相似的，而如果和是不相似的那么。深度学习哈希的目标是学习从输入空间到汉明空间的非线性哈希函数，使用深度神经网络，将每个点编码为紧凑的-位哈希代码，这样，给定的对之间的相似性信息可以在紧凑的哈希代码中保留下来。在有监督的哈希中，相似性对可以从数据点的语义标签或在线搜索系统中点击数据的相关性反馈中构建。

为达到上述目的，本发明采取的具体技术方案为：

一种基于结合生成对抗网络的哈希算法的大规模数据检索方法，该方法包括以下步骤：

s1：收集图片数据，并进行预处理，得到特征一；

s2：根据对抗网络（gans）对所述特征一进行处理；将上述获得的特征一并输入到对抗生成网络的生成器当中生成人工合成的图片；将该图片放入生成对抗网络的判别器当中，并用构造的交叉熵损失（cross-entropyloss）以及和真正图片的对抗损失（adversarialloss）来辅助训练，不断更新生成器以及判别器的网络参数，直到能够生成符合目标的人工合成图片；

s3：将s2中人工合成图片集和原始图片集相结合的融合数据集输入至卷积神经网络一，根据提出的目标损失函数来计算相似度矩阵；

s4：将所述融合数据集，以及所述相似度矩阵，输入至卷积神经网络二，根据提出的余弦交叉熵损失和量化损失来训练网络参数，最后得到效果满意的哈希编码，同样得到训练好的哈希架构（gdpsh）；

s5：待测数据集输入至s4训练好的哈希架构（gdpsh）进行处理，最后输出检索结果。

进一步的，所述s1中的预处理为：首先从数据集的特征矩阵的乘积计算中获得要用到的手工构造的特征，再将它和随机噪声链接起来，得到特征一。

进一步的，所述s2中的生成对抗网络（gans）中：

通过相似性嵌入的方法降低了点状监督信息的高维度，将与每个图像相关的相似性信息嵌入到一个低维向量；每个生成的点除了随机噪声之外，还有一个相应的嵌入向量；生成器同时使用嵌入向量和随机噪声来生成每个图像，如；鉴别器给出两个概率分布：一个是合成与真实的和，用于二元分类；另一个是所有图像对中相似与不相似的和，用于配对分类；gan的训练判别器的总损失为：

其中c单独表示和判别器d共享前面网络层的概率网络，公式4第一行和第二行表示对抗损失，第三行和第四行是概率和成对相似度之间的交叉熵损失。

进一步的，所述s3中：

所述相似度矩阵的提取，以全面了解数据点的关系，然后在设计损失函数时帮助二进制代码生成方案顺利进行；定义一个相似性矩阵，如下是目标损失函数：

其中是的第行列；当时，表示图像与图像相似；当时，表示图像与图像不相似；当时，表示图像与图像之间的相似度是模糊的；定义的可能是一个不对称的矩阵，为了确保对称性，进一步更新为，规则是：如果或，那么；如果和，那么；否则；

对于相似性模糊的图像对，即，进一步通过其特征的余弦相似度来定义它们的相似性；然后，得到最终的相似性矩阵，能够被表述为如下：

因此，两幅图像之间的相似度可以分为三种类型：完全相似的，完全不相似的，以及部分相似的。

进一步的，所述s4中，构建了一个哈希编码器网络，它在贝叶斯框架下为合成图像和真实图像生成紧凑的哈希代码；哈希编码器f由三个部分组成：(1)深度卷积神经网络(cnn)，用于为每个输入图像学习深度紧凑的代码，其中可以是具有相似性信息的真实图像x或由具有相似性信息的pc-wgan生成的合成图像；(2)余弦交叉熵损失用于相似性保存的哈希学习；(3)余弦量化损失用于控制量化误差。

更进一步的，得到学习紧凑哈希码的哈希编码器的优化问题如下：

其中是平衡公式16第一行和第二行的余弦交叉熵损失和平衡公式16第三行的余弦量化损失之间权重的参数。

本发明的优点和技术效果：

本发明提出的基于深度学习的哈希架构，用合成的图像指导矩阵生成和代码学习，它利用机器解释高层语义理解到图像中。gdpsh的架构，它由两个主要部分组成：(1)有条件的wgan，它将训练图像和成对相似度作为输入，并共同学习生成器和判别器：生成器接受随机噪声u和编码相似度信息的嵌入向量的连接作为输入，以合成接近真实的图像；判别器试图使用对抗性损失来区分真实和合成图像；(2)哈希编码器，在贝叶斯学习框架下为所有图像生成紧凑的二进制哈希代码：该框架通过余弦交叉熵损失共同保存真实图像和合成图像的相似性信息，并通过余弦量化损失控制量化误差。

经验证，本发明提供的检索方法不仅仅性能远优于非深度学习的哈希方法，而且始终优于其他两种常用的深度学习方法，这充分证明了本发明所提出的双块框架的优越的检索性能。

附图说明

图1为本发明的整体流程框图。

图2为实施例2中nuswide数据集的精度-召回曲线对比图。

图3为实施例2中cifar-10数据集上的精度-召回曲线对比图。

图4为实施例2中ms-coco数据集上的精度-召回曲线对比图。

具体实施方式

以下通过具体实施例进一步解释和说明本发明。

实施例1：

本实施例提出的基于深度学习的哈希架构，用合成的图像指导矩阵生成和代码学习，它利用机器解释高层语义理解到图像中。图1显示了gdpsh的架构，它由两个主要部分组成。(1)有条件的wgan，它将训练图像和成对相似度作为输入，并共同学习生成器和判别器：生成器接受随机噪声u和编码相似度信息的嵌入向量的连接作为输入，以合成接近真实的图像；判别器试图使用对抗性损失来区分真实和合成图像。(2)哈希编码器，在贝叶斯学习框架下为所有图像生成紧凑的二进制哈希代码：该框架通过余弦交叉熵损失共同保存真实图像和合成图像的相似性信息，并通过余弦量化损失控制量化误差。

一种基于结合生成对抗网络的哈希算法的大规模数据检索方法，包括如下步骤：

步骤1：首先从原始数据集的特征矩阵的乘积计算中获得要用到的手工构造的特征，再将它和随机噪声链接起来。

步骤2：将上述获得的特征一并输入到对抗生成网络的生成器当中（如图1中的generator）生成人工合成的图片。

步骤3：将生成的图片放入生成对抗网络的判别器当中（如图1中的discriminator）并用构造的交叉熵损失（cross-entropyloss）以及和真正图片的对抗损失（adversarialloss）来辅助训练，不断更新生成器以及判别器的网络参数，直到能够生成符合目标的人工合成图片。

步骤4：将输出的图片集和原始数据集结合起来经过卷积神经网络1，根据11提出的目标损失函数来计算一个相似度矩阵。

步骤5：将之前提到的融合之后的数据集，以及步骤4得到的相似度矩阵，放入一个另外的独立的卷积神经网络2，根据16提出的余弦交叉熵损失和量化损失来训练网络参数，最后得到效果满意的哈希编码。

具体的：

所述步骤1中的预处理为：首先从数据集的特征矩阵的乘积计算中获得要用到的手工构造的特征，再将它和随机噪声链接起来，得到特征一。

所述步骤2中的生成对抗网络（gans）中：

生成对抗网络（gans）的训练策略定义了两个相互竞争的网络之间的最小值博弈：一个是生成器网络，它捕捉真实图像的基本数据分布，用于合成图像；另一个是判别器网络，它将真实图像与合成图像区分开来；具体来说，生成器接受随机噪声作为输入，该噪声是从一些简单的噪声分布（如均匀分布或球形高斯分布）中采样的，并合成一个假图像；鉴别器接受真实图像或合成图像作为输入，必须通过最小化概率和的分类误差来区分它们；gulrajani等人提出的gan的训练通过wasserstein距离训练判别器，该距离到处都是连续的，几乎到处都是可微的，并提出用可微的lipschitz约束与梯度惩罚：

其中是惩罚系数，通常设定为，x是数据库点，是真实数据分布，是由隐含定义的生成器分布，也就是表示生成的图片，隐含定义为在从真实数据分布和生成器分布采样的点对之间沿直线均匀采样；在最小化游戏中，生成器被训练成将合成图像分类为真实图像的最大概率，这相当于最小化了：

其中是从某个简单的噪声分布中采样的随机噪声。生成器的目标是用近乎真实的合成图像来最大限度地欺骗鉴别器。这样改进gan能够稳定和高效地训练各种gan架构，几乎没有超参数调整。

提出了一个新的wgan的扩展，以从具有成对监督信息的数据中学习。首先，通过相似性嵌入的方法降低了点状监督信息的高维度，将与每个图像相关的相似性信息嵌入到一个低维向量。相似性嵌入可以通过最小化以下的重构损失来实现。先来看一个以往gan里面的重构损失函数：

其中是相似性嵌入损失，施加非负约束是为了使潜伏嵌入与先验监督信息一致，先验监督信息是以非负相似性标签的形式给出的。由于，每个嵌入向量可以用维近似表示每个点的相似性信息，这是低维度的，可以作为gan的输入。

每个生成的点除了随机噪声之外，还有一个相应的嵌入向量。生成器同时使用嵌入向量和随机噪声来生成每个图像，如。鉴别器应该给出两个概率分布：一个是合成与真实的和，用于二元分类；另一个是所有图像对中相似与不相似的和，用于配对分类。具体来说，判别器网络（除了最后一层）在和之间共享。用和表示网络的最后一层激活，用于成对分类，那么。pc-wgan的训练判别器的总损失为：

其中c单独表示和判别器d共享前面网络层的概率网络，公式4第三行和第四行是概率和成对相似度之间的交叉熵损失。在最小化游戏中，生成器被训练成最大化合成是真实的以及相似是不相似的概率，或者相反，这相当于最小化了：

注意。生成器的目标是用从相似性嵌入和随机噪声产生的合成图像最大限度地愚弄判别器。在应用中，含有相似性信息的训练数据的大小明显小于完整的无标签数据的大小。使pc-wgan能够从有标签的数据和无标签的数据中学习，通过对每个无标签的图像进一步使用零嵌入向量来合成高质量的图像。生成器分布变为，而变为监督和无监督的真实图像的分布。虽然和都因无标签数据而改变，但公式3和4中的pc-wgan目标仍然没有改变。

所述步骤3中相似度矩阵生成cnn1

结合原始数据集，首先提取一个整体特征（即相似度矩阵），以全面了解数据点的关系，然后在设计损失函数时帮助二进制代码生成方案顺利进行。因此，在这一部分，首先从每个图像中选择个最近的邻居，这是基于它们的余弦相似度。余弦相似度的表述如下：

其中是图像的特征，由预先训练的cnn（如alexnet）提取。表示一个向量的长度。

然后，利用近邻图上的随机行走来测量数据点之间的流形相似度。近邻图是无定向的加权图，它是以个图像为节点构建的，可以用稀疏的对称邻接矩阵表示，其表述如下。

k中的表示相似度。此外，的对角线元素为零。通过最近的邻接图，对于每个节点，随机行走遵循迭代。所以条件概率函数如下：

其中是一个超参数；和其中是一个元素为的向量；是一个任意向量；是一个单热向量，只有的第i个元素等于，其他都等于。序列可以收敛到解，那么如下：

其中是一个身份矩阵。然后，用，表示的第个元素，表示图像和图像之间的流形相似度。最后，对于每个图像，按流形相似度从大到小对其他点进行排序，是前o个数据点的集合。

然后，通过构建的，可以重建，将个最近的邻居分成两组：一组的数据点与图像相似，另一组的数据点与图像不相似。具体来说，对于中的每个数据点，如果它也属于，那么它与相似，否则，它与不相似；对于不在中的其他数据点，它们与图像的相似性是模糊的。因此，可以定义一个相似性矩阵，如下：

其中是的第行列。当时，表示图像与图像相似；当时，表示图像与图像不相似；当时，表示图像与图像之间的相似度是模糊的。定义的可能是一个不对称的矩阵，那么为了确保对称性，进一步更新为，规则是：如果或，那么；如果和，那么；否则。

此外，丰富的语义信息包含在由预训练的cnn提取的特征中。这意味着可以从图像的特征中挖掘出一些语义相似性信息。因此，对于相似性模糊的图像对，即，进一步通过其特征的余弦相似度来定义它们的相似性。然后，可以得到最终的相似性矩阵，它可以被表述为如下：

因此，两幅图像之间的相似度可以分为三种类型：完全相似的，完全不相似的，以及部分相似的。

所述步骤4中哈希学习框架：

以高质量的合成图像与上面得到的相似性矩阵为例，它们可以用来提升深度学习的性能，在相似性标签不足的图像上进行哈希。因此，构建了一个哈希编码器网络，它在贝叶斯框架下为合成图像和真实图像生成紧凑的哈希代码。哈希编码器f由三个部分组成。(1)一个深度卷积网络(cnn)，用于为每个输入图像学习深度紧凑的代码，其中可以是具有相似性信息的真实图像x或由具有相似性信息的pc-wgan生成的合成图像；(2)一个余弦交叉熵损失用于相似性保存的哈希学习；(3)一个余弦量化损失用于控制量化误差。

给定训练数据和合成图像，可以将训练数据扩展为，将相似性标签扩展为进行深度哈希。给定和的哈希码的对数最大后验（map）估计为

其中n是训练数据量，m是人工生成数据量，是加权似然函数，是每个训练对的权重，通过根据错误分类的重要性对训练对进行加权，解决数据不平衡问题（dmochowski,sajda,andparra2010）。由于中的每个相似性标签只能是或，为了说明相似对和不相似对之间的数据不平衡，提出

其中是相似对的集合，是不相似对的集合。对于每个配对，是给定一对哈希代码和的相似性标签的条件概率，它可以自然地定义为配对逻辑函数。条件概率如下：

其中是自适应的sigmoid函数。与逻辑回归类似，可以看到hamming距离越小，余弦相似度以及条件概率就越大，这意味着图像对和应该被分类为相似。否则，条件概率就越大，意味着图像对和应该被归类为非相似。因此，方程（14）是逻辑回归分类器在成对分类情况下的合理扩展，对于二元相似度标签来说是最优的。

由于公式12的二元约束的离散优化非常具有挑战性，为了便于优化，对二元约束采用了连续松弛，这也是大多数哈希方法采用的方法。为了控制连续松弛的量化误差，缩小汉明距离和余弦距离之间的差距，以学习高质量的哈希码，提出了一个新的双模高斯先验，即公式16：

其中是双模高斯分布的多样性参数，是具有规范的1的向量。

通过将方程14和15纳入方程12中的map估计，得到学习紧凑哈希码的哈希编码器的优化问题如下：

其中是平衡公式16第一行和第二行的余弦交叉熵损失和第三行的余弦量化损失之间权重的参数。

实施例2：检索结果测试

本实施例在三个广泛使用的基准数据集上评估了所提出的哈希方法，包括cifar-10、nus-wide和ms-coco，这些数据集经常用于物体检测应用。nus-wide是一个网络图像数据集，包括269648张图像和来自flickr的相关标签。它有5018个独特的标签和81个地面真实的概念。在本发明中，随机抽取5000张图片作为查询点，其余的图片作为数据库，并从数据库中随机抽取10000张图片作为训练点。cifar-10是一个包含60,000张图片的10类数据集。随机选择每类100张图片作为查询集，每类500张图片作为训练集，其余的图片作为数据库。ms-coco是一个最近在图像识别、分割和字幕领域被广泛使用的图像数据集。它包含82,783张训练图像和40,504张验证图像，其中每张图像都由80个语义概念中的某些概念来标注。随机抽取5,000张图片作为查询点，其余的作为数据库，并从数据库中随机抽取10,000张图片进行训练。

对比方法：

本实施例选用对八种最先进的监督哈希方法进行了广泛的实验，包括监督浅层哈希方法itq-cca、sdh，以及监督深层哈希方法cnnh和dnnh。此外，在给出结论之前，深入研究了模型的设置细节，并展示了性能结果。

实验设置：

通过使用广泛认可的评估协议，用于哈希函数学习和地面真实评估的相似性测量是通过利用图像标签构建的：如果两幅图像至少共享一个标签，则认为它们相似，，否则认为不相似，。

对于传统的哈希方法，使用4096维的特征作为图像特征。对于深度哈希方法，使用原始图像作为输入，并采用vgg16作为骨干架构。遵循并采用四层resnet架构作为本发明方法中的判别器和生成器，这被证明可以生成64×64像素的高质量图像。采用alexnet作为哈希编码器，对所有层进行微调，但最后一层是从预训练的alexnet中复制的。由于最后一层是从头开始训练的，将其学习率设定为低层的10倍。使用0.9动量的小批量随机梯度下降法（sgd）作为求解器，并用到的乘法步长为交叉验证学习率。将图像的小批量大小固定为256，权重衰减参数为0.0005。对手工制作的特征输入的维度进行交叉验证，观察到将这个超参数固定为32，就足以达到令人满意的结果。同时，鉴于的维度足够大，例如32，gdpsh对不同的维度不敏感。通过对训练数据进行交叉验证来选择所有比较方法的参数。

评估标准：

实验主要以两个标准评价指标进行评估。平均精度（map），精度-召回曲线（pr）。对于那些基于汉明排名的标准，它根据数据点与查询的汉明距离进行排名；对于为了与已公布的结果直接比较，所有方法都使用相同的训练集和测试集。遵循hashnet和dhn，对nus-wide数据集采用map@5000，对mscoco数据集采用map@5000，而对cifar-10数据集采用map@54000。

表1显示了gdpsh和所有基线方法在ms-coco、nuswide和cifar-10上的结果，哈希代码数量从16到64不等。图2、图3和图4分别展示了在精度-召回曲线（pr）和精度曲线方面的检索性能，与不同的顶级返回样本数（p@n）有关。

表1在三个图像数据集上，不同位数的汉明排序的平均均值精度（map）

首先展示了本发明和所有基线方法在三个数据集上的不同哈希码长度的map值，作为全局评估。然后，在哈希码长度为32的情况下画出精度-召回和p@n曲线作为更全面的比较。为了研究哈希码长度的影响，本发明在哈希码长度为[16,32,48,64]的情况下对所提方法进行了评估，并在map评估中展示了结果。

从不同数据集看，本发明在检索时间上基本优于其他基于深度的哈希方法，明显优于传统哈希算法，在训练时间上和其他深度哈希方法相似。实验表明，本发明优于现有的图像检索模型，并能无缝生成高质量的二进制哈希代码。本发明能够通过最小优化机制中的反向传播进行端到端的训练。大量的实验表明，所提出的模型可以生成高质量的二进制哈希代码，并在三个数据集（nus-wide、cifar-10和ms-coco）上产生先进的多媒体检索性能（如图2、3和4所示）。

技术特征：

1.一种基于结合生成对抗网络的哈希算法的大规模数据检索方法，其特征在于，该方法包括以下步骤：

s1：收集图片数据，并进行预处理，得到特征一；

s2：根据生成对抗网络对所述特征一进行处理；将上述获得的特征一并输入到对抗生成网络的生成器当中生成人工合成的图片；将该图片放入生成对抗网络的判别器当中，并用构造的交叉熵损失以及和真正图片的对抗损失来辅助训练，不断更新生成器以及判别器的网络参数，直到能够生成符合目标的人工合成图片；

s3：将s2中人工合成图片集和原始图片集相结合的融合数据集输入至卷积神经网络一，根据提出的目标损失函数来计算相似度矩阵；

s4：将所述融合数据集，以及所述相似度矩阵，输入至卷积神经网络二，根据提出的余弦交叉熵损失和量化损失来训练网络参数，最后得到效果满意的哈希编码，同样得到训练好的哈希架构gdpsh；

s5：待测数据集输入至s4训练好的哈希架构gdpsh进行处理，最后输出检索结果。

2.如权利要求1所述的大规模数据检索方法，其特征在于，所述s1中的预处理为：首先从数据集的特征矩阵的乘积计算中获得要用到的手工构造的特征，再将它和随机噪声链接起来，得到特征一。

3.如权利要求1所述的大规模数据检索方法，其特征在于，所述s2中的生成对抗网络中：

通过相似性嵌入的方法降低了点状监督信息的高维度，将与每个图像相关的相似性信息嵌入到一个低维向量；每个生成的点除了随机噪声之外，还有一个相应的嵌入向量；生成器同时使用嵌入向量和随机噪声来生成每个图像，如；鉴别器给出两个概率分布：一个是合成与真实的和，用于二元分类；另一个是所有图像对中相似与不相似的和，用于配对分类；gan的训练判别器的总损失为：

其中c单独表示和判别器d共享前面网络层的概率网络，公式4第一行和第二行表示对抗损失，第三行和第四行是概率和成对相似度之间的交叉熵损失。

4.如权利要求1所述的大规模数据检索方法，其特征在于，所述s3中：所述相似度矩阵的提取，以全面了解数据点的关系，然后在设计损失函数时帮助二进制代码生成方案顺利进行；定义一个相似性矩阵，如下是目标损失函数：

其中是的第行列；当时，表示图像与图像相似；当时，表示图像与图像不相似；当时，表示图像与图像之间的相似度是模糊的；定义的可能是一个不对称的矩阵，为了确保对称性，进一步更新为，规则是：如果或，那么；如果和，那么；否则；

对于相似性模糊的图像对，即，进一步通过其特征的余弦相似度来定义它们的相似性；然后，得到最终的相似性矩阵，能够被表述为如下：

因此，两幅图像之间的相似度可以分为三种类型：完全相似的，完全不相似的，以及部分相似的。

5.如权利要求1所述的大规模数据检索方法，其特征在于，所述s4中，构建了一个哈希编码器网络，它在贝叶斯框架下为合成图像和真实图像生成紧凑的哈希代码；哈希编码器f由三个部分组成：(1)深度卷积神经网络(cnn)，用于为每个输入图像学习深度紧凑的代码，其中可以是具有相似性信息的真实图像x或由具有相似性信息的pc-wgan生成的合成图像；(2)余弦交叉熵损失用于相似性保存的哈希学习；(3)余弦量化损失用于控制量化误差。

6.如权利要求5所述的大规模数据检索方法，其特征在于，得到学习紧凑哈希码的哈希编码器的优化问题如下：

其中是平衡公式16第一行和第二行的余弦交叉熵损失和第三行的余弦量化损失之间权重的参数。

技术总结
本发明是一种基于结合生成对抗网络的哈希算法的大规模数据检索方法。本发明主要由两个主要部分组成：有条件的WGAN，它将训练图像和成对相似度作为输入，并共同学习生成器和判别器：生成器接受随机噪声和编码相似度信息的嵌入向量的连接作为输入，以合成接近真实的图像；判别器试图使用对抗性损失来区分真实和合成图像；哈希编码器，在贝叶斯学习框架下为所有图像生成紧凑的二进制哈希代码：该框架通过余弦交叉熵损失共同保存真实图像和合成图像的相似性信息，并通过余弦量化损失控制量化误差。经验证，本发明所提出的双块框架具有优越的检索性能。

技术研发人员：曹媛;吴翔宇;桂杰
受保护的技术使用者：中国海洋大学
技术研发日：2021.07.05
技术公布日：2021.08.03