本技术涉及信息科学，特别涉及一种应对标签部分缺失的跨模态哈希模型的训练及检索方法。
背景技术：
1、跨模态哈希(cross-modal hashing，跨模态哈希)为将多模态数据(例如，图像和文本等)压缩成紧凑的二进制代码，同时保持它们在高维数据点的跨模态语义相似性。哈希算法的时空效率已经得到了广泛的认可，并在需要快速索引和检索不同模态实例的搜索引擎和推荐系统中得到了广泛应用。然而，现有的跨模态哈希检索需要整个数据集上的完整标注，当数据集快速扩展时，由于有限的劳动力资源，这种昂贵的监督很难实现，导致现有跨模态哈希很难处理现实中出现的、未解决的标签部分缺失的核心问题。
2、在标签部分缺失的情况下，样本数据标注有不完备标签，不完备标签中包括部分显式标注的语义标签，而部分采用“未知”作为标注的未知标签，而未知标签会从根本上破坏成对关系，特别是对于跨模态学习，并且带有不完备标签的跨模态哈希将不可避免地遇到由于另一种类型的不确定性而被破坏的相似性学习，使得模态检索模型容易受到不完整标签的影响，进而影响跨模态哈希检索的准确性。
3、因而现有技术还有待改进和提高。
技术实现思路
1、本技术要解决的技术问题在于，针对现有技术的不足，提供一种应对标签部分缺失的跨模态哈希模型的训练及检索方法。
2、为了解决上述技术问题，本技术第一方面提供了一种应对标签部分缺失的跨模态哈希模型的训练方法，其中，所述应对标签部分缺失的跨模态哈希模型的训练方法具体包括：
3、对于训练样本集中的每个训练样本，在所述训练样本的不完备标签中的正语义标签中随机选取初始标签集，基于所述初始标签集和所述不完备标签生成若干对照标签集，以及依据预设标签提示符构造所述初始标签集对应标签提示向量和各对照标签集对应的对照标签提示向量，其中，所述对照标签集包括所述初始标签集中的正语义标签，或者包括所述初始标签集中的正语义标签和所述不完备标签中的负语义标签；
4、计算各训练样本的标签提示向量的第一完备分数和各对照标签提示向量的第二完备分数；
5、基于所有第一完备分数和所有第二完备分数构建总对比损失项，并基于所述总对比损失项对所述预设标签提示符进行学习，以得到目标标签提示符；
6、基于所述目标标签提示符，通过所述训练样本集对应的语义标签集对各训练样本的不完备标签中的未知语义类进行标签恢复以得到各训练样本的恢复标签，以得到恢复训练样本集；
7、基于恢复训练样本集训练预设哈希模型，以得到跨模态哈希模型。
8、所述的应对标签部分缺失的跨模态哈希模型的训练方法，其中，所述基于所述初始标签集和所述不完备标签生成若干对照标签集具体包括：
9、对所述初始标签集执行至少一次调整操作，得到一对照标签集，其中，所述调整操作为随机添加负语义标签操作和/或随机删减正语义标签操作；
10、重复对所述初始标签集执行至少一次调整操作，直至得到若干对照标签集。
11、所述的应对标签部分缺失的跨模态哈希模型的训练方法，其中，所述预设标签提示符为：
12、
13、
14、
15、
16、其中，pc表示第c个语义标签的可学习提示符，phead表示可学习语义标签的不可知前缀，ptail表示可学习语义标签的不可知后缀，cdesc表示预设标签提示符中的描述标签集，σ(·)表示描述标签集上的置换，均表示可学习参数，m，n，ma和na均为正整数。
17、所述的应对标签部分缺失的跨模态哈希模型的训练方法，其中，所述第一完备分数和所述第二完备分数均基于完备分数计算公式得到，其中，完备分数计算公式为：
18、φ(k)＝et(p(k))τh/τ
19、其中，k表示标签集，et(·)表示文本编码器，p(k)表示基于标签集k生成的标签提示向量，τ表示温度参数，h表示训练样本对应的模态特征。
20、所述的应对标签部分缺失的跨模态哈希模型的训练方法，其中，所述基于所述目标标签提示符，通过所述训练样本集对应的语义标签集对各训练样本的不完备标签中的未知语义类进行标签恢复以得到各训练样本的恢复标签，以得到恢复训练样本集具体包括：
21、对于训练样本集中的每个训练样本，基于所述训练样本集的语义标签集和所述训练样本的不完备标签，确定所述训练样本对应的所有正语义标签和所有未知语义标签；
22、以完备分数最高为目标，在所有正语义标签和所有未知语义标签构成的语义标签集中搜索所述训练样本的不完备标签中的未知语义类的恢复标签，以得到训练样本对应的恢复标签；
23、采用各训练样本的恢复标签替换其对应的不完备标签，以得到恢复训练样本集。
24、所述的应对标签部分缺失的跨模态哈希模型的训练方法，其中，所述基于恢复训练样本集训练预设哈希模型，以得到跨模态哈希模型具体包括：
25、对于恢复训练样本集中的每个训练批次，获取训练批次中的训练样本中的各单模态数据的模态特征；
26、根据训练批次中的各训练样本的恢复标签，分别计算两两训练样本间的互补分数，以得到互补分数矩阵；
27、对于训练批次中的每个训练样本，根据所述互补分数矩阵确定所述训练样本对应的互补训练样本，将训练样本的模态特征与所有互补训练样本的模型特征进行融合以得到更新模态特征，以及将训练样本的恢复与所有互补训练样本的恢复进行融合以得到更新标签；
28、基于各训练样本的更新模态特征和更新标签，构建损失函数项，并基于所述损失函数项训练预设哈希模型，以得到跨模态哈希模型。
29、所述的应对标签部分缺失的跨模态哈希模型的训练方法，其中，在构建损失函数项时采用的相似度矩阵为：
30、
31、
32、其中，s∈([0,1]∪{u})b*b表示初始相似度矩阵，r表示sij＝0与sij＞0的比率，b表示训练批次的样本数量，表示第i个训练样本的更新标签，第j个训练样本的更新标签，c表示恢复训练样集对应的语义标签集，用于执行0-1掩码，将未知元素设置为1，将其他元素设置为0，r∈{0,1}b×b表示随机掩码，表示hadamard乘积。
33、本技术第二方面提供了一种应对标签部分缺失的跨模态哈希检索方法，使用如上所述的应对标签部分缺失的跨模态哈希模型的训练方法训练得到的跨模态哈希模型，所述的应对标签部分缺失的跨模态哈希检索方法具体包括：
34、接收待检索的单模态数据，通过所述跨模态哈希模型确定所述待检索的单模态数据的哈希码；
35、根据所哈希码与预设模态数据库对应的模态哈希码库中的各模态哈希码的相似度，在所述预设模态数据库中选取所述待检索的单模态数据对应的预设数量的候选模态数据。
36、本技术第三方面提供了一种应对标签部分缺失的跨模态哈希模型的训练装置，其中，所述应对标签部分缺失的跨模态哈希模型的训练装置具体包括：
37、生成模块，用于对于训练样本集中的每个训练样本，在所述训练样本的不完备标签中的正语义标签中随机选取初始标签集，基于所述初始标签集和所述不完备标签生成若干对照标签集，以及依据预设标签提示符构造所述初始标签集对应标签提示向量和各对照标签集对应的对照标签提示向量，其中，所述对照标签集包括所述初始标签集中的正语义标签，或者包括所述初始标签集中的正语义标签和所述不完备标签中的负语义标签；
38、计算模块，用于计算各训练样本的标签提示向量的第一完备分数和各对照标签提示向量的第二完备分数；
39、学习模块，用于基于所有第一完备分数和所有第二完备分数构建总对比损失项，并基于所述总对比损失项对所述预设标签提示符进行学习，以得到目标标签提示符；
40、恢复模块，用于基于所述目标标签提示符和所述训练样本集对应的语义标签集，对各训练样本的不完备标签进行恢复以得到各训练样本的恢复标签，并采用各训练样本的恢复标签替代各训练样本的不完备标签，以得到恢复训练样本集；
41、训练模块，用于基于恢复训练样本集训练预设哈希模型，以得到跨模态哈希模型。
42、本技术第四方面提供了一种终端设备，其包括：处理器和存储器；
43、所述存储器上存储有可被所述处理器执行的计算机可读程序；
44、所述处理器执行所述计算机可读程序时实现如上所述的应对标签部分缺失的跨模态哈希模型的训练方法中的步骤，和/或实现如上应对标签部分缺失的跨模态哈希检索方法中的步骤。
45、有益效果：与现有技术相比，本技术提供了一种应对标签部分缺失的跨模态哈希模型的训练及检索方法，所述训练方法通过构造可学习的预设标签提示符，通过预设标签提示符和跨模态训练样本的不完备标签构建标签提示向量，然后通过标签提示向量的完备分数来对预设标签提示符进行学习，最后基于学习得到的目标标签提示符对跨模态训练样本的不完备标签进行恢复，以有效地感知缺失标签，降低了不完备标签对跨模态哈希模型的影响，提高跨模态哈希模型的模型性能。同时，通过互补语义传播和自适应负配对策略减少未知对以平衡正-负对分布，从而可以进一步提高跨模态哈希模型的模型性能。
1.一种应对标签部分缺失的跨模态哈希模型的训练方法，其特征在于，所述应对标签部分缺失的跨模态哈希模型的训练方法具体包括：
2.根据权利要求1所述的应对标签部分缺失的跨模态哈希模型的训练方法，其特征在于，所述基于所述初始标签集和所述不完备标签生成若干对照标签集具体包括：
3.根据权利要求1所述的应对标签部分缺失的跨模态哈希模型的训练方法，其特征在于，所述预设标签提示符为：
4.根据权利要求1所述的应对标签部分缺失的跨模态哈希模型的训练方法，其特征在于，所述第一完备分数和所述第二完备分数均基于完备分数计算公式得到，其中，完备分数计算公式为：
5.根据权利要求1所述的应对标签部分缺失的跨模态哈希模型的训练方法，其特征在于，所述基于所述目标标签提示符，通过所述训练样本集对应的语义标签集对各训练样本的不完备标签中的未知语义类进行标签恢复以得到各训练样本的恢复标签，以得到恢复训练样本集具体包括：
6.根据权利要求1所述的应对标签部分缺失的跨模态哈希模型的训练方法，其特征在于，所述基于恢复训练样本集训练预设哈希模型，以得到跨模态哈希模型具体包括：
7.根据权利要求6所述的应对标签部分缺失的跨模态哈希模型的训练方法，其特征在于，在构建损失函数项时采用的相似度矩阵为：
8.一种应对标签部分缺失的跨模态哈希检索方法，其特征在于，使用采用如权利要求1-7任意一项所述的应对标签部分缺失的跨模态哈希模型的训练方法训练得到的跨模态哈希模型，所述的应对标签部分缺失的跨模态哈希检索方法具体包括：
9.一种应对标签部分缺失的跨模态哈希模型的训练装置，其特征在于，所述应对标签部分缺失的跨模态哈希模型的训练装置具体包括：
10.一种终端设备，其特征在于，包括：处理器和存储器；
