本发明涉及自然语言处理，具体涉及一种基于多视角图对比学习和元学习特征净化网络的答案选择方法及系统。
背景技术：
1、在问答系统中，答案选择任务是一个核心组成部分。问答系统旨在回答用户提出的自然语言问题，而答案选择任务则是从一组可能的答案中选择出最佳答案。在一个典型的问答系统中，当用户提出一个问题时，系统首先会运用自然语言处理技术来理解问题的含义并从相关的文本数据中检索出可能的答案。然后，系统将这些答案提供给答案选择模型进行评估，以选择最佳答案并回答用户的问题。因此，答案选择任务和问答系统密切相关，答案选择模型的表现对问答系统整体性能有着重要的影响。
2、答案选择任务除了在问答系统中发挥重要作用，还可以有效改善信息检索、自然语言生成和智能对话系统等人工智能产品的性能和用户体验。在信息检索方面，答案选择任务可以帮助系统快速、准确地匹配用户查询与相关文本，提高检索结果的精确性和效率。在自然语言生成方面，答案选择任务可以协助生成的句子进行自动评估，进而提高自然语言生成的质量和流畅度。在智能对话系统中，答案选择任务可以帮助智能对话系统更准确地理解用户的问题和意图，并生成符合人类思维的回复，从而提高系统的准确性和人性化程度。
3、如今从问答对本身已经很难捕捉更精确的语义信息。因此，近年来各项工作致力于从外部获取辅助内容。deng等人提出了基于知识感知的注意力图网络，从知识图谱中提取节点知识，并利用图卷积网络的高可解释性，构建了多视图知识感知注意机制，学习了基于语境和基于知识的句子特征。asr/masr模型受事实验证任务启发，提出了基于答案支持的重排器（answer support-based reranker），对于目标答案t，作者表明该问题的其余候选答案可以提供有效的积极或消极验证信息，因此通过判定aa相似性组件改进了tanda的得分。 roshni g等人在此基础上通过图神经网络进一步挖掘了相似问题及其候选答案间的潜在共性，为每个问题构建了小规模的相关性训练图。
4、尽管上述方法引入了大量知识，提高模型对背景信息的理解能力，过多的外部知识可能导致信息过载，这意味着模型需要处理和分析大量与当前任务只是间接相关或完全无关的信息。这不仅会增加计算成本，还可能使模型难以从中提取出对当前任务真正有价值的信息，从而降低效率和效果。依赖大量特定领域知识的模型可能在其训练领域表现良好，但泛化到新领域时性能下降。这是因为模型可能过度依赖于特定的外部知识，而不是学习到从根本上理解问题的能力。本发明提出了基于元学习的特征净化网络用以强化模型对噪声信息的辨析能力，进一步感知关键节点对问答对语义理解的辅助作用。
技术实现思路
1、本发明的目的在于提供一种基于多视角图对比学习和元学习特征净化网络的答案选择方法及系统，该方法及系统可以提高答案选择的准确性，泛化能力强。
2、为了实现上述目的，本发明采用的技术方案是：一种基于多视角图对比学习和元学习特征净化网络的答案选择方法，包括以下步骤：
3、步骤a：获取用户的问题及其答案数据，对每个问题及其答案分别构建问答对，并标注每个问答对的真实标签，以此构建数据集s，并划分为训练集ts、验证集vs、测试集ds以及用于元学习的支持集ss；
4、步骤b：使用训练集ts，构建问答对的句法依赖树，训练基础的深度学习网络模型m1，捕捉问答对间语义关联的同时强化结构性知识，获取问答对结构性融合特征xfinal；然后在元学习框架引导下，使用支持集ss，将支持集ss经过模型m1得到的问答对结构性融合特征xfinal作为输入，训练基于元学习特征净化网络的深度学习网络模型m2，提高模型m2对未知数据的噪声信息的提取能力，模型m2输出元空间去偏差特征vdebias；定期保存模型m1和模型m2的模型状态；
5、步骤c：使用验证集vs先后经过模型m1和模型m2，并将模型m2输出的元空间去偏差特征vdebias作为最终的问答对表征，验证模型m1和模型m2的泛化能力，调整模型训练的超参数，并选出表现最优的模型状态作为最终的检查点checkpointbest；最后使用测试集ds测试检查点checkpointbest在未知数据上的表现；
6、步骤d：利用经过训练、验证、测试的模型m1和模型m2进行答案选择。
7、进一步地，所述步骤a具体包括以下步骤：
8、步骤a1：从包括wikiqa、treccqa的答案选择数据集和包括维基百科的问答平台获取公开的问答数据，所述问答数据包括用户的问题及其答案数据；
9、步骤a2：对获得的问答数据进行数据清洗和预处理，去除无用信息，规范化文本内容，对每个问题及其答案分别构建问答对，去除重复的问答对，并标注每个问答对的真实标签 p∈{0,1}，以此构建数据集s，然后按照设定比例划分为训练集ts、验证集vs、测试集ds和支持集ss。
10、进一步地，所述步骤b具体包括以下步骤：
11、步骤b1：对于训练集ts中的所有样本进行初始编码，获得问题和答案的初始文本特征 h q、 h a，同时分析问题和答案的语义特征，得到问题和答案词级的关键性评分权重 k q、 k a；
12、步骤b2：将步骤b1得到的问题和答案的初始文本特征 h q、 h a按照节点的句法依赖结构连接关系构建相应的句法依赖树，并转换为对应的 l1阶邻接矩阵和 l2阶邻接矩阵，对步骤b1得到的问题和答案词级的关键性评分权重 k q、 k a设定阈值，以初始化邻接矩阵和的权重，并对非关键性词级进行[mask]操作以减少噪声引入；接着利用k层图注意力网络得到问题和答案的关键性结构上下文序列特征、；
13、步骤b3：将步骤b1中得到的问题和答案的初始文本特征 h q、 h a分别利用自注意力机制获得问题和答案的自注意力文本特征、，然后构建类别感知元网络，将步骤b2中得到的问题和答案的关键性结构上下文序列特征、分别与对应的自注意力文本特征、经过元网络交互融合，得到问题和答案的结构性关键上下文特征、，融合后拼接得到最终的问答对结构性融合特征xfinal；
14、步骤b4：冻结模型m1的参数，将支持集ss经过模型m1得到元学习问答对结构性融合特征，并作为基于元学习特征净化网络的深度学习网络模型m2的输入，接着将元学习问答对结构性融合特征映射到高维特征子空间中，提取出问答对中的元空间去偏差特征vdebias和元空间偏差特征vbias；
15、步骤b5：利用步骤b3中得到的问答对结构性融合特征xfinal和步骤b4中得到的元空间去偏差特征vdebias计算对比损失loss1，利用步骤b3中得到的问答对结构性融合特征xfinal和步骤b4中得到的元空间偏差特征vbias计算对比损失loss2，然后计算得到最终的联合损失loss；
16、步骤b6：根据步骤b5中得到的联合损失loss，通过反向传播方法计算模型m1和模型m2中各参数的梯度，并利用随机梯度下降方法更新各参数；当模型m1和模型m2每次迭代产生的损失值变化小于设定阈值，或者达到最大迭代次数，终止模型的训练过程。
17、进一步地，所述步骤b1具体包括以下步骤：
18、步骤b11：对训练集ts中问答对的问题和答案进行拼接，并在问题q前面插入[< s>]标记，在问题q和答案a之间插入[</ s>,</ s>]标记，在答案a后面插入[</ s>]标记，构造 roberta编码模型的问答对输入序列c：
19、
20、其中， w i q为问题q中的第i个词节点，，m为问题q的文本长度， w j a为答案a中的第j个词节点，，n为答案a的文本长度；
21、步骤b12：将c输入到 roberta编码模型中，得到 roberta编码模型最后一层输出序列 h s；根据问题和答案的文本长度，对序列 h s进行切分，从而获得问题和答案的初始文本特征 h q、 h a；
22、其中， roberta编码模型的最后一层输出序列 h s表示为：
23、
24、问题q的初始文本特征表示为：
25、
26、答案a的初始文本特征表示为：
27、
28、其中，，其中 h i q为词节点 w i q的向量表示， h j a为词节点 w j a的向量表示，d为特征向量的维度；
29、步骤b13：将问答对文本输入关键词模型keybert获取问题和候选答案中的关键词及其关键权重，从而得到问题和答案词级的关键性评分权重 k q、 k a：
30、问题q的关键性评分权重 k q表示为：
31、
32、答案a的关键性评分权重 k a表示为：
33、
34、其中， k i q、 k j a分别为问答对中的关键词， v i q、 v j a分别为问答对中相应关键词的所占权重，λ为自适应参数，以限制问答对中关键词数量。
35、进一步地，所述步骤b2具体包括以下步骤：
36、步骤b21：根据a22使用外部解析工具抽离出的问题和答案进的句法依赖关系，以节点为单位构建相应的句法依赖树，并转换成对应的 m阶邻接矩阵和 n阶邻接矩阵；
37、其中的表示如下：
38、
39、在邻接矩阵中，矩阵元素为0表示词节点 w i q和知识节点 w j q之间不存在句法结构依赖关系；矩阵元素为1表示词节点 w i q和知识节点 w j q之间存在着一定的句法结构依赖关系，且双方互为邻接矩阵节点；
40、其中的表示如下：
41、
42、在邻接矩阵中，矩阵元素为0表示词节点 w i a和知识节点 w j a之间不存在句法结构依赖关系；矩阵元素为1表示词节点 w i a和知识节点 w j a之间存在着一定的句法结构依赖关系，且双方互为邻接矩阵节点；
43、步骤b22：根据步骤b14得到的问题和答案词级的关键性评分权重 k q、 k a进一步初始化邻接矩阵和权重，仅利用问题q中前 λm个关键词和答案a中前 λn个关键词，对于非关键词的节点，消除其连接的边，对于关键词节点，对其存在的边关系另加上其关键性评分作为矩阵新的权重；
44、其中矩阵的权重和的更新表示如下：
45、
46、
47、步骤b23：首先对问题q的初始文本特征 h q做随机[mask]操作，将经过[mask]操作的初始文本特征 h q作为图的节点特征，利用k层图注意力网络在邻接矩阵上进行图注意力计算，更新节点信息；
48、问题q中图节点i的更新过程如下：
49、
50、
51、
52、其中，为节点i和节点j间的注意力系数， leakyrelu为激活函数，为节点i的邻居节点集，为归一化后的注意力系数， σ为激活函数，为节点i更新后的新特征向量，w1、w2为状态转移矩阵；
53、同样对答案a的初始文本特征 h a做随机[mask]操作，将经过[mask]操作的初始文本特征 h a作为图的节点特征，利用k层图注意力网络在邻接矩阵上进行图注意力计算，更新节点信息；
54、答案a中图节点i的更新过程如下：
55、
56、
57、
58、其中，为节点i和节点j间的注意力系数，为节点i的邻居节点集，为归一化后的注意力系数，为节点i更新后的新特征向量，w3、w4为状态转移矩阵；
59、步骤b24：将经过第k层图注意力网络后问题q的特征节点和答案a的特征节点分别拼接，得到问题和答案的关键性结构上下文序列特征、；
60、的表示如下：
61、
62、其中，；
63、的表示如下：
64、
65、其中，。
66、进一步地，所述步骤b3具体包括以下步骤：
67、步骤b31：将步骤b13中得到的问题和答案的初始文本特征 h q、 h a分别利用自注意力机制捕捉文本中的关键信息，并通过gru网络得到问题和答案的自注意力文本特征、；
68、
69、
70、其中，， w q1、 w q2、 w k1、 w k2、 w v1、 w v2为可训练的矩阵参数；
71、步骤b32：对于问题和答案的自注意力文本特征、与问题和答案的关键性结构上下文序列特征、，构建类别感知元网络；定义超参数z表示问答对类别的数量；
72、将问题的自注意力文本特征与问题的关键性结构上下文序列特征融合后通过mlp转换为问题的词级多类别序列特征和问题的特征级多类别序列特征：
73、问题的词级多类别序列特征和问题的特征级多类别序列特征表示如下：
74、
75、
76、其中，， “：”为拼接操作；
77、同样将答案的自注意力文本特征与答案的关键性结构上下文序列特征融合后通过mlp转换为答案的词级多类别序列特征和答案的特征级多类别序列特征：
78、答案的词级多类别序列特征和答案的特征级多类别序列特征表示如下：
79、
80、
81、其中，；
82、步骤b33：根据b32类别感知元网络得到的问题的词级多类别序列特征和问题的特征级多类别序列特征与答案的词级多类别序列特征和答案的特征级多类别序列特征，首先分别提取问题的词级类别序列特征权重和特征级多类别序列特征权重更新问题的词级多类别序列特征和问题的特征级多类别序列特征，并通过聚合网络交互融合获得问题的结构性关键上下文特征，其次分别提取答案的词级类别序列特征权重和特征级多类别序列特征权重更新答案的词级多类别序列特征和答案的特征级多类别序列特征，并通过聚合网络交互融合获得答案的结构性关键上下文特征；
83、问题的结构性关键上下文特征表示如下：
84、
85、
86、
87、
88、
89、其中，为激活函数，为聚合网络，为归一化前的问题词级类别序列特征权重，为归一化前的问题特征级多类别序列特征权重，b1、b2、b3、b4为偏移量，为权重更新后的词级多类别序列特征，为权重更新后的特征级多类别序列特征，，w5、w6、w7、w8、w9、w10为可训练的矩阵参数，t表示转置矩阵；
90、答案的结构性关键上下文特征表示如下：
91、
92、
93、
94、
95、
96、其中，为归一化前的答案词级类别序列特征权重，为归一化前的答案特征级多类别序列特征权重，b5、b6、b7、b8为偏移量，为权重更新后的词级多类别序列特征，为权重更新后的特征级多类别序列特征，，w11、w12、w13、w14、w15、w16为可训练的矩阵参数；
97、步骤b34：采用交互注意力机制，融合问题的结构性关键上下文特征和答案的结构性关键上下文特征，最后将融合后的特征拼接，得到最终的问答对结构性融合特征xfinal：
98、问答对结构性融合特征xfinal表示如下：
99、
100、
101、其中，为比率系数，，为平均池化函数，为激活函数，w17、w18、w19、w20为可训练矩阵参数，b9、b10为偏移量。
102、进一步地，所述步骤b4具体包括以下步骤：
103、步骤b41：为获取不受干扰的问答对特征，冻结模型m1的参数，得到支持集ss经过m1后输出的元学习问答对结构性融合特征，采取元学习框架，将其作为模型m2输入的元特征vmeta；
104、其中，元特征vmeta的表示如下：
105、
106、
107、其中，表示冻结网络，，为冻结后的模型m1；
108、步骤b42：将步骤b41得到的元特征vmeta投影到高维子空间，提取多维的元信息特征，并通过注意力机制得到问答对的元信息交互特征；
109、问答对的元信息交互特征表示如下：
110、
111、其中，，为投影函数，为注意力函数；
112、步骤b43：提取步骤b4中得到的元信息交互特征中 topk的强激活元素，并通过线性网络得到问答对的元空间去偏差特征vdebias，并以此抽取问答对的元空间偏差特征vbias；
113、问答对的元空间去偏差特征vdebias和元空间偏差特征vbias表示如下：
114、
115、
116、
117、其中，为温度系数，表示最高的 k个激活元素，为提取强激活元素后的元信息交互特征向量，w21为可训练的矩阵参数，b11为偏移量。
118、进一步地，所述步骤b5具体包括以下步骤：
119、步骤b51：获取步骤b34中的问答对结构性融合特征xfinal作为第一部分正样本，获取步骤b43中的问答对元空间去偏差特征vdebias作为第二部分正样本，分别利用softmax函数进行归一化处理，得到问答对结构性融合特征的匹配分数和问答对元空间去偏差特征的匹配分数，进行多正样本间的对比学习，以学习样本间的相似特征，计算出对比损失loss1；
120、
121、
122、
123、
124、其中，表示交叉熵损失，为kl散度损失，表示kl散度函数，α为可调节权重，w22、w23为可训练的矩阵参数，b12、b13为偏移量；
125、步骤b52：将步骤b34中得到的问答对结构性融合特征xfinal作为基线样本，将步骤b43中得到的问答对元空间去偏差特征vdebias作为正样本，将步骤b43中得到的问答对元空间偏差特征vbias作为负样本，进行正负样本间对比学习，以拉开正负样本间的偏差距离，计算出对比损失loss2；
126、
127、
128、其中，为余弦相似度函数，τ为温度系数，为样本间的相似度计算，n为样本数；
129、步骤b53：将步骤b51中计算出的对比损失loss1和步骤b52中计算出的对比损失loss2进行联合损失计算，得到最终的联合损失loss；
130、
131、其中，为可调节权重。
132、进一步地，所述步骤c具体包括以下步骤：
133、步骤c1：设定批次大小和训练轮数，每完成一定数量的训练轮次后保存一次模型状态，即检查点；
134、步骤c2：选取map、mrr、p@1作为验证指标，在验证集vs上比较不同检查点的模型表现，选择表现最优的模型状态作为最终的检查点checkpointbest；将选出的最终检查点checkpointbest在测试集ds上进行测试。
135、本发明还提供了一种基于多视角图对比学习和元学习特征净化网络的答案选择系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
136、与现有技术相比，本发明具有以下有益效果：本发明提供了一种基于多视角图对比学习和元学习特征净化网络的答案选择方法及系统，该方法及系统利用元学习框架构建特征净化网络，并融合应用对比学习来构建模型，从而提高了答案选择的准确性，且具有较强的泛化能力。通过元学习（meta-learning）框架，本发明能够在不同领域和数据分布上快速适应，提高了模型的泛化能力。元学习的引入使模型能够从多个领域中学习如何学习，进而提高在新领域上的学习效率和效果。利用元学习框架构建的特征净化网络可以提取并剔除融合了多种知识源后特征内的噪声信息，有效地解决了现有技术在引入多维知识后反而模糊了关键节点的问题，弱化了正确推理路径的推导，有效地提高了特征的纯净度和可用性，更加准确地反映了数据的本质属性。在特征净化之后，通过对比学习训练模型进一步提高了模型对特征的理解和利用能力。对比学习通过最大化相似样本之间的相似性和增大不同样本之间的差异，进一步增强了模型的判别能力。
1.一种基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，所述步骤a具体包括以下步骤：
3.根据权利要求1所述的基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，所述步骤b具体包括以下步骤：
4.根据权利要求3所述的基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，所述步骤b1具体包括以下步骤：
5.根据权利要求4所述的基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，所述步骤b2具体包括以下步骤：
6.根据权利要求5所述的基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，所述步骤b3具体包括以下步骤：
7.根据权利要求6所述的基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，所述步骤b4具体包括以下步骤：
8.根据权利要求7所述的基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，所述步骤b5具体包括以下步骤：
9.根据权利要求1所述的基于多视角图对比学习和元学习特征净化网络的答案选择方法，其特征在于，所述步骤c具体包括以下步骤：
10.一种基于多视角图对比学习和元学习特征净化网络的答案选择系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-9任一项所述的方法步骤。
