文本关系抽取方法、装置、存储介质及计算机设备与流程

1.本申请涉及信息抽取技术领域，具体涉及一种文本关系抽取方法、装置、存储介质及计算机设备。


背景技术：

2.信息抽取是自然语言理解的核心任务之一。在信息抽取中，关系抽取又是最重要的子任务之一。关系抽取旨在从包含一个实体对的文本中识别出该实体对的语义关系。
3.传统的关系抽取主要研究如何设计有效的特征。在近几年，随着深度学习的兴起，深度关系抽取得到了广泛的研究。但当前的研究主要集中在如何设计有效的神经网络架构，从而自动从文本和实体中抽取有效的关系判别信息。发明人将之前的研究归纳为“特征层面”和“模型层面”的研究。但由于各种不可抗拒因素（如数据规模受限，数据噪声以及最优模型架构难以获得等），当前的关系抽取从模型层面或特征层面很难得到显著的性能提升。


技术实现要素：

4.本申请实施例提供一种文本关系抽取方法、装置、存储介质及计算机设备，可以通过问答系统模型来验证关系抽取模型的输出结果，有效提高模型的关系抽取性能，提高预测语义关系的准确率。
5.第一方面，提供一种文本关系抽取方法，所述方法包括：获取目标实体对的目标文本和关系集合；通过训练好的关系抽取模型预测出所述关系集合中每个关系对应的初始得分；根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系；将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分；根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分；根据所述第一更新后得分，预测所述目标实体对在所述目标文本中的语义关系。
6.第二方面，提供一种文本关系抽取装置，所述装置包括：获取单元，用于获取目标实体对的目标文本和关系集合；第一预测单元，用于通过训练好的关系抽取模型预测出所述关系集合中每个关系对应的初始得分；选择单元，用于根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系；计算单元，用于将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分；更新单元，用于根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分；第二预测单元，用于根据所述第一更新后得分，预测所述目标实体对在所述目标文本中的语义关系。
7.第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的文本关系抽
取方法中的步骤。
8.第四方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的文本关系抽取方法中的步骤。
9.本申请实施例通过获取目标实体对的目标文本和关系集合；然后通过训练好的关系抽取模型预测出关系集合中每个关系对应的初始得分；然后根据关系集合中每个关系对应的初始得分，从关系集合中选择出候选关系；然后将候选关系输入训练好的问答系统模型进行处理，以得到候选关系中每个候选关系对应的问答得分；然后根据候选关系中每个候选关系对应的初始得分和问答得分，更新候选关系中所有候选关系的得分，以得到候选关系中每个候选关系对应的第一更新后得分；最后根据第一更新后得分，预测目标实体对在目标文本中的语义关系。本申请实施例通过问答系统模型来验证关系抽取模型的输出结果，有效提高模型的关系抽取性能，提高预测语义关系的准确率。
附图说明
10.为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1a为申请实施例提供的文本关系抽取方法的应用场景示意图。
12.图1b为本申请实施例提供的文本关系抽取方法的第一流程示意图。
13.图1c为本申请实施例提供的第一pr曲线示意图。
14.图1d为本申请实施例提供的第二pr曲线示意图。
15.图1e为本申请实施例提供的第三pr曲线示意图。
16.图1f为本申请实施例提供的第四pr曲线示意图。
17.图2为本申请实施例提供的文本关系抽取方法的第二流程示意图。
18.图3a为本申请实施例提供的区块链网络的应用架构示意图。
19.图3b为本申请实施例提供的区块链网络31中区块链的可选的结构示意图。
20.图3c为本申请实施例提供的区块链网络31的功能架构示意图。
21.图4为本申请实施例提供的文本关系抽取装置的结构示意图。
22.图5为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
23.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
24.本申请实施例提供一种文本关系抽取方法、装置、计算机设备和存储介质。具体地，本申请实施例的文本关系抽取方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。
25.机器学习(machine learning, ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
26.深度学习（deep learning, dl）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。
27.神经网络（neural network，nn），在机器学习和认知科学领域的一种模仿生物神经网络结构和功能的深度学习模型。
28.信息抽取（information extraction），即从自然语言文本中，抽取出特定的事件或事实信息，帮助用户将海量内容自动分类、提取和重构。该特定的事件或事实信息通常包括实体（entity）、关系（relation）、事件（event）。例如，从新闻中抽取时间、地点、关键人物，或者从技术文档中抽取产品名称、开发时间、性能指标等。由于信息抽取能从自然语言中抽取出信息框架和用户感兴趣的事实信息，无论是在知识图谱、信息检索、问答系统还是在情感分析、文本挖掘中，信息抽取都具有广泛应用。信息抽取主要包括三个子任务：实体抽取与链指，关系抽取，以及事件抽取。其中，实体抽取与链指，即为命名实体识别。关系抽取，即为三元组(triple)抽取，主要用于抽取实体间的关系。事件抽取，相当于一种多元关系的抽取。
29.关系抽取（relation extraction，re），给定一个实体对和包含该实体对的文本，旨基于文本判断该实体对的语义关系。例如，给定实体对（m国，国家总统）和文本（“总统候选人a在最近的大选中击败了总统候选人b，成为m国的下一任总统
…”
），用户希望识别出实体“总统候选人a”和“m国”之间的关系为“国家总统”。在关系抽取中，通常会预定义好一组关系，如“国家总统”。
30.关系分类（relation classification，rc），关系抽取的一种建模方式，即将关系抽取转换为分类问题，其中每个关系对应一个类别。
31.问答系统（question answering，qa），给定一段文本和一个问题，问答系统能从该文本中识别出文本的答案位置。
32.知识库补全（knowledge base completion，kbc），在本申请实施例中是指特制给定一个头实体和关系，预测出正确的尾实体。
33.本申请实施例采用机器学习的方式来训练关系提取模型和问答系统模型，然后通过训练好的问答系统模型来验证训练好的关系抽取模型的输出结果，有效提高模型的关系抽取性能，提高预测语义关系的准确率。
34.请参阅图1a，图1a为本申请实施例提供的文本关系抽取方法的应用场景示意图。以该文本关系抽取方法由计算机设备执行为例，其中，该计算机设备可以为终端或者服务器等设备。该文本关系抽取方法在由计算机设备执行的过程中，包含了关系提取模型和问答系统模型的训练过程和利用关系提取模型和问答系统模型预测目标实体对在目标文本中的语义关系的预测过程。在进行模型的训练时，计算机设备根据第一训练样本集合对关系抽取模型进行学习训练，以得到训练好的关系抽取模型；以及根据第二训练样本集合对
问答系统模型进行学习训练，以得到训练好的问答系统模型。在进行模型的检测时，用户可以通过计算机设备中安装的客户端、浏览器客户端或即时通信客户端上传待预测的目标实体对，计算机设备获取用户上传的待预测的目标实体对后，进一步获取目标实体对的目标文本和关系集合，然后通过训练好的关系抽取模型预测出关系集合中每个关系对应的初始得分；然后根据关系集合中每个关系对应的初始得分，从关系集合中选择出候选关系；然后将候选关系输入训练好的问答系统模型进行处理，以得到候选关系中每个候选关系对应的问答得分；然后根据候选关系中每个候选关系对应的初始得分和问答得分，更新候选关系中所有候选关系的得分，以得到候选关系中每个候选关系对应的第一更新后得分；最后根据第一更新后得分，预测目标实体对在目标文本中的语义关系。本申请实施例通过问答系统模型来验证关系抽取模型的输出结果，有效提高模型的关系抽取性能，提高预测语义关系的准确率。
35.需要说明的是，关系抽取模型和问答系统模型的训练过程、实际预测过程可以在服务器中完成，也可以在终端中完成。当模型的训练过程、实际预测过程都在服务器中端完成时，需要使用训练好的关系抽取模型和问答系统模型时，可以将待预测的目标实体对输入到服务器，服务器实际预测完成后，将得到的预测结果发送至终端进行显示。
36.当模型的训练过程、实际预测过程都在终端中完成时，需要使用训练好的关系抽取模型和问答系统模型时，可以将待预测的目标实体对输入到终端，终端实际预测完成后，终端将预测结果进行显示。
37.当模型的训练过程在服务器中完成，模型的实际预测过程在终端中完成时，需要使用训练好的关系抽取模型和问答系统模型时，可以将待预测的目标实体对输入到终端，终端实际预测完成后，终端将预测结果进行显示。可选的，可以将服务器中训练好的模型文件（model文件）移植到终端上，若需要对输入待预测的目标实体对进行预测，则将待预测的目标实体对输入到训练好的模型文件（model文件），通过计算即可得到预测结果。
38.以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。
39.本申请各实施例提供了一种文本关系抽取方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以文本关系抽取方法由服务器执行为例来进行说明。
40.为了提升关系抽取的性能，本申请实施例从结果层面出发，提出了一种基于问答系统作为验证的文本关系抽取方法。本申请实施例提出的模型框架能够应用到任何现有的关系抽取任务中，且无需提供额外的背景数据。
41.请参阅图1b至图1f，图1b为本申请实施例提供的文本关系抽取方法的第一流程示意图，图1c至图1f为本申请实施例提供的不同基线模型以及不同候选关系选择策略下的pr曲线。假定关系抽取模型和问答系统模型都已经训练好。给定一个目标实体对和包含该目标实体对的目标文本，本申请实施例通过该文本关系抽取方法预测该目标实体对在目标文本中的语义关系的具体流程可以如下：步骤101，获取目标实体对的目标文本和关系集合。
42.其中，目标实体对包括头实体和尾实体。例如，用户输入的目标实体对（m国，总统候选人a），则头实体为m国，尾实体为总统候选人a，给定的目标文本为上
ꢀ“
总统候选人a在
最近的大选中击败了总统候选人b，成为m国的下一任总统
…”
。关系集合为预先给定的多个关系。
43.步骤102，通过训练好的关系抽取模型预测出所述关系集合中每个关系对应的初始得分。
44.其中，在获取目标实体对的目标文本和关系集合后，可以通过训练好的关系抽取模型预测出关系集合中每个关系对应的初始得分。
45.步骤103，根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系。
46.其中，根据所述关系集合中每个关系对应的初始得分选择部分的候选关系用于后续的验证。通常而言，训练好的关系抽取模型具有一定的判别能力，能将绝大多数错误的关系预测出较低的初始得分。比如，选择初始得分最高的前α%以及初始得分最低的后β%对应的关系作为候选关系进行后续的验证。比如，初始得分最高的前k个关系通常包含正确关系，可以将分数最高的前k个关系作为候选关系，以将候选关系用于下一步的验证。
47.可选的，所述根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系，包括：从所述关系集合中选择初始得分最高的前α%以及初始得分最低的后β%对应的关系作为候选关系，其中α和β均为0到100之间的自然数。
48.例如，在第一种候选关系选择策略中，首先，将关系集合中的所有关系输入关系抽取模型，以预测关系集合中每个关系对应的初始得分。然后，选择初始得分最高的前α%以及初始得分最低的后β%对应的关系作为候选关系进行后续的验证。例如，α取值范围为0至100，比如α为10；β取值范围为0至100，比如β为20。上述举例不作为对本申请实施例中α和β的取值的限定。
49.可选的，所述根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系，包括：从所述关系集合中选择初始得分最高的前k个关系作为候选关系，其中k为大于0的正整数。
50.例如，k=3，则选择关系抽取模型预测的初始得分最高的前3个关系作为候选关系用于后续验证。
51.步骤104，将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分。
52.可选的，所述将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分，包括：基于所述目标实体对的头实体和所述候选关系，构建所述候选关系中每个候选关系对应的问题；基于所述构建的问题和所述目标实体对的目标文本，通过所述训练好的问答系统模型预测所述目标实体对的尾实体是否是与所述问题匹配的答案，以得到所述候选关系中每个候选关系对应的问答得分。
53.首先，基于候选关系中的每个关系，构建候选关系中的每个关系对应的问题，以将构建的问题作为问答系统模型的输入参数。具体地，对于目标实体对的头实体e和关系r，可
以直接构建问题：“e的r是
…”
。例如，假定候选关系中包含“国家总统”和“位于”两个关系。对于目标实体对（m国，总统候选人a），构建的问题是：“m国的国家总统是
…”
以及“m国位于
…”
。
54.其次，基于构建的问题和目标实体对的目标文本作为上下文，通过训练好的问答系统模型预测目标实体对的尾实体是否是与问题匹配的答案，以得到所述候选关系中每个候选关系对应的问答得分。例如，当上下文为“总统候选人a在最近的大选中击败了总统候选人b，成为m国的下一任总统
…”
，且问题为“m国的国家总统是
…”
，问答系统模型能够以较高的概率将尾实体字符串“总统候选人a”作为答案，即为问答系统模型会给字符串片段“总统候选人a”较高的问答得分。但是，当问题为“m国位于
…”
时，问答系统模型则不会将“总统候选人a”作为答案，也即是，问答系统模型会给字符串片段“总统候选人a”较低的问答得分。
55.其中，在问答系统模型中，目标文件作为上下文的表示。
56.其中，问答系统模型的工作原理，旨在判断给定的上下文是否能被问题所回答且给出答案的位置。本申请实施例将问答系统模型作为关系抽取模型的输出结果的验证模型。在关系抽取的任务中，为了训练和使用问答系统模型，需要构建问题以及训练样本。
57.其中，在问答系统模型的问题构建过程中，给定目标实体对和上下文以及一个候选关系，利用目标实体对中的头实体和候选关系简单组合构成问题。这样做的原因有两个：一是能降低人工构建问题的难度，二是通过这种方式构建的问题，能一定程度判定哪些候选关系是错误的。以目标实体对（m国，总统候选人a）为例，上下文为“总统候选人a在最近的大选中击败了总统候选人b，成为m国的下一任总统
…”
。例如，当候选关系为“国家总统”时，构建的问题为：“m国的国家总统是
…”
，该问题是合法的，且能从上下文中找到答案为“总统候选人a”，即目标实体对的尾实体，因此尾实体“总统候选人a”作为答案的得分将非常高。例如，当候选关系为“位于”时，相应的问题为“m国位于
…”
，该问题也是合法的，但是无法从上下文中找到正确的答案，因此尾实体“总统候选人a”作为答案的得分将非常低。例如，当候选关系为“出生于”时，相应的问题为“m国出生于
…”
，该问题本身是不合法的，因此更不可能在上下文中找到答案。因此，采用头实体和候选关系简单拼接的问题构建方式既简单又有效，且当候选关系错误时，问题本身就是不合法的，这使得问答系统模型很容易验证该候选关系是错误的。
58.步骤105，根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分。
59.可选的，根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分，包括：基于第一预设公式对所述候选关系中每个候选关系对应的初始得分和问答得分进行更新处理，以得到所述候选关系中每个候选关系对应的第一更新后得分。
60.其中，在进行候选关系的分数融合时，给定待预测的目标实体对和包含该目标实体对的目标文本（上下文），通过训练好的关系抽取模型将预测关系集合中每个关系的得分，记为{（r1，p1）,（r2，p2），
……
}。针对前面介绍的两种候选关系选择策略，分别给出相应的分数融合方案。
61.例如，在第一种候选关系选择策略中，首先，将关系集合中的所有关系输入关系抽取模型，以预测关系集合中每个关系对应的初始得分。然后，选择关系集合中初始得分最高的前α%以及初始得分最低的后β%对应的关系作为候选关系进行后续的验证。例如，α取值范围为0至100，比如α为10；β取值范围为0至100，比如β为20。上述举例不作为对本申请实施例中α和β的取值的限定。对于被选中的关系（候选关系）r
j
，对应关系抽取模型将预测该候选关系r
j
的得分为p
j
，问答系统模型预测的得分为（p
j
,q
a
），则候选关系的更新后分数（第一更新后得分）p
j’可以采用以下第一预设公式进行计算：；其中，λ为平衡关系抽取模型和问答系统模型的平衡因子，λ＞0，比如平衡因子λ=10。
62.例如，在第二种候选关系选择策略中，选择关系抽取模型预测的初始得分最高的前k个关系作为候选关系用于后续验证。例如，k=3，则选择关系抽取模型预测得分最高的前3个关系作为候选关系用于后续验证。对于被选中的关系（候选关系）r
j
，对应关系抽取模型将预测该候选关系r
j
的得分为p
j
，问答系统模型预测的得分为（p
j
,q
a
），则该候选关系的最终得分（第一更新后得分）p
j’可以采用以下第一预设公式进行计算：；其中，λ＞0为平衡关系抽取模型和问答系统模型的平衡因子。
63.步骤106，根据所述第一更新后得分，预测所述目标实体对在所述目标文本中的语义关系。
64.可选的，所述根据所述第一更新后得分，预测所述目标实体对在目标文本中的语义关系，包括：根据所述第一更新后得分，对所有候选关系进行得分排序；从得分排序后的所述所有候选关系中选择得分大于给定阈值的关系，作为所述目标实体对在目标文本中的语义关系。
65.通过上述的分数融合操作，所述候选关系中所有候选关系的得分都进行了更新。需要对所有候选关系更新后的得分进行排序，选择所有候选关系更新后的得分中得分大于给定阈值的候选关系作为最终预测的目标实体对在目标文本中的语义关系。例如，给定阈值可以为0.7，0.8，或者最大的p
k’。
66.例如，可以采用最常用的纽约时报（new york times，nyt）数据集来评估本申请实施例提出的模型框架。nyt数据集是关于远程监督关系抽取任务的广泛使用的数据集。该数据集是通过将freebase（一个由元数据组成的大型合作知识库）中的关系与纽约时报语料库对齐而生成的。例如，训练集合包括53种不同的关系，522611个不同的句子以及281270个不同的实体对。测试集合包括172448个不同的句子，96678个不同的实体对。
67.例如，可采用5个关系抽取模型作为基线。其中，基线(baseline)是非常基本的模型或解决方案。通常会创建一个基线，然后尝试制作更复杂的解决方案，以获得更好的结果。本申请中的基线为非常基本的模型。这五个关系抽取模型分别是cnn att，pcnn att，cnn hatt，pcnn hatt，以及reside模型。其中，cnn att和pcnn att分别采用卷积网络cnn和
分段卷积网络pcnn作为编码器来编码文本的信息，并采用句子级别的注意力机制来缓解噪声对关系预测的影响。cnn hatt和pcnn hatt同样采用卷积网络或分段卷积网络作为编码器来编码文本的信息。但与前两个模型（cnn att和pcnn att）不同的是，这两个模型（cnn hatt和pcnn hatt）采用层次注意力机制来学习文本的有效特征以及缓解噪声的影响。reside模型则采用图神经网络来编码文本的句法信息，从而学习文本的表示。
68.例如，表 1、表2以及图1c至图1f给出了本申请实施例提出的模型框架和基线模型的性能对比，其中图1c至图1f示出了不同基线模型以及不同候选关系选择策略下的精确率
‑
召回率曲线。在本申请实施例中，采用如下的评估准则：精确率
‑
召回率曲线（pr曲线），auc值以及precision@n。其中，由于可以选择不同的阈值，因此可以得到不同的精确率和召回率。当从0到1遍历阈值时，可以得到对应的pr曲线。进一步地，可以得到pr曲线下的面积，即auc值，auc值越大的分类器，正确率越高。precision@n表示测试集合中得分最高的前n个预测对象对应的精确率。在所有结果展示中，“valstrgy i”表示第一种候选关系选择策略，“valstrgy ii”表示第二种候选关系选择策略。所有结果采用百分比形式。
69.示例性的，不同模型的auc值如表1所示：表1示例性的，不同模型及验证测策略的precision@n值如表2所示：表2例如，从表 1、表2以及图1c至图1f展示的结果来看，得出以下结论：首先，将问答系统模型作为关系抽取任务的验证后，可以有效提高所有模型的性能。这表明本申请实施例基于问答系统模型的模型框架对所有基准模型均有效。这是因为在验证过程中纠正了关系抽取模型中一些错误的预测。
70.其次，cnn / pcnn att / hatt使用cnn或其变体作为句子编码器，而reside使用gnn从句子中学习特征。cnn和gnn是深度学习中比较有代表性的两种神经网络结构， cnn和gnn从不同的角度学习句子中的关系相关的特征。使用本申请实施例提供的模型框架，所有基线的性能都得到了成功的改善，这表明验证模型可以学习两种基于cnn / gnn的分类器都无法捕获的额外的特征，与抽取模型形成了天然的互补。
71.最后，从表1中可看出使用策略i之后的改进比策略ii更明显。这表明在本申请实施例中，初始得分最高的前α%对应的关系和初始得分最低的β%对应的关系作为候选关系的验证功能更可靠。特别地，pcnn hatt valstrgy i在nyt数据集上获得了最好的结果。但值得说明的是，尽管策略ii稍逊于策略i，但策略i花费的验证时间要少得多，因为策略i不需要预先计算每个实体对的所有关系。
72.本申请实施例将问答系统模型作为验证手段引入到关系抽取任务中。为了对关系抽取的结果验证，本申请实施例提出了两种候选关系选择策略。给定一个目标实体对的目标文本（上下文）以及候选关系，本申请实施例利用目标实体对中的头实体和候选关系简单组合构成问题，既高效且能有效帮助问答系统模型识别错误候选关系。此外，还通过有效的分数融合策略来更新关系抽取模型和问答系统模型的得分，有效提高模型的关系抽取性能。
73.本申请实施例提供的文本关系抽取方法可以应用于任何关系抽取任务、知识库补全以及文本理解应用中，有效提高相关应用的关系抽取性能，从而提升下游应用的用户体验。提出的模型框架还能应用到其他信息抽取任务下。例如，当需要对知识库补全或slot filing任务进行性能提升时，可以反过来将关系抽取模型应用到这些任务中作为验证模型。
74.上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
75.请参阅图2，图2为本申请实施例提供的文本关系抽取方法的第二流程示意图。该文本关系抽取方法的具体流程可以如下：步骤201，根据第一训练样本集合对所述关系抽取模型进行学习训练，以得到所述训练好的关系抽取模型。
76.可选的，所述根据第一训练样本集合对所述关系抽取模型进行学习训练，以得到所述训练好的关系抽取模型，包括：获取包含有多个第一样本的第一训练样本集合，其中所述第一样本包括第一样本正负特性、第一样本实体对、所述第一样本实体对的文本和候选关系；根据所述第一训练样本集合中每一所述第一样本的所述第一样本正负特性、所述第一样本实体对的文本和候选关系，计算所述关系抽取模型的损失函数；基于梯度下降法对所述关系抽取模型的损失函数进行训练，以得到所述训练好的关系抽取模型。
77.在本申请实施例中，分别需要训练关系抽取模型和问答系统模型。
78.其中，关系抽取模型的损失函数l
re
可以表示为如下公式（1）：（1）；其中，k表示训练集中的第k个样本，y
k
表示第k个样本的正负特性，y
k
=1表示该第k
个样本为正样本，y
k
=0则表示该第k个样本为负样本。s
k
是第k个样本中实体对的上下文表示，s
k
通常为一个m维的向量。r
k
是该第k个样本中候选关系的特征向量。函数p(s
k
, r
k
)表示实体对的上下文和候选关系的匹配模型，即判断该候选关系是否是正确的。该匹配模型的输出得分位于0到1之间。关系抽取模型中的待学习参数主要是函数p以及s
k
对应的编码器以及关系的特征向量r
k
。
79.步骤202，根据第二训练样本集合对所述问答系统模型进行学习训练，以得到所述训练好的问答系统模型。
80.其中，在问答系统模型的训练样本构建过程中，为了训练问答系统模型用于候选关系的验证，需要构建问答系统模型的训练样本。其中，在关系抽取数据集中，关系抽取数据集的一个样本可表示为（实体对，上下文，候选关系）。当候选关系是正确的时候，该样本即为正样本；当候选关系是错误的时候，该样本即为负样本。基于此，关系抽取样本可以很容易转换为问答系统模型的训练样本。在本申请实施例中，一个训练样本可表示为（问题，上下文，答案，是否可答）。其中，问题基于头实体和候选关系构建，答案即为实体对中的尾实体。当候选关系是正确的时候，是否可答为“真”，否则为假。
81.在本申请实施例中，问答系统模型的选择需要满足两点：一是能判定问题是否可答，二是能为每个上下文中的每个字符串片段预测其作为答案的分数。因此，本申请实施例在预训练模型albert的基础上搭建问答系统模型。albert模型的作用是为上下文和问题提供编码作用，即将一段文本表示为低维稠密的分布式向量。使用albert预训练模型的优点在于可以有效利用通用语料中的知识，从而提高问答系统的准确率。
82.其中，预训练模型albert是一个精简的bert模型。预训练模型albert的参数量远远少于传统的bert架构。albert通过两个参数削减技术克服了扩展预训练模型面临的主要障碍：第一，对嵌入参数化进行因式分解。预训练模型albert将大的词汇嵌入矩阵分解为两个小的矩阵，从而将隐藏层的大小与词汇嵌入的大小分离开来，这种分离使得隐藏层的增加更加容易，同时不显著增加词汇嵌入的参数量；第二，跨层参数共享，这一技术可以避免参数量随着网络深度的增加而增加。两种技术都显著降低了bert的参数量，同时不对其性能造成明显影响，从而提升了参数效率。这些参数削减技术还可以充当某种形式的正则化，可以使训练更加稳定，而且有利于泛化。
83.可选的，所述根据第二训练样本集合对所述问答系统模型进行学习训练，以得到所述训练好的问答系统模型，包括：获取包含有多个第二样本的第二训练样本集合，其中所述第二样本包括第二样本实体对、所述第二样本实体对的上下文、所述第二样本实体对中头实体在所述上下文中的起始位置的得分和所述第二样本实体对中尾实体在所述上下文中的结束位置的得分；根据所述第二训练样本集合中每一所述第二样本的第二样本实体对、所述第二样本实体对的上下文、所述第二样本实体对中头实体在所述上下文中的起始位置的得分和所述第二样本实体对中尾实体在所述上下文中的结束位置的得分，计算所述问答系统模型的损失函数；基于梯度下降法对所述问答系统模型的损失函数进行训练，以得到所述训练好的问答系统模型。
84.例如，基于预训练模型albert构建的问答系统模型，该问答系统模型的损失函数
l
qa
可以表示为如下公式（2）：（2）；其中，q表示问答系统模型的训练样本集合，φ∈q表示某个名为φ的训练样本属于训练样本集合q。表示该样本φ是否可答的损失函数，则表示问答系统模型将尾实体作为正确答案的损失函数。具体地，和示为如下公式（3）和公式（4）：（3）；（4）；其中，f
φ
取值为0或1，表示样本φ中的问题是否可答。l
s
表示尾实体在上下文中的起始位置，l
e
表示尾实体在上下文中的结束位置。表示正确答案在上下文中的起始位置为l
s
的得分，则表示正确答案在上下文中的结束位置为l
e
的得分。
85.其中，为了便于区分，将用于训练关系抽取模型的训练样本集合定义为第一训练样本集合，其包含的训练样本定义为第一样本。将用于训练问答系统模型的训练样本集合定义为第二训练样本集合，其包含的训练样本定义为第二样本。例如，第一训练样本集合与第二训练样本集合可以为相同的训练样本集合，也可以为完成不相同或者部分不相同的训练样本集合。本申请实施例对二者不做限定。在本申请实施例的训练过程中，需要分别训练关系抽取模型和问答系统模型的目标函数。和绝大多数机器学习模型一样，本申请实施例可以采用小批量的梯度下降（mini
‑
batch sgd）算法进行参数学习。在本申请实施例的预测过程中，当参数学习好后，给定新的待预测的目标实体对和包含该目标实体对的目标文本（上下文），则可以采用本申请实施例提出的模型框架（训练好的关系抽取模型和问答系统模型）进行关系抽取，以预测出目标实体对在目标文本中的语义关系。
86.步骤203，获取目标实体对的目标文本和关系集合。其中，步骤203的具体描述请参步骤101，此处不再赘述。
87.步骤204，通过训练好的关系抽取模型预测出所述关系集合中每个关系对应的初始得分。其中，步骤204的具体描述请参步骤102，此处不再赘述。
88.步骤205，根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系。其中步骤205的具体描述请参步骤103，此处不再赘述。
89.可选的，步骤205可通过步骤2051或者步骤2052来实现，具体为：步骤2051，从所述关系集合中选择初始得分最高的前α%以及初始得分最低的后β%对应的关系作为候选关系，其中α和β均为0到100之间的自然数。
90.步骤2052，从所述关系集合中选择初始得分最高的前k个关系作为候选关系，其中k为大于0的正整数。
91.步骤206，将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分。其中，步骤206的具体描述请参步骤104，此处不再赘述。
92.可选的，步骤206可以通过步骤2061至步骤2062来实现，具体为步骤2061，基于所述目标实体对的头实体和所述候选关系，构建所述候选关系中
每个候选关系对应的问题；步骤2062，基于所述构建的问题和所述目标实体对的目标文本，通过所述训练好的问答系统模型预测所述目标实体对的尾实体是否是与所述问题匹配的答案，以得到所述候选关系中每个候选关系对应的问答得分。
93.步骤207，根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分。其中，步骤207的具体描述请参步骤105，此处不再赘述。其中，在步骤207之后，可以根据实际应用来选择执行步骤208或者步骤209。
94.可选的，根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分，包括：基于第一预设公式对所述候选关系中每个候选关系对应的初始得分和问答得分进行更新处理，以得到所述候选关系中每个候选关系对应的第一更新后得分。
95.其中，在进行分数融合时，给定待预测的目标实体对和包含该目标实体对的目标文本（上下文），通过训练好的关系抽取模型将预测关系集合中每个关系的得分，记为{（r1，p1）,（r2，p2），
……
}。针对前面介绍的两种候选关系选择策略，分别给出相应的分数融合方案。
96.在第一种候选关系选择策略中，首先，将关系集合中的所有关系输入关系抽取模型，以预测关系集合中每个关系对应的初始得分。然后，选择关系集合中初始得分最高的前α%以及初始得分最低的后β%对应的关系作为候选关系进行后续的验证。例如，α取值范围为0至100，比如α为10；β取值范围为0至100，比如β为20。上述举例不作为对本申请实施例中α和β的取值的限定。对于被选中的关系（候选关系）r
j
，对应关系抽取模型将预测该候选关系r
j
的得分为p
j
，问答系统模型预测的得分为（p
j
,q
a
），则候选关系的更新后分数（第一更新后得分）p
j’可以采用以下第一预设公式进行计算：；其中，λ为平衡关系抽取模型和问答系统模型的平衡因子，λ＞0，比如平衡因子λ=10。
97.例如，在第二种候选关系选择策略中，选择关系抽取模型预测的初始得分最高的前k个关系作为候选关系用于后续验证。例如，k=3，则选择关系抽取模型预测得分最高的前3个关系作为候选关系用于后续验证。对于被选中的关系（候选关系）r
j
，对应关系抽取模型将预测该候选关系r
j
的得分为p
j
，问答系统模型预测的得分为（p
j
,q
a
），则该候选关系的最终得分（第一更新后得分）p
j’可以采用以下第一预设公式进行计算：；其中，λ＞0为平衡关系抽取模型和问答系统模型的平衡因子。
98.步骤208，根据所述第一更新后得分，预测所述目标实体对在所述目标文本中的语义关系。其中，步骤208的具体描述请参步骤106，此处不再赘述。
99.可选的，所述根据所述第一更新后得分，预测所述目标实体对在目标文本中的语
义关系，包括：根据所述第一更新后得分，对所有候选关系进行得分排序；从得分排序后的所述所有候选关系中选择得分大于给定阈值的关系，作为所述目标实体对在目标文本中的语义关系。
100.步骤209，获取所述关系集合中除所述候选关系之外的其余未被选中的关系对应的初始得分。
101.例如，由于（p
j
,q
a
）通常小于1，因此任何被选中的候选关系的得分都被一定程度进行了缩小。对于那些用于验证的其余未被选中的关系p
k
，也需要进行一定程度的缩小，因此还需获取所述关系集合中除所述候选关系之外的其余未被选中的关系对应的初始得分，用于后续计算其余未被选中的关系第二更新后得分。
102.步骤310，基于第二预设公式对所述其余未被选中的关系对应的初始得分进行更新处理，以得到所述其余未被选中的关系对应的第二更新后得分。
103.例如，在第一种候选关系选择策略中，由于（p
j
,q
a
）通常小于1，因此任何被选中的候选关系的得分都被一定程度进行了缩小。对于那些用于验证的其余未被选中的关系p
k
，即为关系集合中除初始得分最高的前α%以及初始得分最低的后β%对应的关系之外的其余未被选中的关系，也需要进行一定程度的缩小，对于其余未被选中的关系的更新后分数（第二更新后得分）p
k’可以采用以下第二预设公式进行计算：；其中，c为常数，c的取值范围为0至1，比如c取值为0.9。
104.例如，在第二种候选关系选择策略中，由于（p
j
,q
a
）通常小于1，因此任何被选中的候选关系的得分都被一定程度进行了缩小。对于那些用于验证的其余未被选中的关系p
k
，即为关系集合中除初始得分最高的前k个关系之外的其余未被选中的关系，也需要进行一定程度的缩小，则其余未被选中的关系的最终得分（第二更新后得分）p
k’可以采用以下第二预设公式进行计算：；其中，c为常数，c的取值范围为0至1，比如c取值为0.9。
105.步骤311，根据所述第一更新后得分和所述第二更新后得分，预测所述目标实体对在目标文本中的语义关系。
106.可选的，所述根据所述第一更新后得分和所述第二更新后得分，预测所述目标实体对在目标文本中的语义关系，包括：根据所述第一更新后得分和所述第二更新后得分，对所述关系集合中的所有关系进行得分排序；从得分排序后的所述关系集合中的所有关系中选择得分大于给定阈值的关系，作为所述目标实体对在目标文本中的语义关系。
107.通过上述的分数融合操作，关系集合中的所有关系的得分都进行了更新。需要对所有关系更新后的得分进行排序，选择所有关系更新后的得分中得分大于给定阈值的关系作为最终预测的目标实体对在目标文本中的语义关系。例如，该给定阈值可以为0.7，0.8，或者最大的p
k’。
108.上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
109.在本申请实施例中的模型框架中，将问答系统模型引入到关系抽取任务中，将问答系统模型作为关系抽取模型的输出结果的结果验证模型。在该模型框架中，可以为关系抽取模型生成的每个候选关系进行验证，且具有较高的准确率。提出的模型框架能有效在任何现有的关系抽取模型基础上进行验证，且不需要额外的背景知识。
110.此外，为了提高验证的效率，本申请实施例还提出两种候选关系选择策略。第二种候选关系选择策略，选择关系抽取模型中预测分数最高的关系集合（含有多个候选关系）作为候选关系用于进行下一步的问答系统模型的验证。原因是预测分数最高的关系集合中的候选关系中通常包含正确的关系。第一种候选关系选择策略，用关系抽取模型对所有的关系给出初始得分，然后选择初始得分的分数最高和最低的前k个关系作为候选关系，候选关系用于进行下一步的问答系统模型的验证。通过问答系统模型处理后的候选关系会得到问答得分，然后基于候选关系对应的初始得分和问答得分进行分数融合。选择初始得分的分数最高和最低的前k个关系作为候选关系的原因是，认为问答系统模型通常也有一定的局限性，但得分最高或最低则表示置信度较大，即“最高”表明该候选关系很有可能是正确的，“最低”则表明相应的候选关系很有可能是错误的，为了提高验证的效率，需要引入更多的候选关系来进行后续的验证。和第二种候选关系选择策略相比，第一种候选关系选择策略需要更多的计算资源，但是验证效果会更可靠。
111.本申请实施例通过获取目标实体对的目标文本和关系集合；然后通过训练好的关系抽取模型预测出关系集合中每个关系对应的初始得分；然后根据关系集合中每个关系对应的初始得分，从关系集合中选择出候选关系；然后将候选关系输入训练好的问答系统模型进行处理，以得到候选关系中每个候选关系对应的问答得分；然后根据候选关系中每个候选关系对应的初始得分和问答得分，更新候选关系中所有候选关系的得分，以得到候选关系中每个候选关系对应的第一更新后得分；最后根据第一更新后得分，预测目标实体对在目标文本中的语义关系。本申请实施例通过问答系统模型来验证关系抽取模型的输出结果，有效提高模型的关系抽取性能，提高预测语义关系的准确率。
112.其中，本申请实施例可结合云技术或区块链网络技术实现，云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
113.需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(infrastructure as a service，iaas)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
114.为了便于实现对目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系的存储和查询，在一些实施例中，该文本关系抽取方法还包括：将目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系发送至区块链网络中，以使区块链网络的节点将目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系填充至新区块，且当对新区块取得共识一致时，将新区块追加至区块链的尾部。
115.接下来对本申请实施例中的区块链网络进行说明。参见图3a，图3a为本申请实施例提供的区块链网络的应用架构示意图，包括区块链网络31(示例性示出了共识节点310
‑
1至共识节点310
‑
3)、认证中心32、业务主体33和业务主体34，下面分别进行说明。
116.区块链网络31的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的计算机设备例如用户终端和服务器(比如云端服务器)，都可以在不需要授权的情况下接入区块链网络31；以联盟链为例，业务主体在获得授权后其下辖的计算机设备(例如终端/服务器)可以接入区块链网络31，此时，如成为区块链网络31中的客户端节点，这里客户端指示用于预测目标实体对在目标文本中的语义关系的应用客户端。
117.在一些实施例中，客户端节点可以只作为区块链网络31的观察者，即提供支持业务主体发起交易(例如，用于上链存储数据或查询链上数据)的功能，对于区块链网络31中的共识节点310的功能，例如排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性(例如，取决于业务主体的具体业务需求)地实施。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络31中，通过区块链网络31实现数据和业务处理过程的可信和可追溯。
118.区块链网络31中的共识节点接收来自不同业务主体(例如图3a中示出的业务主体33和业务主体34)的客户端节点(例如，图3a中示出的归属于业务主体33的客户端节点330、以及归属于业务主体34的客户端节点340)提交的交易，执行交易以更新账本或者查询账本，执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中进行显示。
119.例如，客户端节点330/340可以订阅区块链网络31中感兴趣的事件，例如区块链网络31中特定的组织/通道中发生的交易，由共识节点310推送相应的交易通知至客户端节点330/340，从而触发客户端节点330/340中相应的业务逻辑。
120.下面以多个业务主体接入区块链网络以实现目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系的管理为例，说明区块链网络的示例性应用。参见图3a，管理环节涉及的多个业务主体，如业务主体33和业务主体34均可以是视频识别装置对应的客户端，从认证中心32进行登记注册获得各自的数字证书，数字证书中包括业务主体的公钥、以及认证中心32对业务主体的公钥和身份信息签署的数字签名，用来与业务主体针对交易的数字签名一起附加到交易中，并被发送到区块链网络，以供区块链网络从交易中取出数字证书和签名，验证消息的可靠性(即是否未经篡改)和发送消息的
业务主体的身份信息，区块链网络31将根据身份进行验证，例如是否具有发起交易的权限。业务主体下辖的计算机设备(例如终端或者服务器)运行的客户端都可以向区块链网络31请求接入而成为客户端节点。
121.业务主体33的客户端节点330用于获取目标实体对的目标文本和关系集合；然后通过训练好的关系抽取模型预测出关系集合中每个关系对应的初始得分；然后根据关系集合中每个关系对应的初始得分，从关系集合中选择出候选关系；然后将候选关系输入训练好的问答系统模型进行处理，以得到候选关系中每个候选关系对应的问答得分；然后根据候选关系中每个候选关系对应的初始得分和问答得分，更新候选关系中所有候选关系的得分，以得到候选关系中每个候选关系对应的第一更新后得分；最后根据第一更新后得分，预测目标实体对在目标文本中的语义关系。业务主体33的客户端节点330还用于将目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系发送至区块链网络31。
122.其中，将目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系发送至区块链网络31的操作，可以预先在客户端节点330设置业务逻辑，当查找到有目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系时，客户端节点330将目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系自动发送至区块链网络31，也可以由业务主体33的业务人员在客户端节点330中登录，手动打包目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系，并将其发送至区块链网络31。在发送时，客户端节点330根据目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易中还携带了客户端节点330的数字证书、签署的数字签名(例如，使用客户端节点330的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络31中的共识节点310。
123.区块链网络31中的共识节点310接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的业务主体33的身份，确认业务主体33是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点310自己的数字签名(例如，使用节点310
‑
1的私钥对交易的摘要进行加密得到)，并继续在区块链网络31中广播。
124.区块链网络31中的共识节点310接收到验证成功的交易后，将交易填充到新的区块中并进行广播。区块链网络31中的共识节点310广播新区块时，会对新区块进行共识过程，如果共识成功，则将新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交存储目标实体对的目标文本和关系集合、关系
集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系的交易，在状态数据库中添加包括目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系的键值对。
125.业务主体34的业务人员在客户端节点340中登录，输入目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系的查询请求，客户端节点340根据目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系的查询请求生成对应更新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点340的数字证书、签署的数字签名(例如，使用客户端节点340的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络31中的共识节点310。
126.区块链网络31中的共识节点310接收到交易，对交易进行验证、区块填充及共识一致后，将填充的新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交的更新目标实体对在目标文本中的语义关系的交易，根据目标实体对在目标文本中的语义关系更新状态数据库中该目标实体对对应的键值对；对于提交的查询目标实体对在目标文本中的语义关系的交易，从状态数据库中查询目标实体对在目标文本中的语义关系的键值对，并返回交易结果。
127.作为区块链的示例，参见图3b，图3b为本申请实施例提供的区块链网络31中区块链的一个可选的结构示意图，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后，将被追加到区块链的尾部从而形成链式的增长，各区块之间基于哈希值的链式结构，保证了区块中交易的防篡改和防伪造。
128.下面说明本申请实施例提供的区块链网络的示例性功能架构，参见图3c，图3c为本申请实施例提供的区块链网络31的功能架构示意图，包括应用层301、共识层302、网络层303、数据层304和资源层305，下面分别进行说明。
129.资源层305封装了实现区块链网络31中的各个节点310的计算资源、存储资源和通信资源。
130.数据层304封装了实现账本的各种数据结构，包括以文件系统中的文件实现的区块链，键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。
131.网络层303封装了点对点(p2p，point to point)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。
132.其中，p2p网络协议实现区块链网络31中节点310之间的通信，数据传播机制保证了交易在区块链网络31中的传播，数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现节点310之间传输数据的可靠性；接入认证机制用于根据实际的业务场景对加入区块链网络31的业务主体的身份进行认证，并在认证通过时赋予业务主体接入区块链网络31的权限；业务主体身份管理用于存储允许接入区块链网络31的业务主体的身
份、以及权限(例如能够发起的交易的类型)。
133.共识层302封装了区块链网络31中的节点310对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括pos、pow和dpos等共识算法，支持共识算法的可插拔。
134.交易管理用于验证节点310接收到的交易中携带的数字签名，验证业务主体的身份信息，并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息)；对于获得接入区块链网络31的授权的业务主体而言，均拥有认证中心颁发的数字证书，业务主体利用自己的数字证书中的私钥对提交的交易进行签名，从而声明自己的合法身份。
135.账本管理用于维护区块链和状态数据库。对于取得共识的区块，追加到区块链的尾部；执行取得共识的区块中的交易，当交易包括更新操作时更新状态数据库中的键值对，当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作，包括：根据区块向量号(例如交易的哈希值)查询区块；根据区块哈希值查询区块；根据交易向量号查询区块；根据交易向量号查询交易；根据业务主体的账号(向量号)查询业务主体的账号数据；根据通道名称查询通道中的区块链。
136.应用层301封装了区块链网络能够实现的各种业务，包括交易的溯源、存证和验证等。
137.采用本申请实施例提供的技术方案，通过获取目标实体对的目标文本和关系集合；然后通过训练好的关系抽取模型预测出关系集合中每个关系对应的初始得分；然后根据关系集合中每个关系对应的初始得分，从关系集合中选择出候选关系；然后将候选关系输入训练好的问答系统模型进行处理，以得到候选关系中每个候选关系对应的问答得分；然后根据候选关系中每个候选关系对应的初始得分和问答得分，更新候选关系中所有候选关系的得分，以得到候选关系中每个候选关系对应的第一更新后得分；最后根据第一更新后得分，预测目标实体对在目标文本中的语义关系，可以基于问答系统模型来验证关系抽取模型的输出结果，有效提高模型的关系抽取性能，提高预测语义关系的准确率。同时，本申请实施例还可以将终端获取的目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系上链存储，实现记录的备份，当用户再次使用文本关系抽取系统时，可直接、快速地从区块链上获取相应的目标实体对的目标文本和关系集合、关系集合中每个关系对应的初始得分、候选关系及每个候选关系对应的问答得分和第一更新后得分、以及目标实体对在目标文本中的语义关系，而无需通过文本关系抽取系统对获取的目标实体对进行一系列处理后，才能够获得目标实体对在目标文本中的语义关系，从而提高数据获取效率。
138.为便于更好的实施本申请实施例的文本关系抽取方法，本申请实施例还提供一种文本关系抽取装置。请参阅图4，图4为本申请实施例提供的文本关系抽取装置的结构示意图。其中，该文本关系抽取装置400可以包括：获取单元401，用于获取目标实体对的目标文本和关系集合；第一预测单元402，用于通过训练好的关系抽取模型预测出所述关系集合中每个
关系对应的初始得分；选择单元403，用于根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系；计算单元404，用于将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分；更新单元405，用于根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分；第二预测单元406，用于根据所述第一更新后得分，预测所述目标实体对在所述目标文本中的语义关系。
139.可选的，选择单元403，用于从所述关系集合中选择初始得分最高的前α%以及初始得分最低的后β%对应的关系作为候选关系，其中α和β均为0到100之间的自然数。
140.可选的，选择单元403，用于从所述关系集合中选择初始得分最高的前k个关系作为候选关系，其中k为大于0的正整数。
141.可选的，计算单元404，用于：基于所述目标实体对的头实体和所述候选关系，构建所述候选关系中每个候选关系对应的问题；基于所述构建的问题和所述目标实体对的目标文本，通过所述训练好的问答系统模型预测所述目标实体对的尾实体是否是与所述问题匹配的答案，以得到所述候选关系中每个候选关系对应的问答得分。
142.可选的，更新单元405，用于基于第一预设公式对所述候选关系中每个候选关系对应的初始得分和问答得分进行更新处理，以得到所述候选关系中每个候选关系对应的第一更新后得分。
143.可选的，第二预测单元406，用于根据所述第一更新后得分，对所有候选关系进行得分排序；从得分排序后的所述所有候选关系中选择得分大于给定阈值的关系，作为所述目标实体对在目标文本中的语义关系。
144.可选的，更新单元405，还用于：获取所述关系集合中除所述候选关系之外的其余未被选中的关系对应的初始得分；基于第二预设公式对所述其余未被选中的关系对应的初始得分进行更新处理，以得到所述其余未被选中的关系对应的第二更新后得分。
145.可选的，第二预测单元406，还用于根据所述第一更新后得分和所述第二更新后得分，预测所述目标实体对在目标文本中的语义关系。
146.可选的，第二预测单元406，还具体用于：根据所述第一更新后得分和所述第二更新后得分，对所述关系集合中的所有关系进行得分排序；从得分排序后的所述关系集合中的所有关系中选择得分大于给定阈值的关系，作为所述目标实体对在目标文本中的语义关系。
147.可选的，装置400还包括：第一训练单元，用于根据第一训练样本集合对所述关系抽取模型进行学习训练，以得到所述训练好的关系抽取模型；以及第二训练单元，用于根据第二训练样本集合对所述问答系统模型进行学习训练，以得到所述训练好的问答系统模型。
148.可选的，第一训练单元，用于：获取包含有多个第一样本的第一训练样本集合，其中所述第一样本包括第一样本正负特性、第一样本实体对、所述第一样本实体对的文本和
候选关系；根据所述第一训练样本集合中每一所述第一样本的所述第一样本正负特性、所述第一样本实体对的文本和候选关系，计算所述关系抽取模型的损失函数；基于梯度下降法对所述关系抽取模型的损失函数进行训练，以得到所述训练好的关系抽取模型。
149.可选的，第二训练单元，用于：获取包含有多个第二样本的第二训练样本集合，其中所述第二样本包括第二样本实体对、所述第二样本实体对的上下文、所述第二样本实体对中头实体在所述上下文中的起始位置的得分和所述第二样本实体对中尾实体在所述上下文中的结束位置的得分；根据所述第二训练样本集合中每一所述第二样本的第二样本实体对、所述第二样本实体对的上下文、所述第二样本实体对中头实体在所述上下文中的起始位置的得分和所述第二样本实体对中尾实体在所述上下文中的结束位置的得分，计算所述问答系统模型的损失函数；基于梯度下降法对所述问答系统模型的损失函数进行训练，以得到所述训练好的问答系统模型。
150.上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
151.应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图4所示的装置可以执行上述文本关系抽取方法实施例，并且装置中的各个模块的前述和其它操作和/或功能分别实现上述方法实施例的相应流程，为了简洁，在此不再赘述。
152.相应的，本申请实施例还提供一种计算机设备，该计算机设备可以为终端或者服务器，该终端可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、个人计算机等设备。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。如图5所示，该计算机设备可以包括射频（radio frequency，rf）电路501、包括有一个或一个以上计算机可读存储介质的存储器502、输入单元503、显示单元504、传感器505、音频电路506、无线保真（wireless fidelity，wifi)模块507、包括有一个或者一个以上处理核心的处理器508、以及电源509等部件。本领域技术人员可以理解，图5中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：rf电路501可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器508处理；另外，将涉及上行的数据发送给基站。此外，rf电路501还可以通过无线通信与网络和其他设备通信。
153.存储器502可用于存储软件程序以及模块，处理器508通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。
154.输入单元503可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
155.显示单元504可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构
成。显示单元504可包括显示面板。
156.计算机设备还可包括至少一种传感器505，比如光传感器、运动传感器以及其他传感器。
157.音频电路506、扬声器，传声器可提供用户与计算机设备之间的音频接口。音频电路506可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路506接收后转换为音频数据，再将音频数据输出处理器508处理后，经rf电路501以发送给比如另一计算机设备，或者将音频数据输出至存储器502以便进一步处理。音频电路506还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。
158.wifi属于短距离无线传输技术，计算机设备通过wifi模块507可帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽图5示出了wifi模块507，但可以理解的是，其并不属于计算机设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
159.处理器508是计算机设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。
160.计算机设备还包括给各个部件供电的电源509（比如电池），优选的，电源可以通过电源管理系统与处理器508逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
161.尽管未示出，计算机设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，计算机设备中的处理器508会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器502中，并由处理器508来运行存储在存储器502中的计算机程序，从而实现各种功能：获取目标实体对的目标文本和关系集合；通过训练好的关系抽取模型预测出所述关系集合中每个关系对应的初始得分；根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系；将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分；根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分；根据所述第一更新后得分，预测所述目标实体对在所述目标文本中的语义关系。
162.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
163.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
164.为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种文本关系抽取方法中的步骤。
165.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
166.其中，该存储介质可以包括：只读存储器（rom，read only memory）、随机存取记忆
体（ram，random access memory）、磁盘或光盘等。
167.由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种文本关系抽取方法中的步骤，因此，可以实现本申请实施例所提供的任一种文本关系抽取方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
168.以上对本申请实施例所提供的一种文本关系抽取方法、装置、存储介质及计算机设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

技术特征：
1.一种文本关系抽取方法，其特征在于，所述方法包括：获取目标实体对的目标文本和关系集合；通过训练好的关系抽取模型预测出所述关系集合中每个关系对应的初始得分；根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系；将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分；根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分；根据所述第一更新后得分，预测所述目标实体对在所述目标文本中的语义关系。2.如权利要求1所述的文本关系抽取方法，其特征在于，所述根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系，包括：从所述关系集合中选择初始得分最高的前α%以及初始得分最低的后β%对应的关系作为候选关系，其中α和β均为0到100之间的自然数。3.如权利要求1所述的文本关系抽取方法，其特征在于，所述根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系，包括：从所述关系集合中选择初始得分最高的前k个关系作为候选关系，其中k为大于0的正整数。4.如权利要求1
‑
3任一项所述的文本关系抽取方法，其特征在于，所述将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分，包括：基于所述目标实体对的头实体和所述候选关系，构建所述候选关系中每个候选关系对应的问题；基于所述构建的问题和所述目标实体对的目标文本，通过所述训练好的问答系统模型预测所述目标实体对的尾实体是否是与所述问题匹配的答案，以得到所述候选关系中每个候选关系对应的问答得分。5.如权利要求1所述的文本关系抽取方法，其特征在于，根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分，包括：基于第一预设公式对所述候选关系中每个候选关系对应的初始得分和问答得分进行更新处理，以得到所述候选关系中每个候选关系对应的第一更新后得分。6.如权利要求5所述的文本关系抽取方法，其特征在于，所述根据所述第一更新后得分，预测所述目标实体对在目标文本中的语义关系，包括：根据所述第一更新后得分，对所有候选关系进行得分排序；从得分排序后的所述所有候选关系中选择得分大于给定阈值的关系，作为所述目标实体对在目标文本中的语义关系。7.如权利要求5所述的文本关系抽取方法，其特征在于，所述方法还包括：获取所述关系集合中除所述候选关系之外的其余未被选中的关系对应的初始得分；基于第二预设公式对所述其余未被选中的关系对应的初始得分进行更新处理，以得到所述其余未被选中的关系对应的第二更新后得分。
8.如权利要求7所述的文本关系抽取方法，其特征在于，所述根据所述第一更新后得分，预测所述目标实体对在目标文本中的语义关系，包括：根据所述第一更新后得分和所述第二更新后得分，预测所述目标实体对在目标文本中的语义关系。9.如权利要求8所述的文本关系抽取方法，其特征在于，所述根据所述第一更新后得分和所述第二更新后得分，预测所述目标实体对在目标文本中的语义关系，包括：根据所述第一更新后得分和所述第二更新后得分，对所述关系集合中的所有关系进行得分排序；从得分排序后的所述关系集合中的所有关系中选择得分大于给定阈值的关系，作为所述目标实体对在目标文本中的语义关系。10.如权利要求1所述的文本关系抽取方法，其特征在于，在所述获取目标实体对的目标文本和关系集合之前，还包括：根据第一训练样本集合对所述关系抽取模型进行学习训练，以得到所述训练好的关系抽取模型；以及根据第二训练样本集合对所述问答系统模型进行学习训练，以得到所述训练好的问答系统模型。11.如权利要求10所述的文本关系抽取方法，其特征在于，所述根据第一训练样本集合对所述关系抽取模型进行学习训练，以得到所述训练好的关系抽取模型，包括：获取包含有多个第一样本的第一训练样本集合，其中所述第一样本包括第一样本正负特性、第一样本实体对、所述第一样本实体对的文本和候选关系；根据所述第一训练样本集合中每一所述第一样本的所述第一样本正负特性、所述第一样本实体对的文本和候选关系，计算所述关系抽取模型的损失函数；基于梯度下降法对所述关系抽取模型的损失函数进行训练，以得到所述训练好的关系抽取模型。12.如权利要求11所述的文本关系抽取方法，其特征在于，所述根据第二训练样本集合对所述问答系统模型进行学习训练，以得到所述训练好的问答系统模型，包括：获取包含有多个第二样本的第二训练样本集合，其中所述第二样本包括第二样本实体对、所述第二样本实体对的上下文、所述第二样本实体对中头实体在所述上下文中的起始位置的得分和所述第二样本实体对中尾实体在所述上下文中的结束位置的得分；根据所述第二训练样本集合中每一所述第二样本的第二样本实体对、所述第二样本实体对的上下文、所述第二样本实体对中头实体在所述上下文中的起始位置的得分和所述第二样本实体对中尾实体在所述上下文中的结束位置的得分，计算所述问答系统模型的损失函数；基于梯度下降法对所述问答系统模型的损失函数进行训练，以得到所述训练好的问答系统模型。13.一种文本关系抽取装置，其特征在于，所述装置包括：获取单元，用于获取目标实体对的目标文本和关系集合；第一预测单元，用于通过训练好的关系抽取模型预测出所述关系集合中每个关系对应的初始得分；
选择单元，用于根据所述关系集合中每个关系对应的初始得分，从所述关系集合中选择出候选关系；计算单元，用于将所述候选关系输入训练好的问答系统模型进行处理，以得到所述候选关系中每个候选关系对应的问答得分；更新单元，用于根据所述候选关系中每个候选关系对应的初始得分和问答得分，更新所述候选关系中所有候选关系的得分，以得到所述候选关系中每个候选关系对应的第一更新后得分；第二预测单元，用于根据所述第一更新后得分，预测所述目标实体对在所述目标文本中的语义关系。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1
‑
12任一项所述的文本关系抽取方法中的步骤。15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1
‑
12任一项所述的文本关系抽取方法中的步骤。
技术总结
本申请实施例公开了一种文本关系抽取方法、装置、存储介质及计算机设备，其中，该方法包括：获取目标实体对的目标文本和关系集合；通过训练好的关系抽取模型预测出关系集合中每个关系对应的初始得分；根据关系集合中每个关系对应的初始得分，从关系集合中选择出候选关系；将候选关系输入训练好的问答系统模型进行处理，以得到候选关系中每个候选关系对应的问答得分；根据候选关系中每个候选关系对应的初始得分和问答得分进行得分更新，以得到候选关系中每个候选关系对应的第一更新后得分；根据第一更新后得分，预测目标实体对在目标文本中的语义关系。本申请实施例通过问答系统模型来验证关系抽取模型的输出结果，有效提高模型的关系抽取性能。的关系抽取性能。的关系抽取性能。


技术研发人员：蒋海云 史树明
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.05.25
技术公布日：2021/6/25