基于大语言模型与改进知识图谱的问答方法、系统及设备

专利2026-09-02  9


本发明涉及知识图谱,特别是涉及一种基于大语言模型与改进知识图谱的问答方法、系统及设备。


背景技术:

1、现有的导向型问答方法主要使用大数据相似检索或知识图谱导向的问答方法。大数据相似检索的问答系统首先对用户所提问题的内容进行拆词,将拆解出的关键词作为索引检索相似的问题,并将该问题的回答提供给用户作为方法的答案。该方法缺点为回答内容单一,且无法根据用户的个性化问题给出符合用户实际需求的回答,大数据的存储对资源消耗量大。基于知识图谱导向的问答方法首先从用户所提问题中拆解出实体以及关系,并生成查询语句。从知识图谱中检索相关信息,根据固定模板生成问题的答案。该方法缺点是缺乏语境理解,往往忽略了问题的上下文信息,这可能导致系统在处理具有多个答案的问题时出现偏差。知识图谱的构建依赖于已有的数据和知识资源,资源覆盖可能无法完全覆盖整个专业领域,这导致问答系统在处理某些问题时可能无法提供准确的答案。

2、随着人工智能技术的发展,以及与自然语言处理领域的渗透融合,大语言模型成为2022年以来的研究热点。生成式大语言模型因其具有拥有较强推理性,可以应用于智能问答系统,并有效改善系统的性能和用户体验感。

3、生成大语言模型采用先进的神经网络结构如transformer等,能够理解并利用上下文信息,生成连贯且相关的文本;可以将碎片化的文字信息整合为更高级的句意信息,有助于理解和形成具逻辑性的长文本信息。同时大语言模型在训练时,通常会运用大规模的众包数据,这使其可以处理领域知识融合任务,集成领域内专业知识,生成特定领域的文本。经过迁移学习,可以应用于多领域多场景的任务中。

4、目前最新的智能问答方法开始使用大语言模型对用户所提出的问题进行分析,并借助于大语言模型强大的推理能力,针对提问生成合理的回答。该方法目前对常见的一般性问题作答效果尚好,但往往对专业较强问题的回复准确性欠佳,业界目前通用的解决方案是对生成式大语言模型进行垂直领域的迁移学习,使其能够集成领域专业知识,形成特定垂直领域的大语言专家模型。这种迁移学习和深入训练需要大量算力和大量该领域文本数据作为支撑。同时,由于生成式大语言模型的文本生成质量高度依赖训练数据,这部分数据的处理环节往往需要大量人力进行数据清洗和筛选,导致该方案成本巨大,可实施难度高。

5、综上所述,基于大数据检索、知识图谱以及生成式大语言模型的智能问答各具优劣,特点互补性强。生成式大语言模型强大的文本理解以及生成能力可以弥补知识图谱语义理解和语言组织能力差,生成的回答单调、无个性的缺点。而专业知识图谱可作为大语言模型的引导,通过知识图谱中的知识节点与知识节点之间的关系,提高通用大语言模型回复问题的专业性与概念逻辑性。

6、此外,由于常规知识图谱均采用实体与实体间关系直接建模,这导致了图谱信息可能存在大量重复或相近实体,致使语义消歧十分困难。因此,需要对传统知识图谱进行改进,以提高其信息整合程度。


技术实现思路

1、本发明的目的是提供一种基于大语言模型与改进知识图谱的问答方法、系统及设备,使得回答更加准确,更加切合问题需求。

2、为实现上述目的,本发明提供了如下方案:

3、一种基于大语言模型与改进知识图谱的问答方法,包括:

4、获取用户的当前问题;

5、对所述当前问题进行审核,得到审核结果;

6、当所述审核结果为通过时,确定所述当前问题的特征向量;

7、基于所述当前问题的特征向量,从知识图谱的知识节点中选择最接近当前问题的知识节点作为所述当前问题的检索节点;

8、将与所述检索节点中对应的典型问题的集合中的预设个数个已知问答对作为所述当前问题的背景资料;

9、将所述当前问题的背景资料设定为向大语言模型提问的背景资料,设置任务为“结合背景资料回答当前问题”;

10、基于大语言模型确定所述当前问题的回答。

11、可选地,所述知识图谱的构建过程,包括:

12、获取专业领域内容的多个已知问答对中的问题;

13、确定各所述问题的特征向量;

14、基于各所述问题的特征向量,对所有所述问题进行聚类,得到k类典型问题;k>1;

15、基于k类典型问题构建所述知识图谱;所述知识图谱的一个知识节点对应一类所述典型问题的集合。

16、可选地,当所述审核结果为未通过时,获取用户的下一问题,并将当前问题更新为下一问题,并返回“对所述当前问题进行审核,得到审核结果”。

17、可选地,确定所述当前问题的特征向量,包括:

18、对所述当前问题进行逐字编码,得到所述当前问题的句特征向量;

19、计算所述当前问题的句特征向量中所有字符的特征向量的平均向量,得到所述当前问题的特征向量。

20、可选地,基于所述当前问题的特征向量,从知识图谱的知识节点中选择最接近当前问题的知识节点作为所述当前问题的检索节点,包括:

21、分别计算所述当前问题的特征向量与所述知识图谱中各知识节点的特征向量的距离;

22、将距离最近的知识节点作为所述当前问题的检索节点。

23、可选地,将与所述检索节点中对应的典型问题的集合中的预设个数个已知问答对作为所述当前问题的背景资料,包括:

24、分别计算所述当前问题的特征向量与检索节点中的问答对中的问题的特征向量的距离;

25、对各所述距离按照从小到大的顺序进行排序;

26、选择前预设个数个问答对作为当前问题的背景资料。

27、可选地,基于各所述问题的特征向量,对所有所述问题进行聚类,得到k类典型问题,包括:

28、利用k-means算法,基于各所述问题的特征向量,对所有所述问题进行聚类,得到k类典型问题。

29、可选地,在基于k类典型问题构建所述知识图谱之后,还包括:

30、利用先验知识对所述知识图谱进行微调。

31、一种基于大语言模型与改进知识图谱的问答系统,包括:

32、问题获取模块,用于获取用户的当前问题;

33、审核模块,用于对所述当前问题进行审核,得到审核结果;

34、向量确定模块,用于当所述审核结果为通过时,确定所述当前问题的特征向量;

35、检索节点确定模块,基于所述当前问题的特征向量,从知识图谱的知识节点中选择最接近当前问题的知识节点作为所述当前问题的检索节点;

36、背景资料确定模块,用于将与所述检索节点中对应的典型问题的集合中的预设个数个已知问答对作为所述当前问题的背景资料;

37、设置模块,用于将所述当前问题的背景资料设定为向大语言模型提问的背景资料,设置任务为“结合背景资料回答当前问题”;

38、回答模块,用于基于大语言模型确定所述当前问题的回答。

39、一种设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述设备执行上述所述的基于大语言模型与改进知识图谱的问答方法。

40、根据本发明提供的具体实施例,本发明公开了以下技术效果:

41、本发明公开了一种基于大语言模型与改进知识图谱的问答方法、系统及设备,首先,获取用户的当前问题并对当前问题进行审核,得到审核结果;其次,当审核结果为通过时,确定当前问题的特征向量;再次,基于当前问题的特征向量,从知识图谱的知识节点中选择最接近当前问题的知识节点作为当前问题的检索节点;将与检索节点中对应的典型问题的集合中的预设个数个已知问答对作为当前问题的背景资;最后,将当前问题的背景资料设定为向大语言模型提问的背景资料,设置任务为“结合背景资料回答当前问题”;基于大语言模型确定当前问题的回答。本发明在用户提出专业领域问题后,通过解析问题内容匹配知识图谱中的相应知识节点,然后将知识节点内的问答对作为背景资料提供给大语言模型,辅助生成式大语言模型进行回答,使得回答更加准确,更加切合问题需求。


技术特征:

1.一种基于大语言模型与改进知识图谱的问答方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于大语言模型与改进知识图谱的问答方法,其特征在于,所述知识图谱的构建过程,包括:

3.根据权利要求1所述的基于大语言模型与改进知识图谱的问答方法,其特征在于,当所述审核结果为未通过时,获取用户的下一问题,并将当前问题更新为下一问题,并返回“对所述当前问题进行审核,得到审核结果”。

4.根据权利要求1所述的基于大语言模型与改进知识图谱的问答方法,其特征在于,确定所述当前问题的特征向量,包括:

5.根据权利要求1所述的基于大语言模型与改进知识图谱的问答方法,其特征在于,基于所述当前问题的特征向量,从知识图谱的知识节点中选择最接近当前问题的知识节点作为所述当前问题的检索节点,包括:

6.根据权利要求1所述的基于大语言模型与改进知识图谱的问答方法,其特征在于,将与所述检索节点中对应的典型问题的集合中的预设个数个已知问答对作为所述当前问题的背景资料,包括:

7.根据权利要求2所述的基于大语言模型与改进知识图谱的问答方法,其特征在于,基于各所述问题的特征向量,对所有所述问题进行聚类,得到k类典型问题,包括:

8.根据权利要求2所述的基于大语言模型与改进知识图谱的问答方法,其特征在于,在基于k类典型问题构建所述知识图谱之后,还包括:

9.一种基于大语言模型与改进知识图谱的问答系统,其特征在于,所述系统包括:

10.一种设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述设备执行权利要求1至8中任一项所述的基于大语言模型与改进知识图谱的问答方法。


技术总结
本发明公开一种基于大语言模型与改进知识图谱的问答方法、系统及设备,涉及知识图谱技术领域,所述方法包括:获取用户的当前问题;对当前问题进行审核,得到审核结果;当审核结果为通过时,确定当前问题的特征向量;基于当前问题的特征向量,从知识图谱的知识节点中选择最接近当前问题的知识节点作为当前问题的检索节点;将与检索节点中对应的典型问题的集合中的预设个数个已知问答对作为当前问题的背景资料;将当前问题的背景资料设定为向大语言模型提问的背景资料,设置任务为“结合背景资料回答当前问题”;基于大语言模型确定当前问题的回答。本发明使得回答更加准确,更加切合问题需求。

技术研发人员:徐继宁,龚博,宋浩
受保护的技术使用者:北方工业大学
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1833816.html

最新回复(0)