基于问题主成分的问答方法、装置、设备及存储介质与流程

专利2025-04-22  9


本发明涉及人工智能,尤其涉及一种基于问题主成分的问答方法、装置、设备及计算机可读存储介质。


背景技术:

1、抽取式问答模型是自然语言处理领域中常见的一种技术,它通过从文本中抽取关键信息来回答问题。关键信息抽取在真实的业务中是一项关键的技术,服务于多种下游任务,如个人画像抽取等,逐渐在医疗金融等领域发挥重要作用。例如在即时通讯场景中与患者沟通的过程中,可以实现自动化地抽取患者的个人信息、问诊信息、病史信息等,生成患者的个人信息摘要,便于制定定制化的医疗方案。

2、但是目前的抽取式问答模型往往存在过敏感的问题,即在线上问诊过程中,当患者的问诊问题中表述词或语序稍微发生变化时,模型容易生成错误或不完整的答案,影响了其实用性和准确性。


技术实现思路

1、本发明提供一种基于问题主成分的问答方法、装置、设备及存储介质,其主要目的在于在线上问诊场景中增加患者问诊问题的识别准确率及答案准确率。

2、为实现上述目的,本发明提供的一种基于问题主成分的问答方法,包括:

3、获取用户输入的问诊问题,并利用预训练的主成分问答模型对所述问诊问题进行主成分识别,得到问题主成分序列;

4、对所述问题主成分序列进行量化操作,并将量化结果进行向量拼接,得到主成分融合向量;

5、获取预构建的医疗数据集,对所述医疗数据集进行量化编码,得到所述医疗数据集中各个医疗数据的医疗文本量化序列,并对各个所述医疗文本量化序列进行基于所述问题主成分向量的注意力权重配置,得到各个注意力增强医疗文本向量;

6、根据所述各个注意力增强医疗文本向量及所述主成分融合向量,对所述问诊问题进行答案识别预测,得到解答文本。

7、可选的,所述利用预训练的主成分问答模型对所述问诊问题进行主成分识别,得到问题主成分序列,包括:

8、对所述问诊问题进行分词量化操作,得到分词向量集合;

9、计算所述分词向量集合中各个分词向量的均值及标准差,并利用零均值标准化方法,根据所述均值及标准差对各个分词向量进行中心化处理,得到标准化向量集合;

10、利用协方差函数对所述标准化向量集合进行协方差计算,得到协方差矩阵,并对所述协方差矩阵进行特征值分解,得到特征向量集合及各个所述特征向量对应的特征值大小;

11、根据特征值大小,对所述特征向量集合中的特征向量进行top-k提取,得到k个最大特征值的目标特征向量集;

12、根据所述目标特征向量集,对所述分词向量集合进行k维映射操作,得到降维问诊向量;

13、利用所述主成分问答模型,根据预设的语法类型集合,对所述降维问诊向量进行主成分分类识别,得到问题主成分序列。

14、可选的,所述对各个所述医疗文本量化序列进行基于所述问题主成分向量的注意力权重配置,得到各个注意力增强医疗文本向量,包括:

15、利用所述主成分问答模型中的bert编码器,对所述医疗文本量化序列进行编码,得到bert医疗文本向量,对所述主成分融合向量进行编码,得到bert问诊问题向量;

16、利用点积注意力机制,对所述bert医疗文本向量及所述bert问诊问题向量进行注意力权重计算,并将注意力权重结果对应配置至所述医疗文本量化序列上,得到注意力增强医疗文本向量。

17、可选的,所述利用预训练的主成分问答模型对所述问诊问题进行主成分识别之前,所述方法还包括:

18、获取预构建的问题-答案对集合,并对所述问题-答案对集合中的问题-答案对进行数据增强,得到每个所述问题-答案对对应的表达改进问题-答案对;

19、对各个所述表达改进问题-答案对进行主成分识别及标注操作,得到问题-答案对样本集合,所述问题-答案对样本包含问题文本及答案标签;

20、获取包含主成分识别网络及问答多层感知网络的主成分问答模型,并对所述主成分识别网络进行辅助损失配置;

21、依次从所述问题-答案对样本集合中提取一个问题-答案对样本的问题文本,并利用所述主成分问答模型对所述问题文本进行网络正向预测计算,得到预测答案;

22、利用交叉熵损失算法,计算所述问题-答案对样本的答案标签与所述预测答案的损失值,并最小化所述损失值,得到所述损失值最小时的网络模型参数,并对所述网络模型参数进行网络逆向传播,得到更新主成分问答模型;

23、判断所述损失值的收敛性;

24、当所述损失值未收敛时,返回上述依次从所述问题-答案对样本集合中提取一个问题-答案对样本的问题文本的过程,对所述更新主成分问答模型进行迭代更新;

25、当所述损失值收敛时,得到训练完成的主成分问答模型。

26、可选的,所述根据所述各个注意力增强医疗文本向量及所述主成分融合向量,对所述问诊问题进行答案识别预测,得到解答文本,包括:

27、根据预设的模板构建策略,将所述注意力增强医疗文本向量及所述主成分融合向量构建匹配模板,并对所述匹配模板进行模板匹配,得到第一匹配分数;

28、根据规则匹配方法,对所述注意力增强医疗文本向量与所述主成分融合向量进行匹配,得到第二匹配分数;

29、根据预设权重系数,对所述第一匹配分数及所述第二匹配分数进行加权计算,得到总匹配分数,并根据所述总匹配分数挑选合格的医疗数据,得到预选答案集合;

30、利用相关性打分规则对所述预选答案集合进行答案打分,并根据得分结果从所述预选答案集合中提取得到解答文本。

31、可选的,所述主成分问答模型包括bert编码器、特征提取网络、主成分识别网络及问答多层感知网络。

32、可选的,所述根据所述各个注意力增强医疗文本向量及所述主成分融合向量,对所述问诊问题进行答案识别预测,得到解答文本之后,所述方法还包括:

33、根据预设的文本场景对应规则,挑选预构建的目标场景下的下游任务网络,利用所述下游任务网络替换所述主成分问答模型中的问答多层感知网络,得到对应所述目标场景的下游任务模型;

34、获取所述目标场景的对应的初始文本数据,并利用所述初始文本数据对所述下游任务模型进行微调训练,得到训练完成的下游任务模型。

35、为了解决上述问题,本发明还提供一种基于问题主成分的问答装置,所述装置包括:

36、主成分特征融合模块,用于获取用户输入的问诊问题,并利用预训练的主成分问答模型对所述问诊问题进行主成分识别,得到问题主成分序列,及对所述问题主成分序列进行量化操作,并将量化结果进行向量拼接,得到主成分融合向量;

37、答案文本注意力配置模块,用于获取预构建的医疗数据集,对所述医疗数据集进行量化编码,得到所述医疗数据集中各个医疗数据的医疗文本量化序列,并对各个所述医疗文本量化序列进行基于所述问题主成分向量的注意力权重配置,得到各个注意力增强医疗文本向量;

38、答案识别预测模块,用于根据所述各个注意力增强医疗文本向量及所述主成分融合向量,对所述问诊问题进行答案识别预测,得到解答文本。

39、为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:

40、至少一个处理器;以及,

41、与所述至少一个处理器通信连接的存储器;其中,

42、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述的基于问题主成分的问答方法。

43、为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于问题主成分的问答方法。

44、本发明实施例利用预训练的主成分问答模型对所述问诊问题进行主成分识别,得到问题主成分序列,其中,通过主成分融合改写,可以将同一语义但不同表述的问题映射到统一的编码上,从而提高模型对相同语义问题的鲁棒性;所述主成分问答模型包括bert编码器、主成分识别网络及问答多层感知网络,能够对各个文本答案对问诊问题进行注意力配置,增加每个医疗数据字符对于问诊问题的向量的注意力权重,进而再匹配问题与答案,可以增加问题识别准确率。因此,本发明实施例提供的一种基于问题主成分的问答方法、装置、设备及存储介质,能够在于在线上问诊场景中增加患者问诊问题的识别准确率及答案准确率。


技术特征:

1.一种基于问题主成分的问答方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于问题主成分的问答方法,其特征在于,所述利用预训练的主成分问答模型对所述问诊问题进行主成分识别,得到问题主成分序列,包括:

3.如权利要求1所述的基于问题主成分的问答方法,其特征在于,所述对各个所述医疗文本量化序列进行基于所述问题主成分向量的注意力权重配置,得到各个注意力增强医疗文本向量,包括:

4.如权利要求1所述的基于问题主成分的问答方法,其特征在于,所述利用预训练的主成分问答模型对所述问诊问题进行主成分识别之前,所述方法还包括:

5.如权利要求1所述的基于问题主成分的问答方法,其特征在于,所述根据所述各个注意力增强医疗文本向量及所述主成分融合向量,对所述问诊问题进行答案识别预测,得到解答文本,包括:

6.如权利要求1所述的基于问题主成分的问答方法,其特征在于,所述主成分问答模型包括bert编码器、特征提取网络、主成分识别网络及问答多层感知网络。

7.如权利要求1所述的基于问题主成分的问答方法,其特征在于,所述根据所述各个注意力增强医疗文本向量及所述主成分融合向量,对所述问诊问题进行答案识别预测,得到解答文本之后,所述方法还包括:

8.一种基于问题主成分的问答装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于问题主成分的问答方法。


技术总结
本发明涉及人工智能技术,揭露了一种基于问题主成分的问答方法、装置、设备及存储介质。所述方法包括:利用预训练的主成分问答模型对用户输入的问诊问题进行主成分识别,得到问题主成分序列并进行量化拼接,得到主成分融合向量;对预构建的各个医疗数据进行量化编码,并对编码结果进行基于基于所述问题主成分向量的注意力权重配置,得到各个注意力增强医疗文本向量;根据所述各个注意力增强医疗文本向量及所述主成分融合向量,对所述问诊问题进行答案识别预测,得到解答文本。本发明可以线上问诊场景中增加患者问诊问题的识别准确率及答案准确率。

技术研发人员:张镛,王健宗,程宁
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1819003.html

最新回复(0)