查询数据的方法、装置及电子设备与流程

专利2026-08-25  7


本申请属于数据分析领域,特别是涉及一种查询数据的方法、装置及电子设备。


背景技术:

1、数据集市是一个面向主题的数据存储库,其服务于特定的业务领域,如金融领域、销售领域等。借助数据集市,可以灵活满足不同数据需求,例如查询某一天某品类的成交量、购买用户数等数据。

2、目前,数据分析师或数据运营人员获取业务数据的方式主要有三种:一,向数据工程师发起请求,通过跨部门协作来获取相关数据,这种方式需要经过一定的流程,耗时较长并且沟通成本较高;二,通过数据可视化看板查找,但是通常情况下,数据可视化看板会涉及到多个业务部门,因此数据图表数量很多,并且这些数据图表的内容是相对固定的,并不都能满足用户的数据需求;三,用户自己编写sql语句在数据集市中查询,这种方式要求用户掌握专业的sql语句规范,因此技术门槛较高,另外,这种方式还要求用户熟悉数据集市的逻辑,因此出错概率较大。

3、因此,如何方便快捷地查询到用户期望的业务数据是亟待解决的技术问题。


技术实现思路

1、本申请的目的在于提供一种查询数据的方法、装置及电子设备,能够方便快捷地查询到用户期望的业务数据。

2、第一方面,本申请实施例提供了一种查询数据的方法,该方法包括:

3、当每次接收到用户输入的数据需求时,利用微调后的大语言模型处理数据需求,生成参考sql语句;

4、根据参考sql语句和真实数据表,创建执行视图;

5、利用执行视图查询出与数据需求对应的目标数据。

6、在第一方面的一种可能的实现方式中,该方法还包括:

7、分别创建当前数据集市中的每个数据主题域对应的总体视图,总体视图用于表示每个数据主题域下多个数据表的整体结构;

8、利用总体视图对大语言模型进行微调,得到微调后的大语言模型。

9、在这种实现方式中,大语言模型通过学习总体视图可以间接地掌握整个数据集市的结构,减小了计算资源的消耗。微调后的大语言模型将用户的自然语言提问转化为符合规范的并且贴合数据集市结构的sql语句,而传统方案中大语言模型需要学习数据集市中每一个字段和数据的含义和逻辑,难度很大。而利用总体视图,能够减少大语言模型进行训练时的数据表和数据字段的数量,简化数据逻辑。

10、在第一方面的一种可能的实现方式中,分别创建当前数据集市中的每个数据主题域对应的总体视图,包括:

11、针对每个数据主题域,从该数据主题域下的多个真实数据表中按照使用频率筛选出多个字段;

12、将上述多个字段按照数据的关联性进行组合,得到总体视图。

13、在第一方面的一种可能的实现方式中,根据参考sql语句和真实数据表,创建执行视图,包括:

14、解析参考sql语句,得到总体视图名称、待查询内容相关的所有待查询字段、所有条件字段和每个条件字段对应的条件值;

15、根据总体视图名称确定数据主题域;

16、从数据主题域下的多个真实数据表中筛选出存在第一条件字段且满足第一条件字段对应的条件值的所有目标数据表,第一条件字段为所有条件字段中的一个或多个条件字段;

17、结合待查询字段和目标数据表创建执行视图。

18、在第一方面的一种可能的实现方式中,结合待查询字段和目标数据表创建执行视图,包括:

19、当目标数据表为多个表时,确定每个目标数据表中包含的待查询字段和条件字段;

20、针对每个目标数据表,根据所包含的待查询字段,从该目标数据表中筛选满足所包含的条件字段对应的条件值的记录;

21、将经过筛选后的所有记录按照目标数据表的关联字段进行连接,并将连接后的记录确定为执行视图。

22、在第一方面的一种可能的实现方式中,利用执行视图查询出与数据需求对应的目标数据,包括:

23、结合参考sql语句中的待查询内容和执行视图的视图名称,生成目标sql语句;

24、利用目标sql语句查询出目标数据。

25、在第一方面的一种可能的实现方式中,该方法还包括:

26、将目标数据以图表形式展示。

27、第二方面,本申请还提供了一种查询数据的装置,该装置具有实现第一方面或其任意可能的实现方式中的方法的功能。具体地,该装置包括实现第一方面或其任意可能的实现方式中的方法的单元。

28、在其中的一个实施例中,该装置包括:

29、初始单元,用于当每次接收到用户输入的数据需求时,利用微调后的大语言模型处理数据需求,生成参考sql语句;

30、处理单元,用于根据参考sql语句和真实数据表,创建执行视图;

31、输出单元,用于利用执行视图查询出与数据需求对应的目标数据。

32、第三方面,本申请还提供了一种电子设备。该电子设备包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序。处理器执行计算机程序时实现上述第一方面任意一种实现方式的方法。

33、第四方面,本申请还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述第一方面任意一种实现方式的方法。

34、第五方面,本申请还提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面任意一种实现方式的方法。

35、本申请实施例与现有技术相比存在的有益效果是:

36、本申请实施例利用大语言模型理解用户输入的关于所需查询数据的自然语言提问,并生成参考sql语句,来缩小查询范围,再进一步地解析参考sql语句,生成真实可操作的执行视图,之后从执行视图中进行精确查询,从而使得查询出来的数据能够满足用户的数据需求,方便快捷。本申请实施例的方法,一方面,用户只需要输入期望查询的内容,以自然语言的形式进行提问,操作简便;另一方面,根据大语言模型生成的参考sql语句创建出的执行视图可以对搜索范围进行针对性地聚焦,从而缩短查询开销,降低查询成本,同时使得查询结果更为准确。



技术特征:

1.一种查询数据的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述分别创建当前数据集市中的每个数据主题域对应的总体视图,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述参考sql语句和真实数据表,创建执行视图,包括:

5.根据权利要求4所述的方法,其特征在于,所述结合所述待查询字段和所述目标数据表创建执行视图,包括:

6.根据权利要求1中所述的方法,其特征在于,所述利用所述执行视图查询出与所述数据需求对应的目标数据,包括:

7.根据权利要求1至6中任一所述的方法,其特征在于,所述方法还包括:

8.一种查询数据的装置,其特征在于,包括:

9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,使得所述电子设备实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被电子设备执行时实现如权利要求1至7中任一项所述的方法。


技术总结
本申请公开了一种查询数据的方法,包括:当每次接收到用户输入的数据需求时,利用微调后的大语言模型处理数据需求,生成参考SQL语句;根据参考SQL语句和真实数据表,创建执行视图;利用执行视图查询出与数据需求对应的目标数据,能够在给出用户期望的目标数据的同时,减少查询的计算量,提高问答交互式数据查询的查询效率。

技术研发人员:刘顺文,许先才,熊磊,李世祥
受保护的技术使用者:深圳市云积分科技有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1833400.html

最新回复(0)