本申请属于电子设备,具体涉及一种词条生成方法和词条生成装置。
背景技术:
1、目前,基于大模型的应用程序层出不穷,在这些应用程序中大都有联想词或推荐词相关的功能,其主要场景是在大模型进行推理输出后,对输出的内容进行联想提问或者问题推荐,使得用户可以逐步的获取到自己想要的答案。
2、在相关技术中,大模型推理通常是通过提示词(prompt)工程确定,也就是,让大模型以json的格式输出多个联想词或者推荐词,但是,这种方案的处理时间较长,无法满足词条推荐的需求。
技术实现思路
1、本申请实施例的目的是提供一种词条生成方法和词条生成装置,能够解决生成推荐词条的时长较长的技术问题。
2、第一方面,本申请实施例提供了一种词条生成方法,包括:
3、接收生成词条的第一输入信息;
4、根据第一输入信息,生成一份kv缓存;
5、根据词条的目标生成数量n,将kv缓存复制,得到n份kv缓存;
6、对n份kv缓存进行并行解码,生成n个词条。
7、第二方面,本申请实施例提供了一种词条生成装置,包括:
8、接收模块,用于接收生成词条的第一输入信息;
9、生成模块,用于根据第一输入信息,生成一份kv缓存;
10、复制模块,用于根据词条的目标生成数量n,将kv缓存复制,得到n份kv缓存;
11、解码模块,用于对n份kv缓存进行并行解码,生成n个词条。
12、第三方面,本申请实施例提供了一种电子设备,包括处理器,存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面提供的词条生成方法。
13、第四方面,本申请实施例提供了一种可读存储介质,该可读存储介质上存储程序或指令,该程序或指令被处理器执行时实现如第一方面提供的词条生成方法的步骤。
14、第五方面,本申请实施例提供了一种芯片,该芯片包括处理器和通信接口,该通信接口和该处理器耦合,该处理器用于运行程序或指令,实现如第一方面提供的词条生成方法的步骤。
15、第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面提供的词条生成方法的步骤。
16、在本申请实施例中,接收生成词条的第一输入信息,响应于第一输入信息,生成kv缓存,并且,根据需要推荐词条的目标生成数量n复制kv缓存,使得kv缓存的数量和目标生成数量相同,得到n份kv缓存,进而对n份kv缓存进行并行的解码,每一份kv缓存对应得到一个词条,从而生成n个词条,进而可以只根据n份相同的kv缓存,得到n个词条,避免因生成多份不同的kv缓存而导致的时间的浪费,从而节省生成词条的时间。
1.一种词条生成方法,其特征在于,包括:
2.根据权利要求1所述的词条生成方法,其特征在于,所述对所述n份kv缓存进行并行解码,生成n个词条的步骤,包括:
3.根据权利要求2所述的词条生成方法,其特征在于,所述为每份所述kv缓存匹配解码参数的步骤,包括:
4.根据权利要求1至3中任一项所述的词条生成方法,其特征在于,所述对所述n份kv缓存进行并行解码,生成n个词条的步骤,包括:
5.根据权利要求1至3中任一项所述的词条生成方法,其特征在于,所述接收生成词条的第一输入信息的步骤,包括:
6.一种词条生成装置,其特征在于,包括:
7.根据权利要求6所述的词条生成装置,其特征在于,所述解码模块包括:
8.根据权利要求7所述的词条生成装置,其特征在于,所述匹配子模块包括:
9.根据权利要求6至8中任一项所述的词条生成装置,其特征在于,所述解码模块包括:
10.根据权利要求6至8中任一项所述的词条生成装置,其特征在于,所述接收模块包括: