本发明属于机器学习，尤其涉及一种可控文本生成方法及系统。
背景技术：
1、目前，可控文本生成(controlled text generation，ctg)指的是使用机器学习技术生成自然语言文本，同时可以控制生成文本的特征和内容，如语言风格、主题、情感等。这种技术在机器翻译、自动对话系统、自动摘要、情感分析等领域具有广泛应用。可控文本生成的背景是由于人类在使用语言时具有很强的控制力，人们可以在不同场景下使用不同的语言风格以及控制文本表达的情感等特征。因此，让机器能够进行可控文本生成可以更好地满足人们的需求。在实际应用中，可控文本生成技术可以帮助企业快速生成商业汇报、营销文案、新闻报道等文本内容，减少人力成本和时间成本。此外，可控文本生成还可以用于个性化对话系统的开发，从而提高用户体验和互动效果。这些应用背景说明可控文本生成对于促进社会和经济发展具有重要作用。
2、目前可控文本生成技术已经取得了很大的进展，主流的可控文本生成方法有三类：1、重新训练模型。以ctrl((keskar et al.,2019))、cocon((chan et al.,2020))为首训练模型有着优秀的控制效果，但需要大量语料用作训练支撑，训练代价极大。2、属性判别器。pplm(dathathri et al.,2020)、fudge(yang and klein,2021)通过训练一个额外的属性判别器来改变生成模型解码的概率分布从而达到控制生成文本具有某种属性的效果，但是判别器与生成模型分离会导致计算时间增加、文本生成质量下降。3、prompt-tuning。prompt是一种在机器学习模型中提供初始文本输入的技术，通常被应用于语言模型中，通过在模型之前插入一些提示文本，来指导模型的生成结果。但是存在两个问题：一是提示距离随着当前解码步骤的进行而增加，距离是负相关，模型失去提示效果(zou et al.,2021)；二是提示移到解码步骤附近，会破坏整个上下文窗口，增加模型遵守所有先前上下文的难度。
3、针对prompt的两个问题，non-residual attention(carlsson et al.,2022)的提出让clm(causal language model)可以得到及时的完整的提示信息，并关注当前所输出的文本信息。该方法在常识文本生成上取得了不错的成绩，但在提示信息与输入信息并存的数据集中，生成模型的控制能力并不明显。本发明认为将提示文本与输入文本以自然语言的形式构造难度大，以模板的形式构造会造成语法冲突，而因果语言模型单向的特性也导致了过长的输入存在一定的信息损失。
4、通过上述分析，现有技术存在的问题及缺陷为：
5、典型的clm中prompt构造方式使得提示文本信息与输入文本信息的组合过长，并且设计prompt难度大，固定模板组合会影响语法结构，加大提示模型的理解难度，影响生成模型的控制效果。
技术实现思路
1、针对现有技术存在的问题，本发明提供了一种可控文本生成方法，包括以下步骤：首先，针对同时有提示信息和输入信息的文本任务，将提示文本与输入文本分离处理；其次，利用提示模型处理提示信息以得到增强提示信息，同时由生成模型处理输入文本，并结合增强提示信息生成输出文本；最后，在生成模型中加入copy机制，使得模型在生成输出文本时能够包含输入文本信息或提示文本信息的关键部分。
2、进一步，提示模型的设计和功能，其中提示模型专门用于分析和处理提示信息，通过特定的算法或机制提炼和扩展原始提示信息，生成增强提示信息。该增强提示信息随后用于辅助生成模型，以确保输出文本不仅遵循输入文本的内容，同时也反映了提示信息的指导意图。
3、进一步，生成模型的构造和copy机制的集成。生成模型不仅处理输入文本，还结合了来自提示模型的增强提示信息来生成相关联的输出文本。通过内置的copy机制，生成模型能够在必要时直接引用输入文本或增强提示信息中的关键信息，以提高输出文本的准确性和相关性。
4、进一步，所述步骤一具体为：
5、提示模型只处理提示信息，将输入文本交由生成模型处理；在时间步长n，文本流自身关注当前时间步长和先前的文本键值，非剩余流关注当前时间步长、以前的输出文本键值、提示模型的键值和输入文本的键值；最后，根据非剩余流计算下一步预测。
6、进一步，对于输入文本c和提示文本p，有
7、kvc＝enc-nonresidualgpt2(c)
8、
9、
10、改进后的non-residualattention计算公式为
11、
12、attention＝attn_weight[-1：]*v+attn_weight[：-1]*[vp，vc，vt]。
13、进一步，所述步骤二在生成模型的解码层顶端加入copynet用于拷贝提示文本和输入文本中的词汇以达到细粒度控制和保证上下文一致性的目的，生成模型的注意力分布是通过对解码器的prompt部分和输入文本部分的交叉注意力块中的多个头进行平均来获得的：
14、
15、其中，h是关注头的数量，api表示第i个关注头在clm上的提示文本注意力分布，aci表示第i个关注头在clm上的输入文本注意力分布。
16、进一步，所述步骤二具体为：
17、在生成文本时，首先将获取生成模型解码器的隐藏状态hdec，从提示模型中获取提示文本的隐藏状态hp和提示文本序列epy，生成模型经过自我注意力机制得到的输入文本的隐藏状态hc，以及从生成模型中获取输入文本序列ecy；然后计算生成概率pgen用于选择是根据pvoc从词汇表中选取单词还是通过平均注意力中抽样分布从提示文本和输入文本中复制一个单词，一个单词的最终分布可以表示如下：
18、
19、
20、本发明的另一目的在于提供一种可控文本生成系统，包括：
21、提示处理模块：用于处理提示信息，该模块接收提示文本作为输入，独立于生成模型运作，专门处理提示信息以产生增强的提示信息，进而引导生成模型的文本生成过程；
22、模型生成模块：用于处理输入文本和生成输出文本，该模型结合增强的提示信息和原始输入文本，通过内置的copy机制在输出时能够选择性地包含输入文本信息或提示文本信息，以实现可控的文本生成；
23、非剩余注意力机制模块：在生成模型中实现，用于在每个时间步长n上，处理当前及先前的文本流，同时关注输入文本的键值、增强提示信息的键值以及已生成的输出文本的键值，以计算下一步的预测输出；
24、copynet模块：集成于生成模型的解码层顶端，负责从提示文本和输入文本中拷贝词汇到输出中，其注意力分布是通过对提示部分和输入文本部分的交叉注意力块中的多个头进行平均获得的，进而决定生成文本时是从词汇表中选择单词还是通过平均注意力分布从提示文本和输入文本中复制单词。
25、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行可控文本生成方法的步骤。
26、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行可控文本生成方法的步骤。
27、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
28、第一、本发明针对prompt设计难度大，固定模板会破坏语法结构的问题对non-residual attention做出改进，将提示信息与输入文本分开处理，并将copy机制融合进clm中以提高提示文本的生成概率和保证上下文一致性，使生成的文本能得到更加细粒度的控制。该方法在带有标记人物、情绪和动作的rocstory上，效果比原模型方法有了一定提升效果。
29、本发明通过创新的技术方案有效解决了现有技术中的问题，实现了在保证生成文本准确性和相关性的同时，提高了文本生成的控制力度、灵活性和多样性，代表了在可控文本生成领域的显著技术进步。
30、提高了生成文本的准确性和相关性：通过精准控制提示信息和输入信息的利用，生成的文本更加贴合用户的需求和给定的指导信息，提高了文本的准确性和相关性。
31、增强了文本生成的灵活性和多样性：引入的copy机制允许模型在需要时直接引用输入或提示信息中的文本，增加了生成文本的多样性和灵活性，同时保证了信息的准确引用。
32、提升了文本生成的控制力度：通过非剩余注意力机制和copy机制，本发明实现了对生成过程的精细控制，使得生成文本能够更好地反映输入信息和提示信息的融合，提升了控制力度。
33、第二，本发明通过对non-residual attention做出改进，由提示模型处理提示信息得到增强提示，使得生成模型可以在任意时间步得到完整的增强提示信息和完整的输入文本信息，同时针对上下文文本的一致性问题以及突显模型的控制性，在生成模型中加入copy机制，使得模型输出能够包含输入文本信息或者提示文本信息，体现上下文的一致性和输出的控制性。基于带有标记人物、情绪和动作的rocstory数据集，结果表明改进后的non-residual attention和模型比原方法有着更好的控制和生成效果。
1.一种可控文本生成方法，其特征在于，包括以下步骤：针对同时有提示信息和输入信息的文本任务，将提示文本与输入文本分离处理；利用提示模型处理提示信息以得到增强提示信息，同时由生成模型处理输入文本，并结合增强提示信息生成输出文本；在生成模型中加入copy机制，使得模型在生成输出文本时能够包含输入文本信息或提示文本信息的关键部分。
2.根据权利要求1所述的可控文本生成方法，其特征在于，提示模型的设计和功能，其中提示模型专门用于分析和处理提示信息，通过特定的算法或机制提炼和扩展原始提示信息，生成增强提示信息。该增强提示信息随后用于辅助生成模型，以确保输出文本不仅遵循输入文本的内容，同时也反映了提示信息的指导意图。
3.根据权利要求1所述的可控文本生成方法，其特征在于，生成模型的构造和copy机制的集成。生成模型不仅处理输入文本，还结合了来自提示模型的增强提示信息来生成相关联的输出文本。通过内置的copy机制，生成模型能够在必要时直接引用输入文本或增强提示信息中的关键信息，以提高输出文本的准确性和相关性。
4.如权利要求1所述的可控文本生成方法，其特征在于，所述步骤一具体为：
5.如权利要求4所述的可控文本生成方法，其特征在于，对于输入文本c和提示文本p，有
6.如权利要求1所述的可控文本生成方法，其特征在于，所述步骤二在生成模型的解码层顶端加入copynet用于拷贝提示文本和输入文本中的词汇以达到细粒度控制和保证上下文一致性的目的，生成模型的注意力分布是通过对解码器的prompt部分和输入文本部分的交叉注意力块中的多个头进行平均来获得的：
7.如权利要求1所述的可控文本生成方法，其特征在于，所述步骤二具体为：
8.一种如权利要求1所述方法的可控文本生成系统，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1所述可控文本生成方法的步骤。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1所述可控文本生成方法的步骤。
