本发明实施例涉及信息处理技术领域，特别是涉及一种演讲稿测评方法及设备。
背景技术：
演讲是一种特殊环境下的说话交流方式,专业的演讲训练需要反复的训练。在训练过程中，及时打分评估找到不足可以加快训练进度。对演讲的打分包括表情姿态、语音语速以及演讲内容等方面。
演讲内容最常见的打分方法为建立回归模型，即通过建立海量的数据集收集不同分数段的演讲内容，使用人工方式设计特征或机器自动抽取特征，计算各项特征对分数的贡献度，提取有效特征并建立特征和分数间的关系。训练回归模型是通过演讲稿数据集提取特征，并建立特征和分数间的关系，并以权重矩阵的形式存储。但此种方法需要依赖于大量数据，样本需要覆盖各分数段、主题等数据，否则打分结果会成随机分布，影响整个打分的有效性和公平性。在实际应用中，演讲训练开始的时候只有少数几个优秀的样本，极度缺乏中低分数样本。而且开放数据资源中的其他演讲数据集也是同样的情况，只留下了演讲最好的案例，无法直接通过迁移学习进行学习。
技术实现要素：
有鉴于此，本发明实施例提供了一种演讲稿测评方法及设备，主要目的在于解决传统测评方法中需样本数据大，样本种类少，测评结果有效性及公平性差的问题。
为了解决上述问题，本发明实施例主要提供如下技术方案：
第一方面，本发明实施例提供了一种演讲稿测评方法，该方法包括：
获取多个演讲稿；
分别将各个所述演讲稿分割为若干小节；
利用神经网络模型对全部所述小节和多个不同的预设问题进行识别，其中依次将各个所述预设问题与全部所述小节作为输入数据，所述神经网络模型对输入数据提取特征数据，根据所述特征数据输出全部所述小节对于预设问题的排序信息，用于表示各个所述小节对于回答预设问题的认可度。
根据全部所述小节对于各个所述预设问题的排序信息确定各个演讲稿的测评结果。
可选的，在利用神经网络模型对全部所述小节和多个不同的预设问题进行识别之前，还包括：
获取多个训练数据，每一个所述训练数据分别包括多个样本答案和一个预设问题，以及各个样本答案对于所述预设问题的排序信息；
利用所述多个训练数据对所述神经网络模型进行训练，所述神经网络根据多个样本答案和一个预设问题输出排序信息，并根据输出的排序信息与训练数据中的排序信息的差异优化模型参数。
可选的，获取多个训练数据具体包括：
在指定的若干网页中爬取与所述预设问题相关的上下文及相应的回答内容；
根据各个回答内容在所述网页中的排序情况得到所述排序信息。
可选的，根据全部所述小节对于各个所述预设问题的排序信息确定各个演讲稿的测评结果具体包括：
在全部所述小节对于各个所述预设问题的排序信息中，获取属于同一演讲稿的各个小节对于各个预设问题的最高排名信息；
根据同一演讲稿的各个所述最高排名信息得到针对所述演讲稿的测评结果。
可选的，所述排名信息对应预设分值；所述测评结果是根据各个预设分值得到的一个分值。
可选的，所述演讲稿是基于对演讲录音进行语音识别得到的文字数据，并且在语音识别过程中记录语音的停顿时间长度；在分别将各个所述演讲稿分割为若干小节的步骤中，根据演讲稿的语义以及演讲语音中的停顿时间长度将演讲稿分割为若干小节。
可选的，所述排序信息中包括为空的排名和/或并列的排名信息。
可选的，所述神经网络模型对输入数据提取特征数据的过程中，采用注意力机制对来自所述小节的文本数据和来自所述预设问题的文本数据进行处理，并基于处理后得到的特征数据输出排序信息。
第二方面，本发明实施例提供了一种演讲稿测评设备，该设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述演讲稿测评方法。
第三方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述演讲稿测评方法。
根据本发明提供的演讲稿测评方法及设备，将对于整篇演讲稿的测评任务转换为对问题和答案受认可度的测评，不需要提供大量质量不同的演讲稿作为神经网络的学习样本，只需要预设与演讲稿主题相关的问题，并准备相应的受认可度不同的答案，即可训练神经网络模型，进而完成对多篇演讲稿的测评，解决了现有技术中由于缺少样本难以对演讲稿测评的问题，并且本方案准确率高。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例中的一种演讲稿测评方法的流程图；
图2示出了本发明实施例中的另一种语义的测评方法的流程图；
图3示出了本发明实施例中得到针对段落的测评结果示意图；
图4示出了本发明实施例中的神经网络模型的工作过程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明提供一种演讲稿测评方法，该方法可以由计算机、服务器等电子设备执行，如图1所示，该方法包括如下步骤：
101、获取多个演讲稿。
102、分别将所述各个演讲稿分割为若干小节。
在本发明实施例中，所述的若小节是指表达某一论点的段落，可能是一个自然段，也可能是多个。示例性的：多个自然段都在讲产品的优点，则要把这多个自然段作为一个段落。将c11……c1n，表示第一篇演讲稿的小节、c21……c2n表示第二篇演讲稿的小节，cn1……cnn表示第n篇演讲稿的n个小节。演讲稿的分割方式可以包括但不局限于以下方式：通过现有的语义识别技术，根据文本内容的语义将整篇文稿分成几个小节。也可以根据语音识别结果，综合停顿、语意形成分节，具体的不做限定。
103、利用神经网络模型对全部所述小节和多个不同的预设问题进行识别，其中依次将各个所述预设问题与全部所述小节作为输入数据，所述神经网络模型对输入数据提取特征数据，根据所述特征数据输出全部所述小节对于预设问题的排序信息，用于表示各个所述小节对于预设问题的认可度。
认可度也可解释为受欢迎程度，是由神经网络对训练数据进行识别而学习到的。比如训练神经网络时，可以人工准备答案和问题，并且由人工给出这些答案对于相应问题的排序情况，也即人为各个答案的受欢迎程度/认可度；当然也可以从其它问答数据库中迁移数据作为训练神经网络的样本数据。训练神经网络的方法，以及样本数据的设置和获取途径有多种，具体将在后续实施例中进行介绍。由此可知，本方案中的神经网络不是用于识别答案与问题之间的浅层语义关联，而是基于学习到的知识模拟人的思维对多个答案进行排序，排名越靠前的答案，表示其受认可度/受欢迎程度越高，认为人们应该会更喜欢该答案。但从语义层面来看，排名靠前的答案不一定比靠后的答案与预设问题的关联性更高。
图4示出了神经网络的工作过程示意图，本方案利用训练好的神经网络，对分割好的小节进行识别，输出排序信息。具体地，预设问题和分割好的小节作为网络的输入，如问题1 c11……cnn作为输入，输出c11……cnn对于预设问题1的排序信息；同样的，问题2 c11……cnn作为输入，输出c11……cnn对于预设问题2的排序信息。所述的预设问题是根据演讲稿的内容进行设定的，具体可以根据演讲稿的主题设置相关的问题作为预设问题。排序越靠前的小节，表示对于回答预设问题的认可度/受欢迎程度越高。
104、根据全部所述小节对于各个所述预设问题的排序信息确定各个演讲稿的测评结果。
在一个实施例中，测评结果为分值，在根据排序情况给出得分之前，需要设定排序与得分的对应关系，比如排序第一的情况对应10分、排序第二对应8分等等。假设预定问题有两个，段落c11……c1n对这两个问题都有相应的排序情况，这里取排序最高的，比如c11针对问题1的排序是排第二（最高），那么得分是8；c14针对问题2的排序是排第三（最高），得分为6。计算该篇演讲稿这对这两个问题的总得分方法可以包括但不局限于以下内容：直接相加、加权相加、加权平均等等。
在其它实施例中，测评结果也可以是分类结果，比如预先设定“优秀”、“良好”、“中等”、“较差”等类别，对神经网络输出的排序信息进行分类，得到针对各个演讲稿所属的类别。
根据本发明提供的演讲稿测评方法及设备，可以将对于整篇演讲稿的测评任务转换为对问题和答案受认可度的测评，不需要提供大量质量不同的演讲稿作为神经网络的学习样本，只需要预设与演讲稿主题相关的问题，并准备相应的受认可度不同的答案，即可训练神经网络模型，进而完成对多篇演讲稿的测评，解决了现有技术中由于缺少样本难以对演讲稿测评的问题，并且本方案准确率高。
本发明实施例还提供一种演讲稿的测评方法，如图2所示，所述方法包括：
201、获取多个训练数据，每一个所述训练数据分别包括多个样本答案和一个预设问题，以及各个样本答案对于所述预设问题的排序信息。
在本发明实施例中，需要对神经网络模型进行训练，一组训练数据包括一个预设问题以及对应的多个候选答案，比如预设问题是“下文描述了哪些基本事实”，对应的候选答案有40个，标签是40个答案的排序情况，是基于人的主观意愿给出的。排序越靠前表示答案的质量约高，可解释为排序越靠前的样本答案的认可度越高、受欢迎程度越高、人们更喜欢。
在本发明实施例中，对于多个训练数据的方式可通过在指定的若干网页中爬取与所述预设问题相关的上下文及相应的回答内容，需要说明的是，当存在重复的回答内容时，需要先进行合并后得到样本答案；根据各个回答内容在所述网页中的排序情况得到所述排序信息。示例性的：某一主题的演讲稿的预设问题在互联网中（比如问答系统）可以查找到相符的问题，并且能够获取对该问题的回答，其中某个回答被提问者评选为最佳答案，其他回答排在其后，可以根据提问者与回答者之间互动的情况，如热度等排名，这个排名可以直接作为训练数据的标签。
需要说明的是，排序的数量不等于候选答案的数量，比如有40个候选答案，而排序数量是10个。排序可以出现并列和空白。比如排序第一的答案是0个、排序第二的答案是0个，排序第三的答案是2个或者3个等，因此所述的排序信息中包括为空的排名和/或并列的排名信息。
预设问题是根据演讲稿内容设定的，每次测评对应的则为同一主题的演讲稿，在预设问题时可以针对演讲稿的主题设置一些问题，示例性的：“下文描述了哪些基本事实”、“相对于其他产品优点有那些”、“使用者可以得到什么样的好处”、“主人公做了什么事”、“主人公有什么先进事迹”等等。参照常见问答系统的答案排序的常见做法，我们将选取k个候选答案，和演讲稿放在一起。topk算法首先针对指定的问句,先找到top-n(示例性的:n=10)个相关文档，可使用tf-idf或bm25算法。接下来将n个文档其分割为段落，得到一个远大于n的候选答案组，从中挑选topk个候选答案（示例性的：k=40)，需要说明的是上述示例的相关文档及候选答案的数量只是举例，并非意在限定其数量。
202、利用所述多个训练数据对所述神经网络模型进行训练，所述神经网络根据多个样本答案和一个预设问题输出排序信息，并根据输出的排序信息与训练数据中的排序信息的差异优化模型参数。
在本发明实施例中，选用两层的前馈神经网络，输入是预设问题和若干候选答案，输出是若干候选答案的标签。利用上述多个训练数据对网络进行训练，网络输出的排序与标签的差异决定loss，从而优化网络参数。
网络表示为f(xi)=relu(xiat b1)bt b2
其中xi表示attention后的特征，a∈rm×d且b∈r1×m为被优化的权重矩阵参数，b1∈rm且b2∈r为线性偏执向量。
203、获取多个演讲稿。
204、分别将各个所述演讲稿分割为若干小节。
在具体实施过程中，所述演讲稿是基于对演讲录音进行语音识别得到的文字数据，并且在语音识别过程中记录声音的停顿时间长度；在分别将各个所述演讲稿分割为若干小节的步骤中，根据演讲稿的语义以及演讲录音中的停顿时间长度将演讲稿分割为若干小节。
205、利用神经网络模型对全部所述小节和多个不同的预设问题进行识别，其中依次将各个所述预设问题与全部所述小节作为输入数据，所述神经网络模型对输入数据提取特征数据，根据所述特征数据输出全部所述小节对于预设问题的排序信息，用于表示各个所述小节对于回答预设问题的认可度/受欢迎程度。
神经网络模型的测评过程如图3所示，在优选的实施例中，神经网络模型对输入数据提取特征数据的过程中，采用注意力机制（attention）对来自所述小节的文本数据和来自所述预设问题的文本数据进行处理，并基于处理后得到的特征数据输出排序信息。
206、在全部所述小节对于各个所述预设问题的排序信息中，获取属于同一演讲稿的各个小节对于各个预设问题的最高排名信息。
在本发明实施例中，每个排序信息都对应一个预设分值，如排序第一的情况对应10分、第二对应8分等，具体根据实际需求设定排名与分值的对应关系。
207、根据同一演讲稿的各个所述最高排名信息得到针对所述演讲稿的测评结果。
在本发明实施例中，对同一演讲稿中的每一个问题应在演讲内容中找到一个最相关的答案确定得分，示例性的：假设预定问题有两个，段落c11……c1n对这两个问题都有相应的排序情况，这里取排序最高的，比如c11针对问题1的排序是排第二（最高），那么得分是8；c14针对问题2的排序是排第三（最高），得分为6。
需要说明的是综合得分的算法可以是每个问题得分直接相加得到综合得分，也可以根据问题的重要程度设置权重，示例性的：如图1，可以将每一个答案得分相加得到最终得分35 30。也可以根据问题重要程度设置权重，如将问题1权重设置为1.2，问题2的设置为0.8，则最终得分为1.2*35 0.8*30，具体的综合得分计算方式及权重设置不做限定。
本发明实施例迁移了知识问答系统的技术和数据，构造了缺少数据难以打分的演讲稿予以测评方法，该测评模型准确率高而且可解释性强，不但可以给出分数，而且可以给出相应分值的类似案例。
本发明实施例还提供一种演讲稿测评设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述实施例所述的方法。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述实施例所述的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
