本发明涉及汉语教育行业领域及语言信号处理技术领域,具体涉及一种面向外国留学生的演讲评测方法、装置及系统。
背景技术:
在汉语发展传播时期,汉语学习者大都是在学校进行系统性学习,无论是课本教材还是教师用语基本上都是书面语居多,口语的教授和使用相对较少。因此汉语学习者在学习汉语时普遍存在以下两个问题:一是缺少口语练习的机会;二是有的汉语学习者很想做口语练习,却因为无人评价反馈而无法坚持练习。市面上口语练习的平台和资源都偏少,这是因为口语是一门很有针对性的课程,它没有一个统一的参考标准。每个人都会有不一样的表达,因此评价反馈也会因此而不同。
技术实现要素:
本发明的主要目的在于提出一种面向外国留学生的演讲评测方法、装置及系统,提供客观、专业、通用、体系化的针对汉语学习者的口语能力评判标准,对汉语学习者自身能力提升以及汉语教育行业的发展有促进作用。
本发明采用如下技术方案:
第一方面,一种面向外国留学生的演讲评测方法,包括:
获取演讲者的演讲语音数据;
对所述演讲语音数据进行语音识别,得到识别文本数据;
分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
优选的,提取流畅度特征的方法,包括:
统计所述演讲语音数据中停顿出现的次数td;停顿指的是对所述演讲语音数据采用vad算法进行端点检测,获取到语音的端点位置,求相连两个端点之间的时长,超过设置的阈值ht说明出现停顿;
基于停顿出现的次数td设计输出语音流畅度s;其中,语音流畅度s的取值与所述停顿次数呈反比,即停顿次数越少,语音流畅度s的取值越大;
优选的,提取有效性特征的方法,包括:
统计所述识别文本数据中停顿词的数量以及无效重复语音文本的出现次数;具体的,通过基于停顿词表统计文本中停顿的词数量i,基于规则的方法统计文本中的无效重复语音文本的出现次数j;
将停顿词的数量和无效重复语音文本的出现次数作为有效性特征。
优选的,提取语速特征的方法,包括:
获取所述识别文本数据的文本长度l及所述演讲语音数据的音频长度t,计算出语速l/t;
将语速l/t作为语速特征。
优选的,提取语音基础分特征的方法,包括:
获取所述演讲语音数据的音频长度t,获取所述音频长度t与预设阈值hvt的比值;所述预设阈值hvt为能使演讲者获得语音基础分满分的演讲音频长度;
将所述音频长度t与预设阈值hvt的比值作为语音基础分特征。
优选的,提取主谓宾句法分析特征的方法,包括:
统计所述识别文本数据的n句文本中,符合语法结构信息标准的句子数量g,得到文本句子结构标准率g/n;
将文本句子结构标准率g/n作为主谓宾句法分析特征。
优选的,提取混合句型特征的方法,包括:
统计所述识别文本数据的n句文本中,符合标准句型的句子数量m,得到文本句型标准率m/n;
将文本句型标准率m/n作为主谓宾句法分析特征。
优选的,提取词汇使用是否得当特征的方法,包括:
统计所述识别文本数据的n句文本中,文本出错数量w;
将文本出错数量w作为词汇使用是否得当特征。
优选的,提取语言框架得分特征的方法,包括:
将所述识别文本数据以句子为单位进行拆分为一个数组,同时以词为单位进行分词,将分词后的数组与语言框架词典进行匹配,计算符合语言框架句子数量f;
将符合语言框架句子数量f作为语言框架得分特征。
优选的,提取情感是否健康特征的方法,包括:
首先使用大规模语料库通过word2vec训练出词向量,然后将所述识别文本数据进行分词操作,并找出每个词对应的词向量wordi,通过余弦距离来衡量所述识别文本数据中词向量与违规词典中词向量两个向量方向的差异,其计算方法为
将所述余弦距离作为情感是否健康特征。
优选的,提取主题是否相符特征的方法,包括:
根据所述识别文本数据匹配的主题词数量p与所有主题词数量pall,统计出所述识别文本数据与题目的主题相符率p/pall;
将所述主题相符率p/pall作为主题是否相符特征。
优选的,提取口语表达思考力特征的方法,包括:
对所述识别文本数据以句子的单位进行分析匹配书面语词典,统计书面语的句子数量wr;
将书面语的句子数量wr作为口语表达思考力特征。
优选的,提取语篇基础分特征的方法,包括:
将所述识别文本数据的长度作为用户语篇基础分的基础得分q,对于所述识别文本数据,若标准文本长度为lstandard,语音的标准基础分为scoretext_basic,所述识别文本数据的长度为l,计算出用户语篇基础分
将用户语篇基础分q作为语篇基础分特征。
优选的,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果,包括:
基于提取的流畅度特征、有效性特征、语速特征、语音基础分特征、主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征,分别获取对应的得分,并通过求和计算出总得分,以实现对所述演讲语音数据进行评价,得到演讲的评测结果。
另一方面,一种面向外国留学生的演讲评测装置,包括:
语音数据获取模块,用于获取演讲者的演讲语音数据;
语音数据识别模块,用于对所述演讲语音数据进行语音识别,得到识别文本数据;
特征提取模块,分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
评测模块,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
再一方面,一种面向外国留学生的演讲评测系统,包括:
客户端,用于获取演讲者的演讲语音数据;
服务器,用于所述客户端发送的所述演讲语音数据;对所述演讲语音数据进行语音识别,得到识别文本数据;分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;以及,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果;并将所述评测结果发送至客户端显示。
与现有技术相比,本发明的有益效果如下:
(1)本发明的针对汉语学习者的口语能力方法标准客观、专业、通用及具有体系化,并且采用基于语料库的方法设计了各个评测特征的计算方法;本发明可以对汉语学习者自身能力提升以及汉语教育行业的发展有促进作用;
(2)在了解了目前汉语学习者的口语练习需求后,秉着“语言不是学出来的,而是练出来的”的学习理念,设计出了本发明的装置及系统;本发明是一个操作方便、应用灵活、设计一体化的口语练习系统,只要有一部智能手机,便可以随时随地在微信小程序上进行操练;本发明可以满足当下汉语学习者的个性化需求,并对用户的口语进行有针对性的指导;它不同于普通的口语对话练习,普通的口语对话练习具有随意的特点,目的主要是为了简单的日常交际;而本发明不仅可以锻炼汉语学习者的口语能力,而且还提高了他们的汉语思考力等其他技能的水平;本发明旨在让留学生有机会张口说中文,避免出现“哑巴中文”的现象,锻炼学生的口语表达能力,最终达到让汉语学习者听说读写四项言语技能全面发展的效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚地了解本发明的技术手段,从而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下列举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述及其他目的、优点和特征。
附图说明
图1为本发明实施例的面向外国留学生的演讲评测方法的界面示意图;
图2为本发明实施例的面向外国留学生的演讲评测方法的流程图;
图3为本发明实施例的面向外国留学生的演讲评测装置的结构框图;
图4为本发明实施例的面向外国留学生的演讲评测系统的结构框图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
参见图1和图2所示,本发明的一种面向外国留学生的演讲评测方法,包括以下步骤:(1)获取用户语音的文本数据;(2)计算演讲能力评测指标。
步骤一:获取用户语音的文本数据。
具体的包括:
s201,获取演讲者的演讲语音数据;
s202,对所述演讲语音数据进行语音识别,得到识别文本数据。
本发明中,基于面向外国留学生的演讲评测方法,设计不同层次主题,主题的相关提示,主题的范文和书面表达语料设计3个评测维度对应的场景语料。
1.不同层次的主题设计。设计出46条语料(需要说明的是,语料库是可以根据需要进行扩充的,如下仅为示例),如“我的周末”、“我的假期安排”等类型,一种程度是简单,另一种是困难。不同层次的主题设计如下表1所示,其中difficultly列表示不同层次,theme列表示主题。
表1
2.主题的相关提示的语料设计。设计5组不同的主题的相关提示语料(需要说明的是,主题的相关提示语料是可以根据需要进行扩充的,如下仅为示例)。其中tips1-tips5列分别表示对应主题下给出相关的提示语料,如下表2。
表2
3.主题的范文和书面表达语料设计。设计46组语料,设计的语料示意如下表所示(需要说明的是,语料示意是可以根据需要进行扩充的,如下仅为示例)。其中,model是范文,expression是书面化表达,用于对用户的语音和文本做相似度比较,如下表3。
表3
根据设计的小讲话内容分别展示给用户,可以获得相应的讲话音频、文本的评测、讲话得分等3个不同的对话数据集。以用户对话数据集的部分信息作为示例,内容主题为“我的周末”,如下表4所示:
表4
由上表所示,包含了3位用户在演讲评测系统中实际表现的结果,不同的用户可以选择不同的主题,不同的用户语言表达的能力和层次也不相同,从而表现出讲话的总字数和语速也不同,内容也具有显著差别,导致最后的各项得分和总得分也不同。
第二步:计算演讲能力评测指标。
具体的包括:
s203,分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
s204,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
本实施例中,提取流畅度特征的方法,包括:
统计所述演讲语音数据中停顿出现的次数;具体为对所述演讲语音数据采用vad算法进行端点检测,设置阈值ht,端点之间时间超过ht则说明出现停顿;
基于停顿出现的次数,输出语音流畅度s作为流畅度特征;其中,语音流畅度s的取值范围为[0,1],与所述停顿次数呈反比,即停顿次数越少,语音流畅度s的取值越大。
具体的,流畅度特征(指标)衡量汉语学习者的思考力和语言组织能力,是对用户说的口语文本以及用户的输入语音进行流畅度评分,评分的维度主要根据用于语音的停顿、语速、语调进行打分。对语音信息采用vad算法进行端点检测,获取到语音的端点位置,求相连两个端点之间的时长,超过设置的阈值ht说明出现停顿。通过循环神经网络对已有数据集进行大数据的训练与计算,得到流畅度判别模型,给定用户输入语音,输出语音流畅度s,语音流畅度的取值范围为[0,1],其值越大越好。
本实施例中,提取有效性特征的方法,包括:
统计所述识别文本数据中停顿词的数量以及无效重复语音文本的出现次数;具体的,通过基于停顿词表统计文本中停顿的词数量i,基于规则的方法统计文本中的无效重复语音文本的出现次数j;
将停顿词的数量和无效重复语音文本的出现次数作为有效性特征。
具体的,有效性特征(指标)判断汉语学习者在说话过程中停顿词以及无效重复语音文本的出现次数。对于中文语音,当汉语学习者表达不顺畅时会发出“额”,“啧”,“啊”这样的词语,称之为停顿词,连续多次出现的语音文本称为无效重复语音文本。对于用户语音转化为的文本,通过基于停顿词表统计文本中停顿词数量i,基于规则的方法统计文本中的无效重复语音文本出现次数j。停顿词数量和无效重复语音文本出现次数的取值范围为[0,∞],其值越小越好。
本实施例中,提取语速特征的方法,包括:
获取所述识别文本数据的文本长度l及所述演讲语音数据的音频长度t,计算出语速l/t;
将语速l/t作为语速特征。
具体的,语速特征(指标)评判汉语学习者的汉语口语熟练度。获取用户的评测文本获取到用户输入的文本长度l,与用户输入的音频长度t,计算出语速l/t,语速的取值范围为[0,∞],其值在[vlow,vhigh]之间较好,其中vlow是要求的最低语速阈值,vhigh是要求的最高语速阈值。
本实施例中,提取语音基础分特征的方法,包括:
获取所述演讲语音数据的音频长度t,获取所述音频长度t与预设阈值hvt的比值;所述预设阈值hvt为能使演讲者获得语音基础分满分的演讲音频长度;
将所述音频长度t与预设阈值hvt的比值作为语音基础分特征。
具体的,语音基础分特征(指标)衡量汉语学习者的口语语音基础能力。对用户输入的音频长度设置阈值hvt,当用户音频长度超过阈值hvt,赋予用户语音基础分满分,语音长度的取值范围为[0,∞],其值越大越好。
本实施例中,提取主谓宾句法分析特征的方法,包括:
统计所述识别文本数据的n句文本中,符合语法结构信息标准的句子数量g,得到文本句子结构标准率g/n;
将文本句子结构标准率g/n作为主谓宾句法分析特征。
具体的,主谓宾句法分析特征(指标)衡量用户的汉语语法能力,将用户输入的评测文本以句子为单位进行拆分为一个数组,同时以词为单位进行分词。然后将句子通过依存句法树分析,确定句子的句法结构或者句子中词汇之间的依存关系。进一步根据依存关系提取出句子的主谓宾定状补关系。并且我们通过专家法结合技术统计的方式统计出一个正确的句法结构字典,以句子为单位进行分析出来的主谓宾定状补结构信息送进去字典里面进行包含关系的匹配,若句子分析的主谓宾定状补的结构信息在字典中存在匹配信息,则视为句子的语法结构信息标准,若不存在则系统判定为语法结构信息有问题。对于用户输入的n句文本,计算符合语法结构信息标准的句子数量g,得到文本句子结构标准率g/n,文本句子结构标准率取值范围为[0,1],其值越大越好。
本实施例中,提取混合句型特征的方法,包括:
统计所述识别文本数据的n句文本中,符合标准句型的句子数量m,得到文本句型标准率m/n;
将文本句型标准率m/n作为主谓宾句法分析特征。
具体的,混合句型特征(指标)判断用户的汉语语法运用能力。根据《国际汉语教学通用课程大纲》给的标准句型统计出一份标准句型的字典,将用户输入的文本以句子的单位进行分析,将句子分词后,从主谓宾定状补、词语词性、关键词这三个角度进行分析,将这三个维度的信息送入到标准句型的字典总进行精准匹配,若匹配到了标准句型,则将该句子视为标准句型,否则不是标准句型。对于用户输入的n句文本,计算符合标准句型的句子数量m,得到文本句型标准率m/n,文本文本句型标准率取值范围为[0,1],其值越大越好。
本实施例中,提取词汇使用是否得当特征的方法,包括:
统计所述识别文本数据的n句文本中,文本出错数量w;
将文本出错数量w作为词汇使用是否得当特征。
具体的,词汇使用是否得当特征(指标)衡量用户的词组关联能力,通过专家字典法的方式以及开源框架pycorrector进行对用户输入的文本进行纠错,专家字典法的方法由华文教育领域的专家进行统计出易错的词语搭配,比如“戴衣服”“穿帽子”等错误搭配,进而在程序处理时,遍历文本中是否存在错误搭配,若匹配则视为文本错误。开源框架pycorrector依据语言模型检测错别字位置,通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。技术上使用了统计语言模型kenlm工具,同时使用了rnn_attention、rnn_crf、seq2seq_attention、transformer、conv_seq2seq、electra预训练模型进行联合训练,训练出文本纠错的深度学习模型用于检测用户输入的文本错误信息。对于用户输入的n句文本,计算文本出错数量w,文本出错数量取值范围为[0,∞],其值越小越好。
本实施例中,提取语言框架得分特征的方法,包括:
将所述识别文本数据以句子为单位进行拆分为一个数组,同时以词为单位进行分词,将分词后的数组与语言框架词典进行匹配,计算符合语言框架句子数量f;
将符合语言框架句子数量f作为语言框架得分特征。
具体的,语言框架得分特征(指标)衡量用户的语言逻辑能力,通过专家法整理出了语言框架词典,例如“虽然......而且......”。将用户输入的评测文本以句子为单位进行拆分为一个数组,同时以词为单位进行分词,将分词后的数组与语言框架词典进行匹配,计算符合语言框架句子数量f。语言框架句子数量取值范围为[0,n],其值越大越好。
本实施例中,提取情感是否健康特征的方法,包括:
首先使用大规模语料库通过word2vec训练出词向量,然后将所述识别文本数据进行分词操作,并找出每个词对应的词向量wordi,通过余弦距离来衡量所述识别文本数据中词向量与违规词典中词向量两个向量方向的差异,其计算方法为
将所述余弦距离作为情感是否健康特征。
具体的,情感是否健康特征(指标)判断用户的所表达的语句是否符合社会主义核心价值观,针对用户输入的文本进行文本健康审核,覆盖涉政、涉黄、涉恐、恶意推广、低质灌水、官方违禁内容库等丰富的审核维度,通过专家法整理出违规词典库;首先使用大规模语料库通过word2vec训练出词向量,然后将输入文本进行分词操作,并找出每个词对应的词向量wordi,通过余弦距离来衡量输入文本中词向量与违规词典中词向量两个向量方向的差异,其计算方法为
本实施例中,提取主题是否相符特征的方法,包括:
根据所述识别文本数据匹配的主题词数量p与所有主题词数量pall,统计出所述识别文本数据与题目的主题相符率p/pall;
将所述主题相符率p/pall作为主题是否相符特征。
具体的,主题是否相符特征(指标)评测用户所陈述的语句与系统所给题目是否主题思想一样,通过专家法根据对应的题目进行统计出该题目的主题词,将主题词以字典的信息存储起来,若用户输入的评测文本进行精准匹配专家所列出来的主题词信息,根据用户评测文本匹配的主题词数量p与所有主题词数量pall,进而统计出文本与题目的主题相符率p/pall,主题相符率值域为[0,1],其值越大越好。
本实施例中,提取口语表达思考力特征的方法,包括:
对所述识别文本数据以句子的单位进行分析匹配书面语词典,统计书面语的句子数量wr;
将书面语的句子数量wr作为口语表达思考力特征。
具体的,口语表达思考力特征(指标)判断用户的思考力强弱,根据用户审题时间以及用户的口语比例、书面语的使用比例维度进行分析用户的口语表达思考力,首先根据小程序前端捕捉用户的读题时间,其次使用专家法的方式进行汇总该问题的加分项书面语整理为书面语词典。对于用户输入文本以句子的单位进行分析匹配书面语词典,统计书面语的句子计算得到书面语使用比例wr,其中wr为书面语的句子数量。书面语使用比例取值范围为[0,∞],其值越大越好。
本实施例中,提取语篇基础分特征的方法,包括:
将所述识别文本数据的长度作为用户语篇基础分的基础得分q,对于所述识别文本数据,若标准文本长度为lstandard,语音的标准基础分为scoretext_basic,所述识别文本数据的长度为l,计算出用户语篇基础分
将用户语篇基础分q作为语篇基础分特征。
具体的,语篇基础分特征(指标)衡量汉语学习者口语语篇基础能力,根据用户的输入评测文本长度作为用户语篇基础分的基础得分q,对于用户输入的评测文本,若标准文本长度为lstandard,语音的标准基础分为scoretext_basic,输入文本长度为l,计算出用户语篇基础分
针对用户162514089,基于上述特征提取方法,相关的任务完成能力指标计算值分别如下:
(1)流畅度:该指标值域为[0,1],其值越大越好。针对用户162514089输入的口语语音音频,流畅度的值为0.83,说明用户在表达时较为流畅,口语表达能力较好。
(2)有效性:该指标通过汉语学习者在说话过程中停用词以及无效重复语音文本的出现次数计算,停用词以及无效重复语音文本的出现次数值域为[0,∞],其值越小越好。针对用户162514089输入的口语语音音频,停用词以及无效重复语音文本的出现次数均为0,说明用户在表达时思维连贯,表达顺畅,口语表达能力较好。
(3)语速:该指标值域为[0,∞],其值在[vlow,vhigh]之间较好,其中vlow是要求的最低语速阈值,vhigh是要求的最高语速阈值。针对用户162514089输入的口语语音音频,语速的值为4.30字/秒,接近汉语母语使用者,说明用户口语表达能力较好。
(4)语音基础分:通过语音长度衡量语音基础分,该指标值域为[0,∞],其值越大越好。针对用户162514089输入的口语语音音频,用户语音长度为19.77秒,说明用户表达内容不够充实,未能达到建议语音长度。
(5)主谓宾句法分析:该指标值域为[0,1],针对用户162514089输入的语音音频转换的文本,主谓宾句法分析的值为1.00,说明用户没有出现语法错误,用户的语法知识比较丰富,表达符合汉语表达习惯。
(6)混合句型:该指标值域为[0,1],针对用户162514089输入的语音音频转换的文本,混合句型的值为0.75,说明用户在表达过程有使用一些标准句型,表达方式合理。
(7)词汇使用是否得当:该指标值域为[0,∞],针对用户162514089输入的语音音频转换的文本,词汇使用是否得当的值为1.00,说明用户没有词语搭配错误,表达方式得当。
(8)语言框架:该指标值域为[0,n],其中n为文本中句子数量,针对用户162514089输入的语音音频转换的文本,语言框架的值为0,说明用户在表达过程中没有使用如“虽然......而且......”的句式,句子逻辑表达不够丰富。
(9)情感是否健康:该指标值域为[0,1],针对用户162514089输入的语音音频转换的文本,情感是否健康的值为0.99,说明用户表达思想健康,没有涉政、涉黄、涉恐、恶意推广、等内容。
(10)主题是否相符:该指标值域为[0,1],针对用户162514089输入的语音音频转换的文本,主题是否相符的值为1.00,说明用户在表达时紧扣主题,能在理解题意得基础上进行阐述。
(11)口语表达思考力:该指标值域为[0,∞],针对用户162514089输入的语音音频转换的文本,口语表达思考力的值为2,说明用户在表达时进行思考,将有些常见词语替换为更高级的词语,体现了用户掌握词语的丰富度。
(12)语篇基础分:通过语音音频转换的文本长度衡量语篇基础分,该指标值域为[0,∞],针对用户162514089输入的语音音频转换的文本,文本长度的值为85,说明用户表达内容不够充实,未能达到建议文本长度。
本实施例中,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果,包括:
基于提取的流畅度特征、有效性特征、语速特征、语音基础分特征、主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征,分别获取对应的得分,并通过求和计算出总得分,以实现对所述演讲语音数据进行评价,得到演讲的评测结果。
具体的,如下表5为本发明设计的总分评价方法。
表5
参见图3所示,一种面向外国留学生的演讲评测装置,包括:
语音数据获取模块301,用于获取演讲者的演讲语音数据;
语音数据识别模块302,用于对所述演讲语音数据进行语音识别,得到识别文本数据;
特征提取模块303,分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
评测模块304,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
参见图4所示,一种面向外国留学生的演讲评测系统,包括:
客户端401,用于获取演讲者的演讲语音数据;
服务器402,用于所述客户端发送的所述演讲语音数据;对所述演讲语音数据进行语音识别,得到识别文本数据;分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;以及,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果;并将所述评测结果发送至客户端显示。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
1.一种面向外国留学生的演讲评测方法,其特征在于,包括:
获取演讲者的演讲语音数据;
对所述演讲语音数据进行语音识别,得到识别文本数据;
分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
2.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取流畅度特征的方法,包括:
统计所述演讲语音数据中停顿出现的次数td;停顿指的是对所述演讲语音数据采用vad算法进行端点检测,获取到语音的端点位置,求相连两个端点之间的时长,超过设置的阈值ht说明出现停顿;
基于停顿出现的次数td设计输出语音流畅度s;其中,语音流畅度s的取值与所述停顿次数呈反比,即停顿次数越少,语音流畅度s的取值越大;
提取有效性特征的方法,包括:
统计所述识别文本数据中停顿词的数量以及无效重复语音文本的出现次数;具体的,通过基于停顿词表统计文本中停顿的词数量i,基于规则的方法统计文本中的无效重复语音文本的出现次数j;
将停顿词的数量和无效重复语音文本的出现次数作为有效性特征。
3.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取语速特征的方法,包括:
获取所述识别文本数据的文本长度l及所述演讲语音数据的音频长度t,计算出语速l/t;
将语速l/t作为语速特征;
提取语音基础分特征的方法,包括:
获取所述演讲语音数据的音频长度t,获取所述音频长度t与预设阈值hvt的比值;所述预设阈值hvt为能使演讲者获得语音基础分满分的演讲音频长度;
将所述音频长度t与预设阈值hvt的比值作为语音基础分特征。
4.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取主谓宾句法分析特征的方法,包括:
统计所述识别文本数据的n句文本中,符合语法结构信息标准的句子数量g,得到文本句子结构标准率g/n;
将文本句子结构标准率g/n作为主谓宾句法分析特征;
提取混合句型特征的方法,包括:
统计所述识别文本数据的n句文本中,符合标准句型的句子数量m,得到文本句型标准率m/n;
将文本句型标准率m/n作为主谓宾句法分析特征。
5.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取词汇使用是否得当特征的方法,包括:
统计所述识别文本数据的n句文本中,文本出错数量w;
将文本出错数量w作为词汇使用是否得当特征;
提取语言框架得分特征的方法,包括:
将所述识别文本数据以句子为单位进行拆分为一个数组,同时以词为单位进行分词,将分词后的数组与语言框架词典进行匹配,计算符合语言框架句子数量f;
将符合语言框架句子数量f作为语言框架得分特征。
6.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取情感是否健康特征的方法,包括:
首先使用大规模语料库通过word2vec训练出词向量,然后将所述识别文本数据进行分词操作,并找出每个词对应的词向量wordi,通过余弦距离来衡量所述识别文本数据中词向量与违规词典中词向量两个向量方向的差异,其计算方法为
将所述余弦距离作为情感是否健康特征;
提取主题是否相符特征的方法,包括:
根据所述识别文本数据匹配的主题词数量p与所有主题词数量pall,统计出所述识别文本数据与题目的主题相符率p/pall;
将所述主题相符率p/pall作为主题是否相符特征。
7.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取口语表达思考力特征的方法,包括:
对所述识别文本数据以句子的单位进行分析匹配书面语词典,统计书面语的句子数量wr;
将书面语的句子数量wr作为口语表达思考力特征;
提取语篇基础分特征的方法,包括:
将所述识别文本数据的长度作为用户语篇基础分的基础得分q,对于所述识别文本数据,若标准文本长度为lstandard,语音的标准基础分为scoretext_basic,所述识别文本数据的长度为l,计算出用户语篇基础分
将用户语篇基础分q作为语篇基础分特征。
8.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果,包括:
基于提取的流畅度特征、有效性特征、语速特征、语音基础分特征、主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征,分别获取对应的得分,并通过求和计算出总得分,以实现对所述演讲语音数据进行评价,得到演讲的评测结果。
9.一种面向外国留学生的演讲评测装置,其特征在于,包括:
语音数据获取模块,用于获取演讲者的演讲语音数据;
语音数据识别模块,用于对所述演讲语音数据进行语音识别,得到识别文本数据;
特征提取模块,分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
评测模块,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
10.一种面向外国留学生的演讲评测系统,其特征在于,包括:
客户端,用于获取演讲者的演讲语音数据;
服务器,用于所述客户端发送的所述演讲语音数据;对所述演讲语音数据进行语音识别,得到识别文本数据;分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;以及,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果;并将所述评测结果发送至客户端显示。
技术总结