本发明属于数字人,尤其涉及一种基于供热数字人的交互处理方法与系统。
背景技术:
1、现有的数字人在与咨询用户进行交互时,往往采用固定的表情进行数字人的表情管理,使得数字人难以达到以假乱真的地步,从而导致咨询用户的使用体验难以满足要求。
2、为解决上述技术问题,在发明专利cn202310861185.4《表情动画的生成方法、装置和数字人平台》中通过获取语音中每个文字的信息,并根据信息的解析结果确定语音中每个文字的口型特征,从而生成语音中每个文字对应的表情动画,但是通过分析不难发现存在以下技术问题:
3、供热用户在咨询时,供热用户的表情和语气是逐渐发生变化的,而仅仅依靠语音的解析结果进行对应的数字人的面部表情的动态调整,则无法保证数字人的准确性。
4、针对上述技术问题,本发明提供了一种基于供热数字人的交互处理方法与系统。
技术实现思路
1、一种基于供热数字人的交互处理方法,其特征在于,具体包括:
2、s1基于语音交互用户的用热位置进行安抚语句的自动生成,实时获取供热数字人的语音交互用户的语音数据以及不同的视频帧的面部表情数据,并根据所述语音数据以及不同的视频帧的面部表情数据确定所述用户的情绪不存在异常时,进入下一步骤;
3、s2基于所述语音交互用户的面部识别结果进行所述语音交互用户的历史交互数据的确定,并根据历史交互数据进行所述语音交互用户的交互难度的确定,通过所述交互难度以及所述语音交互用户的语音数据的解析结果进行所述供热数字人的交互语音数据以及面部语音情绪的确定;
4、s3基于所述用户在不同的交互次数中的语音数据以及不同的视频帧的面部表情数据进行不同的交互次数中的情绪识别结果的确定,并根据在预设时间段内的不同的交互次数中的情绪识别结果的变动情况确定需要进行所述交互数字人的面部语音情绪的调节时,进入下一步骤;
5、s4通过在预设时间段内的不同的交互次数中的情绪识别结果的变动情况以及当前的交互次数中的情绪识别结果确定所述交互数字人的面部语音情绪的调节结果。
6、本发明的有益效果在于:
7、1、通过交互难度以及语音交互用户的语音数据的解析结果进行供热数字人的交互语音数据以及面部语音情绪的确定,不仅考虑到由于语音交互用户的身份差异导致的交互难度的差异,同时通过进一步结合语音交互用户的语音数据的解析结果实现了对用户的情绪的考虑,进而实现了对交互语音数据以及面部语音情绪的针对性的调节处理。
8、2、通过在预设时间段内的不同的交互次数中的情绪识别结果的变动情况以及当前的交互次数中的情绪识别结果确定交互数字人的面部语音情绪的调节结果,从而实现了从在交互过程中交互用户由于交互数字人的解答结果不满足要求导致的情绪变动异常的情况的出现,进而实现了对交互数字人的情绪的针对性的调节,保证了交互用户的交互处理的满意度。
9、进一步的技术方案在于,基于所述语音交互用户的用热位置进行安抚语句的自动生成,具体包括:
10、基于所述语音交互用户的用热位置以及供热生产系统的生产数据进行所述语音交互用户的推测故障类型和持续时间的确定,并根据所述推测故障类型和持续时间进行所述语音交互用户的安抚语句的自动生成。
11、进一步的技术方案在于,所述面部表情数据根据不同的视频帧的语音交互用户的面部图像的识别结果进行确定。
12、进一步的技术方案在于,所述历史交互数据包括历史咨询次数、不同的历史咨询次数的交互时长、交互处理结果以及情绪变动数据。
13、进一步的技术方案在于,所述语音交互用户的交互难度的确定的方法为:
14、根据不同的历史咨询次数的交互处理结果将所述历史咨询次数划分为满意咨询次数以及未解决咨询次数;
15、基于不同的满意咨询次数的情绪变动数据以及不同的满意咨询次数中的情绪识别结果进行不同的满意咨询次数的情绪综合识别结果的确定,并结合不同的满意咨询次数的交互时长确定所述满意咨询次数的交互难度评估量;
16、通过不同的未解决咨询次数的情绪变动数据以及不同的未解决咨询次数中的情绪识别结果进行不同的未解决咨询次数的情绪综合识别结果的确定,并结合不同的未解决咨询次数的交互时长确定所述未解决咨询次数的交互难度评估量;
17、利用所述未解决咨询次数的交互难度评估量以及满意咨询次数的交互难度评估量确定所述语音交互用户的交互难度。
18、进一步的技术方案在于,所述语音交互用户的交互难度的取值范围在0到1之间,其中所述语音交互用户的交互难度越大,则所述供热数字人与所述语音交互用户的交互难度就越大。
19、进一步的技术方案在于,所述交互数字人的面部语音情绪的调节结果的确定的方法为:
20、通过在预设时间段内的不同的交互次数中的情绪识别结果的变动情况以及当前的交互次数中的情绪识别结果确定所述交互数字人的面部语音情绪的调节结果
21、基于当前的交互次数中的情绪识别结果进行所述交互数字人的面部语音情绪的基础调节策略的确定;
22、根据在预设时间段内的不同的交互次数中的情绪识别结果的变动情况确定不同的相邻的交互次数的情绪识别结果的变动情况,并结合变动情况不满足要求的交互次数的数量进行所述语音交互用户的交互情绪变动值的确定;
23、基于所述交互情绪变动值对所述基础调节策略进行修正得到所述交互数字人的面部语音情绪的调节策略,并根据所述调节策略进行所述交互数字人的面部语音情绪的调节结果的确定。
24、另一方面,本技术实施例提供一种基于供热数字人的交互处理系统,采用上述的一种基于供热数字人的交互处理方法,其特征在于,具体包括:
25、情绪异常识别模块,面部语音情绪确定模块,调节评估模块,情绪修正模块;
26、其中所述情绪异常识别模块负责基于所述语音交互用户的用热位置进行安抚语句的自动生成,实时获取供热数字人的语音交互用户的语音数据以及不同的视频帧的面部表情数据,并根据所述语音数据以及不同的视频帧的面部表情数据确定所述用户的情绪是否存在异常;
27、所述面部语音情绪确定模块负责基于所述语音交互用户的面部识别结果进行所述语音交互用户的历史交互数据的确定,并根据历史交互数据进行所述语音交互用户的交互难度的确定,通过所述交互难度以及所述语音交互用户的语音数据的解析结果进行所述供热数字人的交互语音数据以及面部语音情绪的确定;
28、所述调节评估模块负责基于所述用户在不同的交互次数中的语音数据以及不同的视频帧的面部表情数据进行不同的交互次数中的情绪识别结果的确定,并根据在预设时间段内的不同的交互次数中的情绪识别结果的变动情况确定是否需要进行所述交互数字人的面部语音情绪的调节;
29、所述情绪修正模块负责通过在预设时间段内的不同的交互次数中的情绪识别结果的变动情况以及当前的交互次数中的情绪识别结果确定所述交互数字人的面部语音情绪的调节结果。
1.一种基于供热数字人的交互处理方法,其特征在于,具体包括:
2.如权利要求1所述的基于供热数字人的交互处理方法,其特征在于,所述面部表情数据根据不同的视频帧的语音交互用户的面部图像的识别结果进行确定。
3.如权利要求1所述的基于供热数字人的交互处理方法,其特征在于,确定所述用户的情绪不存在异常,具体包括:
4.如权利要求3所述的基于供热数字人的交互处理方法,其特征在于,根据所述用户的情绪异常值确定所述用户的情绪是否存在异常,具体包括:
5.如权利要求1所述的基于供热数字人的交互处理方法,其特征在于,确定所述用户的情绪不存在异常,具体包括:
6.如权利要求5所述的基于供热数字人的交互处理方法,其特征在于,判断情感识别结果不满足要求的交互语句的数量是否满足要求,具体包括:
7.如权利要求1所述的基于供热数字人的交互处理方法,其特征在于,所述历史交互数据包括历史咨询次数、不同的历史咨询次数的交互时长、交互处理结果以及情绪变动数据。
8.如权利要求1所述的基于供热数字人的交互处理方法,其特征在于,所述语音交互用户的交互难度的确定的方法为:
9.如权利要求1所述的基于供热数字人的交互处理方法,其特征在于,所述语音交互用户的交互难度的取值范围在0到1之间,其中所述语音交互用户的交互难度越大,则所述供热数字人与所述语音交互用户的交互难度就越大。
10.一种基于供热数字人的交互处理系统,采用权利要求1-9任一项所述的一种基于供热数字人的交互处理方法,其特征在于,具体包括:
