本申请属于数字人,尤其涉及一种数字人直播系统。
背景技术:
1、随着虚拟现实、增强现实、人工智能等技术的快速发展,三维数字人直播已经出现在各大直播平台,成为一个备受关注的研究方向。三维数字人直播系统通过逼真的三维虚拟形象进行实时直播,不仅能够为观众带来全新的视觉体验,还能够实现多种互动形式,拓展了直播行业的应用领域。另外,三维数字人可以实现不间断地直播,可以节省直播人力。
2、三维数字人直播对实时性和写实性要求较高,目前,三维数字人直播技术的交互信息单一,且缺少合适的任务管理方法,导致数字人的渲染效果差、互动性差,且系统推流效率低。
技术实现思路
1、本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种数字人直播系统,数字人渲染效果好、互动性强,且可以根据重要程度按顺序执行待执行任务,数字人互动效率高。
2、第一方面,本申请提供了一种数字人直播系统,该系统包括:
3、多媒体信息模块,所述多媒体信息模块用于采集并处理数字人直播界面的多媒体信息;
4、任务管理模块,所述任务管理模块与所述多媒体信息模块连接,所述任务管理模块用于生成并管理数字人的待执行任务,所述任务管理模块包括语言模型处理子模块和上下文交互子模块,所述上下文交互子模块用于记录所述数字人的交互上下文,所述交互上下文包括所述多媒体信息,所述语言模型处理子模块用于基于所述交互上下文,对所述待执行任务进行处理,得到所述待执行任务的反馈结果;
5、数字人生成模块,所述数字人生成模块与所述任务管理模块连接,所述数字人生成模块用于基于所述待执行任务的反馈结果,生成和/或渲染所述数字人,得到数字人渲染结果;
6、直播推流模块,所述直播推流模块与所述数字人生成模块连接,所述直播推流模块用于将所述数字人渲染结果推送至所述数字人直播界面。
7、根据本申请的数字人直播系统,多媒体信息模块采集并处理多媒体信息,任务管理模块基于多媒体信息及多媒体信息对应的交互上下文,解析并管理数字人的待执行任务,数字人生成模块基于解析、管理后的待执行任务对数字人进行渲染,利用直播推流模块将数字人渲染结果推送至数字人直播界面,用于交互的多媒体信息丰富多样,且基于交互上下文解析待执行任务,使得数字人渲染效果好、互动性强,另外可以根据重要程度按顺序执行待执行任务,数字人灵活性和适应性强,语言模型根据上下文理解产生的判断和决策等反馈结果准确,渲染结果可以满足用户实时的期望和需求。
8、根据本申请的一个实施例,所述语言模型处理子模块包括:
9、任务理解模块,所述任务理解模块用于基于所述交互上下文,对所述待执行任务进行解析处理;
10、任务规划模块,所述任务规划模块与所述任务理解模块连接,所述任务规划模块用于基于解析处理后的所述待执行任务,得到所述待执行任务的反馈结果。
11、根据本申请的一个实施例,所述任务管理模块还包括:
12、任务生成模块,所述任务生成模块用于基于所述多媒体信息生成所述待执行任务;
13、任务分类模块,所述任务分类模块与所述任务生成模块连接,所述任务分类模块用于将所述待执行任务进行分类,生成任务分类结果;
14、所述语言模型处理子模块与所述任务分类模块连接,所述语言模型处理子模块用于基于所述交互上下文和所述任务分类结果,对所述待执行任务进行处理,得到所述待执行任务的反馈结果;
15、任务调度模块,所述任务调度模块与所述语言模型处理子模块连接,所述任务调度模块用于基于所述反馈结果,生成任务调度信息,所述数字人生成模块用于基于所述任务调度信息,生成和/或渲染所述数字人,得到数字人渲染结果。
16、根据本申请的一个实施例,所述数字人生成模块包括:
17、数字人建模模块,所述数字人建模模块用于基于所述待执行任务的反馈结果,生成所述数字人;
18、数字人渲染模块,所述数字人渲染模块与所述数字人建模模块连接,所述数字人渲染模块用于基于所述待执行任务的反馈结果,渲染所述数字人,得到所述数字人渲染结果。
19、根据本申请的一个实施例,所述数字人渲染模块包括:
20、物理渲染模块,所述物理渲染模块用于基于所述待执行任务的反馈结果,渲染所述数字人的身体语言动画;
21、人工智能渲染模块,所述人工智能渲染模块用于渲染所述数字人的细节纹理动画。
22、根据本申请的一个实施例,所述物理渲染模块包括:
23、动作驱动模块,所述动作驱动模块用于对所述数字人执行的动作进行渲染;
24、语音驱动模块,所述语音驱动模块用于对所述数字人执行的语音进行渲染;
25、图形渲染模块,所述图形渲染模块用于对所述数字人对应的界面场景进行渲染。
26、根据本申请的一个实施例,所述数字人渲染模块还包括:
27、语音合成子系统,所述语音合成子系统用于将所述多媒体信息对应的文本文件转化成所述数字人的语音文件,所述语音驱动模块用于基于所述数字人的语音文件对所述数字人执行的语音进行渲染。
28、根据本申请的一个实施例,所述人工智能渲染模块与所述物理渲染模块连接,所述人工智能渲染模块用于基于渲染后的所述身体语言动画,渲染所述数字人的细节纹理动画。
29、根据本申请的一个实施例,所述多媒体信息模块包括:
30、多媒体信息采集模块,所述多媒体信息采集模块用于采集所述数字人直播界面的所述多媒体信息;
31、多媒体信息处理模块,所述多媒体信息处理模块与所述多媒体信息采集模块连接,所述多媒体信息处理模块用于处理所述多媒体信息。
32、根据本申请的一个实施例,所述多媒体信息处理模块包括:
33、音频数据处理模块,所述音频数据处理模块用于对所述多媒体信息对应的音频数据进行识别并处理;
34、视频数据处理模块,所述视频数据处理模块用于对所述多媒体信息对应的视频数据进行识别并处理。
35、本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
1.一种数字人直播系统,其特征在于,包括:
2.根据权利要求1所述的数字人直播系统,其特征在于,所述语言模型处理子模块包括:
3.根据权利要求1所述的数字人直播系统,其特征在于,所述任务管理模块还包括:
4.根据权利要求1所述的数字人直播系统,其特征在于,所述数字人生成模块包括:
5.根据权利要求4所述的数字人直播系统,其特征在于,所述数字人渲染模块包括:
6.根据权利要求5所述的数字人直播系统,其特征在于,所述物理渲染模块包括:
7.根据权利要求6所述的数字人直播系统,其特征在于,所述数字人渲染模块还包括:
8.根据权利要求5所述的数字人直播系统,其特征在于,所述人工智能渲染模块与所述物理渲染模块连接,所述人工智能渲染模块用于基于渲染后的所述身体语言动画,渲染所述数字人的细节纹理动画。
9.根据权利要求1-8任一项所述的数字人直播系统,其特征在于,所述多媒体信息模块包括:
10.根据权利要求9所述的数字人直播系统,其特征在于,所述多媒体信息处理模块包括: