基于数字人的虚实交互方法、装置、设备、介质及程序产品与流程

专利2025-05-01  10


本发明涉及交互,尤其涉及一种基于数字人的虚实交互方法、装置、设备、介质及程序产品。


背景技术:

1、目前,通过数字人来进行的虚实场景交互当中,一般是对数字人与真实场景进行光影处理,以将两者融合来实现虚实交互,其中,光影处理主要是通过模拟光线分布、反射规律以及阴影效果等来使得数字人与真实场景融合并呈现出相应的光影视觉效果,但这种视觉效果所体现出的数字人与真实场景之间的交互往往不够真实。


技术实现思路

1、为了解决上述技术问题,本发明实施例提出了一种基于数字人的虚实交互方法、装置、设备、介质及程序产品。

2、本发明实施例提供了一种基于数字人的虚实交互方法,包括:

3、对真实画面进行场景建模得到虚拟场景,其中,所述虚拟场景至少包括与所述真实画面中的若干待交互物品对应的若干虚拟物品;

4、基于数字人的交互动作,从所述若干虚拟物品中确定与所述数字人进行交互的至少一个目标虚拟物品;

5、基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整。

6、进一步的,当所述交互动作为位移时,所述基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整,包括:

7、针对每一目标虚拟物品,执行如下步骤:

8、若所述目标虚拟物品的物品属性包含位移属性,且所述交互动作包含所述数字人针对所述目标虚拟物品所进行的位移动作,则确定所述目标虚拟物品对应的虚拟交互响应为位移响应;

9、当所述目标虚拟物品对应的虚拟交互响应为位移响应时,按照预设转换规则,将所述目标虚拟物品的运动轨迹转换为真实运动坐标,并基于所述真实运动坐标,在所述真实画面中对与所述目标虚拟物品对应的待交互物品进行位置调整。

10、进一步的,当所述交互动作为形变时,所述基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整,包括:

11、针对每一目标虚拟物品,执行如下步骤:

12、若所述目标虚拟物品的物品属性包含弹性属性,且所述交互动作包含所述数字人针对所述目标虚拟物品所进行的形变动作,则确定所述目标虚拟物品对应的虚拟交互响应为形变响应;

13、当所述目标虚拟物品对应的虚拟交互响应为形变响应时,基于所述目标虚拟物品的物品信息以及所述交互动作对应的物理信息,确定所述目标虚拟物品的虚拟形变区域并经预设转换规则转换为真实形变区域,根据所述真实形变区域,在所述真实画面中对与所述目标虚拟物品对应的待交互物品进行形态调整。

14、进一步的,所述转换规则的确定包括如下步骤:

15、基于所述目标虚拟物品在所述虚拟场景中的位移参数和形状参数,计算模型变换关系;

16、确定所述虚拟场景与所述真实画面之间的视图变换关系;

17、基于所述目标虚拟物品对应的近裁剪面距离、远裁剪面距离以及位置信息,构建投影变换关系;

18、基于所述模型变换关系、所述视图变换关系及所述投影变换关系,确定转换规则。

19、进一步的,所述根据所述真实形变区域,在所述真实画面中对与所述目标虚拟物品对应的待交互物品进行形态调整,包括:

20、确定所述真实形变区域中的最大扭曲距离的两个端点;

21、基于所述两个端点、所述真实形变区域中的边界点以及与所述目标虚拟物品对应的待交互物品上的待调整点,计算所述待调整点的形变参数;

22、确定所述待调整点在所述真实画面中的颜色参数;

23、基于所述颜色参数和所述形变参数,在所述真实画面中对与所述目标虚拟物品对应的待交互物品进行形态调整。

24、进一步的,在所述基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整之前,所述方法还包括:

25、在所述真实画面中,分别将与所述至少一个目标虚拟物品对应的待交互物品剪切出来,得到至少一张局部图像;

26、基于所述至少一张局部图像,分别对与所述至少一个目标虚拟物品对应的待交互物品进行建模,得到至少一个局部模型;

27、基于所述至少一个局部模型,更新所述至少一个目标虚拟物品。

28、本发明实施例还提供了一种基于数字人的虚实交互装置,包括:

29、场景建模模块,用于对真实画面进行场景建模得到虚拟场景,其中,所述虚拟场景至少包括与所述真实画面中的若干待交互物品对应的若干虚拟物品;

30、目标虚拟物品确定模块,用于基于数字人的交互动作,从所述若干虚拟物品中确定与所述数字人进行交互的至少一个目标虚拟物品;

31、调整模块,用于基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整。

32、本发明实施例还提供了一种计算机设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的基于数字人的虚实交互方法的步骤。

33、本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的基于数字人的虚实交互方法的步骤。

34、本发明实施例还提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现上述任一项所述的基于数字人的虚实交互方法的步骤。

35、综上,本发明实施例至少具有以下有益效果:

36、采用本发明实施例,通过对真实画面进行场景建模得到虚拟场景,其中,所述虚拟场景至少包括与所述真实画面中的若干待交互物品对应的若干虚拟物品;基于数字人的交互动作,从所述若干虚拟物品中确定与所述数字人进行交互的至少一个目标虚拟物品;基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整,从而使得数字人的动作能够实时准确地影响到真实画面,以呈现出更为真实的虚实交互效果。



技术特征:

1.一种基于数字人的虚实交互方法,其特征在于,包括:

2.如权利要求1所述的基于数字人的虚实交互方法,其特征在于,当所述交互动作为位移时,所述基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整,包括:

3.如权利要求1所述的基于数字人的虚实交互方法,其特征在于,当所述交互动作为形变时,所述基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整,包括:

4.如权利要求2或3所述的基于数字人的虚实交互方法,其特征在于,所述转换规则的确定包括如下步骤:

5.如权利要求3所述的基于数字人的虚实交互方法,其特征在于,所述根据所述真实形变区域,在所述真实画面中对与所述目标虚拟物品对应的待交互物品进行形态调整,包括:

6.如权利要求1-3任一项所述的基于数字人的虚实交互方法,其特征在于,在所述基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整之前,所述方法还包括:

7.一种基于数字人的虚实交互装置,其特征在于,包括:

8.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-6任一项所述的基于数字人的虚实交互方法。

9.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的基于数字人的虚实交互方法。

10.一种计算机程序产品,包括计算机指令,其特征在于,该计算机指令被处理器执行时实现如权利要求1-6任一项所述的基于数字人的虚实交互方法。


技术总结
本发明公开了一种基于数字人的虚实交互方法、装置、设备、介质及程序产品,所述方法包括:对真实画面进行场景建模得到虚拟场景,其中,所述虚拟场景至少包括与所述真实画面中的若干待交互物品对应的若干虚拟物品;基于数字人的交互动作,从所述若干虚拟物品中确定与所述数字人进行交互的至少一个目标虚拟物品;基于所述至少一个目标虚拟物品的物品属性以及所述交互动作,对所述真实画面中与所述至少一个目标虚拟物品对应的待交互物品进行调整,从而使得数字人的动作能够实时准确地影响到真实画面,以呈现出更为真实的虚实交互效果。

技术研发人员:刘博,唐郡,何林,肖永强,陈永彬
受保护的技术使用者:咪咕文化科技有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1819398.html

最新回复(0)