一种交互方法、系统、装置、电子设备及存储介质与流程

专利2026-08-27  6


本技术涉及混合现实,具体而言,涉及一种交互方法、系统、装置、电子设备及存储介质。


背景技术:

1、目前,相关技术中的混合现实mr产品多以计算机视觉为主要的技术框架,其大量使用了基于计算机视觉的三维重建技术、slam技术以及计算机视觉技术中的特征识别与追踪技术,而这些技术需要具备强大算力的硬件平台支撑,并且所处理场景越复杂对硬件平台的算力要求也就越高。

2、然而,在复杂的工业环境中,出于布设难度以及布设成本等方面的考虑,硬件平台算力多数情况下并不能满足混合现实mr产品的算力要求,从而导致混合现实mr产品的交互效果较差。


技术实现思路

1、本技术实施例的目的在于提供一种交互方法、系统、装置、电子设备及存储介质,用以改善混合现实交互效果。

2、第一方面,本技术实施例提供一种交互方法,该方法包括:将虚拟环境数据映射至真实环境数据,获取处于目标坐标系下的混合现实数据;根据真实肢体数据,构建处于所述目标坐标系下的肢体三维模型;响应于交互操作指令,对所述混合现实数据和所述肢体三维模型进行交互操作。

3、在上述方案的实现过程中,采用同处于目标坐标系下混合现实数据和肢体三维模型来进行混合现实交互,通过混合现实场景中各个部分以及肢体三维模型的各个部分在目标坐标系下的坐标即可实现例如干涉检测等混合现实交互操作,相较于相关技术中基于计算机视觉来实现交互任务的方式,上述方案的计算量较少,对硬件平台的算力要求也较低,即使面对复杂的工业环境,也能够实现较好的高实时性以及高可靠性的交互效果。

4、在第一方面的一种实现方式中,所述将虚拟环境数据映射至真实环境数据,获取处于目标坐标系下的混合现实数据,包括:根据真实环境数据所带有的现场感知设备位置信息和现场感知设备姿态信息,在虚拟环境数据中确定真实环境所处区域数据;对所述真实环境所处区域数据和所述真实环境数据进行校正处理,获取处于目标坐标系以及相同视角下的目标虚拟区域数据和目标真实环境数据;将所述目标虚拟区域数据映射至所述目标真实环境数据,获取处于目标坐标系下的混合现实数据。

5、在上述方案的实现过程中,根据真实环境数据所带有的现场感知设备的位置信息和姿态信息在虚拟环境数据中确定真实环境所处区域数据,在对真实环境所处区域数据进行校正处理后即可获取处于相同坐标系以及相同视角下的目标虚拟区域数据和目标真实环境数据,通过将目标虚拟区域数据映射至目标真实环境数据即可直接获取混合现实数据,相较于相关技术中基于计算机视觉的混合现实数据获取方案,上述方法进行虚实融合的计算量较低,有利于改善混合现实数据的获取效率,进而改善混合现实交互效果。

6、在第一方面的一种实现方式中,所述根据真实环境数据所带有的现场感知设备位置信息和现场感知设备姿态信息,在虚拟环境数据中确定真实环境所处区域数据,包括:根据所述真实环境数据所带有的现场感知设备位置信息和现场感知设备姿态信息,确定现场感知设备的感受视野范围;根据所述现场感知设备位置信息和所述感受视野范围,在虚拟环境数据中确定真实环境所处区域数据。

7、在上述方案的实现过程中,从感受视角角度,通过真实环境数据所带有的环境感知设备的位置信息和姿态信息即可快速准确地在虚拟环境数据中确定真实环境所处区域数据,便于后续步骤对处于同一坐标系、同一视角以及同一区域下的目标虚拟区域数据和目标真实环境数据进行虚实融合以实时获取处于目标坐标系下的混合现实数据,有利于改善混合现实数据的获取效率,从而改善混合现实交互效果。

8、在第一方面的一种实现方式中,所述对所述真实环境所处区域数据和所述真实环境数据进行校正处理,获取处于目标坐标系以及相同视角下的目标虚拟区域数据和目标真实环境数据,包括:对所述真实环境所处区域数据和所述真实环境数据进行透视变换处理,获取处于目标坐标系以及相同视角下的目标虚拟区域数据和目标真实环境数据。

9、在上述方案的实现过程中,通过对真实环境所处区域数据和真实环境数据进行透视变换处理,即可获取处于目标坐标系以及相同视角下的目标虚拟区域数据和目标真实环境数据,进而便于后续步骤直接将目标虚拟区域数据映射至目标真实环境数据以获取混合现实数据,相较于相关技术中基于计算机视觉技术的混合现实数据获取方案,上述方案的计算量较低,对硬件平台的算力需求也较低,有利于改善混合现实数据的获取效率,进而改善混合现实交互效果。

10、在第一方面的一种实现方式中,所述根据真实肢体数据,构建处于所述目标坐标系下的肢体三维模型,包括:根据真实肢体数据中处于所述目标坐标系中的肢体位置点集,对所述肢体进行三维重建,获取处于所述目标坐标系下的肢体三维模型。

11、在上述方案的实现过程中,通过处于目标坐标系中的肢体位置点集对肢体进行三维重建,从而获取处于目标坐标系下的肢体三维模型,进而通过同处于目标坐标系下的混合现实数据即可快速实时地实现混合现实交互,相较于相关技术中基于计算机视觉技术的混合现实数据获取方式,上述方案的计算量较低,对硬件平台的算力需求也较低,有利于改善混合现实数据的获取效率,进而改善混合现实交互效果。

12、在第一方面的一种实现方式中,所述响应于交互操作指令,对所述混合现实数据和所述肢体三维模型进行交互操作,包括:响应于干涉检测指令,根据处于所述目标坐标系下的所述混合现实数据和所述肢体三维模型,对肢体进行干涉检测;和/或,响应于肢体语言识别指令,根据处于所述目标坐标系下的所述混合现实数据和所述肢体三维模型,识别所述肢体的肢体语言。

13、在上述方案的实现过程中,通过同处于目标坐标系中的混合现实数据和肢体三维模型来进行干涉检测和/或肢体语言识别,也即,可以直接通过混合现实场景中各部分的坐标数据以及肢体三维模型的坐标数据即可实现干涉检测和/或肢体语言识别,相较于相关技术中基于计算机视觉技术的混合现实数据获取方式,上述方案的计算量较低,对硬件平台的算力需求也较低,有利于改善混合现实数据的获取效率,进而改善混合现实交互效果。

14、第二方面,本技术实施例提供一种交互系统,该系统包括:

15、现场感知设备,用于获取带有现场感知设备位置信息和现场感知设备姿态信息的真实环境数据和真实肢体数据;

16、终端设备,用于将虚拟环境数据映射至所述真实环境数据,获取处于目标坐标系下的混合现实数据;根据所述真实肢体数据,构建处于所述目标坐标系下的肢体三维模型;响应于交互操作指令,对所述混合现实数据和所述肢体三维模型进行交互操作。

17、第三方面,本技术实施例提供一种交互装置,该装置包括:

18、混合现实数据获取模块,用于将虚拟环境数据映射至真实环境数据,获取处于目标坐标系下的混合现实数据;

19、肢体三维模型构建模块,用于根据真实肢体数据,构建处于所述目标坐标系下的肢体三维模型;

20、交互操作模块,用于响应于交互操作指令,对所述混合现实数据和所述肢体三维模型进行交互操作。

21、第四方面,本技术实施例提供一种电子设备,包括:处理器、存储器和通信总线,其中所述处理器和所述存储器通过所述通信总线完成相互间的通信;所述存储器中存储有可被所述处理器执行的计算机程序指令,所述计算机程序指令被所述处理器读取并运行时,执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

22、第五方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器读取并运行时,执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

23、本技术的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。


技术特征:

1.一种交互方法,其特征在于,应用于终端设备,所述方法包括:

2.根据权利要求1所述的交互方法,其特征在于,所述将虚拟环境数据映射至真实环境数据,获取处于目标坐标系下的混合现实数据,包括:

3.根据权利要求2所述的交互方法,其特征在于,所述根据真实环境数据所带有的现场感知设备位置信息和现场感知设备姿态信息,在虚拟环境数据中确定真实环境所处区域数据,包括:

4.根据权利要求2所述的交互方法,其特征在于,所述对所述真实环境所处区域数据和所述真实环境数据进行校正处理,获取处于目标坐标系以及相同视角下的目标虚拟区域数据和目标真实环境数据,包括:

5.根据权利要求1所述的交互方法,其特征在于,所述根据真实肢体数据,构建处于所述目标坐标系下的肢体三维模型,包括:

6.根据权利要求1~5中任一项所述的交互方法,其特征在于,所述响应于交互操作指令,对所述混合现实数据和所述肢体三维模型进行交互操作,包括:

7.一种交互系统,其特征在于,所述交互系统包括:

8.一种交互装置,其特征在于,所述交互装置包括:

9.一种电子设备,其特征在于,包括:处理器、存储器和通信总线,其中,所述处理器和所述存储器通过所述通信总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1~6中任一项所述的方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令被计算机运行时,使所述计算机执行如权利要求1~6中任一项所述的方法。


技术总结
本申请提供一种交互方法、系统、装置、电子设备及存储介质,其中,交互方法包括:将虚拟环境数据映射至真实环境数据,获取处于目标坐标系下的混合现实数据;根据真实肢体数据,构建处于目标坐标系下的肢体三维模型;响应于交互操作指令,对混合现实数据和肢体三维模型进行交互操作。上述方案采用同处于目标坐标系下混合现实数据和肢体三维模型来进行混合现实交互,通过混合现实场景中各个部分以及肢体三维模型的各个部分在目标坐标系下的坐标即可实现例如干涉检测等混合现实交互操作,计算量较少,对硬件平台的算力要求也较低,能够实现较好的高实时性以及高可靠性的交互效果。

技术研发人员:于文晖,计洁,汪俊,席志杰,吴亮亮,闻弢
受保护的技术使用者:上海华测导航技术股份有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1833521.html

最新回复(0)