本公开一般地涉及基于对象交互检测来确定用户位置的系统、方法和设备。
背景技术:
1、可能期望在用户正在使用设备诸如混合现实头戴式耳机时确定环境内的用户位置。然而,现有系统可能需要利用相对大量的处理和/或功率资源来检测用户位置,例如,由于此类系统可能需要使用计算密集型技术来构建未知环境的地图,同时还使用计算密集型技术来跟踪用户位置。
技术实现思路
1、本文所公开的各种具体实施包括在使用电子设备时基于与一个或多个对象的相关联的交互来提供用户在场景内的定位的系统、方法和设备。例如,电子设备(例如,移动设备或可穿戴设备诸如头戴式显示器(hmd))可使得能够基于传感器检测到的用户和在对象关系模型内描述的对象之间的交互来确定用户在物理环境内的位置(例如,特定位置或区域),其中该电子设备从该物理环境获得(例如,从图像传感器、运动传感器、音频传感器等收集的)传感器数据以用于检测该用户和该对象之间的该交互。在一些具体实施中,检测该用户和对象之间的该交互可包括以下各项中的一项或多项:检测该用户和该对象之间的接触、检测该用户相对于该对象的位置、检测该用户相对于该对象的取向的变化、检测该用户相对于该对象的凝视、检测与该对象在该用户的视野中相关联的时间段、检测该对象和该用户之间的距离等。
2、在一些具体实施中,可基于所确定的该用户在该物理环境内的位置来经由该电子设备的输出设备(例如,显示器、扬声器等)向该用户提供内容。例如,该内容可包括:基于所确定的该用户的位置选择和/或定位的hmd或移动设备扩增、与所确定的该用户的位置相关联的活动、在所确定的该用户的位置处的用户先前活动等。
3、在一些具体实施中,电子设备具有处理器(例如,一个或多个处理器),该处理器执行存储在非暂态计算机可读介质中的指令以执行方法。该方法执行一个或多个步骤或过程。在一些具体实施中,该电子设备获得表示物理环境内的对象之间的位置关系的对象关系模型。(这些对象中的)至少一个对象与该物理环境中的位置相关联。获得与该物理环境相关联的传感器数据,并且基于这些传感器数据来检测用户与该物理环境内的(这些对象中的)对象的交互。基于相对于该对象关系模型与该对象相关联的位置来确定该用户在该物理环境内的位置。
4、根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。根据一些具体实施,一种非暂态计算机可读存储介质中存储有指令,这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施,一种设备包括:一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
1.一种方法,包括:
2.根据权利要求1所述的方法,其中所述检测所述交互包括检测所述用户和所述对象之间的接触。
3.根据权利要求1所述的方法,其中所述检测所述交互包括检测所述用户相对于所述对象的位置。
4.根据权利要求1所述的方法,其中所述检测所述交互包括检测所述用户相对于所述对象的取向的变化。
5.根据权利要求1所述的方法,其中所述检测所述交互包括检测所述用户相对于所述对象的凝视。
6.根据权利要求1所述的方法,其中所述检测所述交互包括检测与所述对象在所述用户的视野中相关联的时间段。
7.根据权利要求1所述的方法,其中所述检测所述交互包括检测所述对象和所述用户之间的距离。
8.根据权利要求1所述的方法,其中所述传感器数据包括从图像传感器收集的图像数据。
9.根据权利要求1所述的方法,其中所述传感器数据包括从运动检测器传感器收集的运动相关数据。
10.根据权利要求1所述的方法,其中所述传感器数据包括从音频传感器收集的音频数据。
11.根据权利要求1所述的方法,其中所述电子设备包括头戴式设备。
12.根据权利要求1所述的方法,其中所述电子设备包括移动设备。
13.根据权利要求1所述的方法,其中所述对象关系模型通过以下步骤生成:
14.根据权利要求13所述的方法,其中所述表示与语义数据相关联,所述语义数据包括标识所述物理环境的墙壁、墙壁属性、对象和所述对象的分类的语义标签。
15.根据权利要求13所述的方法,其中所述多种类型的传感器数据包括在所述扫描过程期间获得的深度数据和光强度图像数据。
16.根据权利要求1所述的方法,其中所述检测所述交互包括:
17.根据权利要求1所述的方法,还包括:
18.根据权利要求17所述的方法,其中所述内容包括视觉内容。
19.一种电子设备,包括:
20.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储程序指令,所述程序指令能够由一个或多个处理器执行以执行操作,所述操作包括:
