头戴式设备的多任务三维效果显示方法、装置及电子设备与流程

1.本发明涉及头戴式设备智能显示技术领域，尤其涉及一种头戴式设备的多任务三维效果显示方法、装置及电子设备。


背景技术：

2.随着虚拟现实、增强现实、混合现实技术的发展和应用，各式基于这些技术的头戴式设备逐渐出现在公众视野，通过头戴式设备的显示屏幕，能够展示出虚拟现实画面、增强现实画面、混合现实画面，从而向用户提供丰富的三维沉浸式体验。
3.目前，头戴式设备提供的智能应用服务都是基于安卓系统来实现的，在该安卓系统下对于安装的原生应用或其他第三方应用，仍然是以二维平面显示效果展示的，比如类似于手机桌面显示的应用图标以及展示打开应用的方法，对于头戴式设备显示桌面上存在的多个应用图标，这些应用图标是以二维显示方式展示在显示屏幕内的，并且随着用户不断地打开所需体验的多个应用，相应的多个应用处于被打开的状态，但是显示屏幕内最终向用户展示的是最后一个被打开应用所对应包含的显示内容，对于用户操作体验而言，也就是其他一个或多个被打开应用显示内容被最后一个被打开应用所显示内容覆盖了，从而在显示屏幕内对用户是可不见的。
4.然而，虽然采用现有的二维显示方式去展示头戴式设备的一个或多个应用图标，能够让用户了解到可以操作体验的智能应用都有哪些，但是尤其是在多个应用处于被打开状态的情况下，由于显示屏幕内只是展示最后一个被打开应用显示内容，那么就需要用户花费时间、操作成本去不断触发切换或关闭一些已打开应用，才能查询到需要的指定应用，另外如此又使得显示画面又在二维和三维之间切换，大大降低用户使用头戴式设备的沉浸式体验。


技术实现要素：

5.有鉴于此，本发明提供一种头戴式设备的多任务三维效果显示方法及装置，主要目的在于利用三维渲染显示的方式将已打开的多个目标应用对应的目标显示信息嵌入显示在头戴式设备内同一层显示界面内，从而方便于用户高效地查找到指定已打开目标应用，同时也确保用户始终处于三维沉浸式环境中，大大提高了用户使用头戴式设备的操作体验。
6.为了达到上述目的，本发明主要提供如下技术方案：
7.本申请第一方面提供了一种头戴式设备的多任务三维效果显示方法，该方法包括：
8.接收打开第一目标应用的触发指令；
9.根据所述触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息，所述第二目标应用包含至少一个应用且为在打开所述第一目标应用之前已运行的应用；
10.对所述第一目标应用和所述第二目标应用对应的目标显示信息进行三维渲染显示处理；
11.将经三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得所述第一目标应用和所述第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。
12.在本申请第一方面的一些变更实施方式中，所述对所述第一目标应用和所述第二目标应用对应的目标显示信息进行三维渲染显示处理，包括：
13.为所述第一目标应用和所述第二目标应用对应的目标显示信息创建对应的显示窗口；
14.将所述目标显示信息渲染填充到对应的所述显示窗口内，生成对应的窗口页面；
15.将所述第一目标应用对应的窗口页面和所述第二目标应用对应的窗口页面三维渲染嵌入包含在同一层的显示界面内。
16.在本申请第一方面的一些变更实施方式中，所述将所述第一目标应用对应的窗口页面和所述第二目标应用对应的窗口页面三维渲染嵌入包含在同一层的显示界面内，包括：
17.标记所述第一目标应用对应的窗口页面为主窗口页面；
18.标记所述第二目标应用对应的窗口页面为辅窗口页面；
19.将所述辅窗口页面三维渲染嵌入在所述主窗口页面内。
20.在本申请第一方面的一些变更实施方式中，所述将所述辅窗口页面三维渲染嵌入在所述主窗口页面内，包括：
21.若主窗口页面内三维渲染嵌入至少两个辅窗口页面，则将至少两个所述辅窗口页面叠加展示在所述主窗口页面内；
22.在叠加展示的至少两个所述辅窗口页面中，确定叠加在前的辅窗口页面的尺寸大于叠加在后的辅窗口页面的窗口尺寸；
23.若接收到触控点击目标辅窗口页面的操作指令，则判断所述目标辅窗口页面是否为叠加在首位的辅窗口页面；
24.若否，则调整所述目标辅窗口页面至窗口叠加首位，并放大所述目标辅窗口尺寸大于原叠加在首位的辅窗口页面。
25.在本申请第一方面的一些变更实施方式中，在获取所述第一目标应用和第二目标应用对应的目标显示信息之后，所述方法还包括：
26.标记第一目标应用和第二目标应用加载目标显示信息的完成时间点；
27.根据所述完成时间点，对所述目标显示信息添加时间戳。
28.在本申请第一方面的一些变更实施方式中，所述将经三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，包括：
29.根据对所述目标显示信息添加的时间戳，确定所述目标显示信息对应的窗口页面所匹配的时间戳；
30.根据所述窗口页面所匹配的时间戳，按照时间戳的由大到小对所述第一目标应用对应的窗口页面和所述第二目标应用对应的窗口页面进行排序，得到对应的排序队列，其中，在所述排序队列中排序首位窗口页面所匹配时间戳的显示时间大于排序末位窗口页面所匹配时间戳的显示时间；
31.根据所述排序队列，将排序在前的窗口页面叠加展示在排序在后的窗口页面上。
32.在本申请第一方面的一些变更实施方式中，所述根据所述触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息，包括：
33.加载所述第一目标应用和所述第二目标应用对应的原生页面显示信息；
34.对所述原生页面显示信息执行截图操作，生成所述第一目标应用和所述第二目标应用对应的截图页面；
35.将所述第一目标应用和所述第二目标应用对应的截图页面，确定为所述第一目标应用和所述第二目标应用对应的目标显示信息。
36.在本申请第一方面的一些变更实施方式中，在所述根据所述触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息之后，所述方法还包括：
37.获取所述第一目标应用和所述第二目标应用对应的原生页面中包含的第一功能触控按钮；
38.获取所述第一目标应用和所述第二目标应用对应的截图页面中包含的第二功能触控按钮；
39.根据相同的功能触控按钮标识，建立所述第一功能触控按钮和所述第二功能触控按钮之间的关联关系；
40.若接收到点击触控目标截图页面中包含的目标第二功能触控按钮的操作指令，则根据所述关联关系，通过触控点击所述目标截图页面对应的目标原生页面中对应的目标第一功能触控按钮，获取所述目标第一功能触控按钮对应的显示信息；
41.利用所述显示信息生成窗口页面，用于替换所述目标截图页面并展示在显示界面中。
42.本申请第二方面提供了一种头戴式设备的多任务三维效果显示装置，该装置包括：
43.接收单元，用于接收打开第一目标应用的触发指令；
44.获取单元，用于根据所述接收单元接收到的触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息，所述第二目标应用包含至少一个应用且为在打开所述第一目标应用之前已运行的应用；
45.处理单元，用于对所述获取单元获取到的所述第一目标应用和所述第二目标应用对应的目标显示信息进行三维渲染显示处理；
46.显示单元，用于将经处理单元三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得所述第一目标应用和所述第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。
47.本申请第三方面一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如上述的头戴式设备的多任务三维效果显示方法。
48.本申请第四方面提供一种电子设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
49.其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
50.所述处理器用于调用所述存储器中的程序指令，以执行如上述的头戴式设备的多任务三维效果显示方法。
51.借由上述技术方案，本发明提供的技术方案至少具有下列优点：
52.本发明提供一种头戴式设备的多任务三维效果显示方法及装置，在本发明中对于多个已打开的目标应用，利用三维渲染显示方式对这些目标应用对应的目标显示信息进行处理，使得将已打开的多个目标应用对应的目标显示信息嵌入显示在头戴式设备内同一层显示界面内。相较于现有技术，解决了因采用二维显示方式显示应用图标和展示打开应用方法导致用户使用头戴式设备沉浸式体验差的问题，本发明利用三维渲染显示方式实现了对多个已打开应用对应显示信息同时进行展示，从而方便于用户高效地查找到指定已打开目标应用，同时也确保用户始终处于三维沉浸式环境中，大大提高了用户使用头戴式设备的操作体验。
53.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
54.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
55.图1为本发明实施例提供的一种头戴式设备的多任务三维效果显示方法流程图；
56.图2为本发明实施例例举的对已打开应用对应目标显示信息的处理流程示意图
57.图3为本发明实施例提供的另一种头戴式设备的多任务三维效果显示方法流程图；
58.图4为本发明实施例提供的一种头戴式设备的多任务三维效果显示装置的组成框图；
59.图5为本发明实施例提供的另一种头戴式设备的多任务三维效果显示装置的组成框图；
60.图6为本发明实施例提供的头戴式设备的多任务三维效果显示的电子设备。
具体实施方式
61.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
62.本发明实施例提供了一种头戴式设备的多任务三维效果显示方法，如图1所示，该方法是利用三维渲染显示的方式将已打开的多个目标应用对应的目标显示信息嵌入显示在头戴式设备内同一层显示界面内，对此本发明实施例提供以下具体步骤：
63.101、接收打开第一目标应用的触发指令。
64.在本发明实施例中，第一目标应用是指桌面应用(简称launcher app)，该桌面应用不同于现有的手机/平板桌面启动应用，而是利用unity或opengl等3d设计工具制作的且可以用于展示3d效果的桌面应用，从而根据该展示3d效果的桌面应用，实现了将已打开多
个应用的显示信息同时都三维渲染展示在同一个桌面界面内。
65.102、根据触发指令，获取第一目标应用和第二目标应用对应的目标显示信息，第二目标应用包含至少一个应用且为在打开第一目标应用之前已运行的应用。
66.在本发明实施例中，第二目标应用是指头戴式设备自身已安装的原生应用(比如“日历”应用、“设置”应用等等)或从应用市场已下载的第三方应用(比如“天气”应用、地图应用等等)，需要说明的是，本发明实施例所提及的“第一”和“第二”仅是用于区别指代不同应用，不存在用于去描述客体对象的先后顺序，该目标显示信息是指当打开一个应用时会对应展示出的该应用的内容信息。
67.头戴式设备不仅提供了桌面应用，还提供了其他智能应用服务，这些智能应用的图标可以被显示在桌面界面内，随着用户不断地打开所需体验的1个或多个应用，相应的，头戴式设备会存在已打开的1个或多个应用。对于本发明实施例，根据接收到的打开桌面应用触发指令，触发获取应用对应的显示信息的机制，也就是，获取该桌面应用对应的目标显示信息和当前已打开1个或多个智能应用分别对应的目标显示信息。
68.103、对第一目标应用和第二目标应用对应的目标显示信息进行三维渲染显示处理。
69.在本发明实施例中，如图2所示的对已打开应用对应目标显示信息的处理流程示意图，对本步骤进行详细解释说明：
70.图2中包含了左侧图片、中间图片和右侧图片，在图2中左侧图片示出了已打开的应用为“桌面应用”、app1和app2；中间图片示出头戴式设备系统框架层接收到的桌面应用对应的目标显示内容0、app1对应的目标显示内容1以及app2对应的目标显示内容2，如图2所示，目标显示内容1和目标显示内容2返回给桌面应用；右侧图片将目标显示内容1和目标显示内容2三维渲染显示在桌面应用内，使得目标显示内容1和目标显示内容2嵌入显示在同一层的显示界面内。
71.需要说明的是，为了清楚阐述解释本步骤，本发明实施例仅是结合图2进行例举说明，但是对本步骤能够处理已打开应用数量以及多个目标显示内容经三维渲染处理后的显示效果并未作出具体限定。
72.104、将经三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得第一目标应用和第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。
73.在本发明实施例中，经步骤103三维渲染显示处理之后，输出的显示效果为：确保桌面应用和其他应用对应的目标显示信息嵌入显示在同一层的显示界面内，从而实现了将其他应用对应的目标显示内容同时都展示在桌面应用的目标显示内容内。
74.本发明实施例提供一种头戴式设备的多任务三维效果显示方法，在本发明实施例中对于多个已打开的目标应用，利用三维渲染显示方式对这些目标应用对应的目标显示信息进行处理，使得将已打开的多个目标应用对应的目标显示信息嵌入显示在头戴式设备内同一层显示界面内。相较于现有技术，解决了因采用二维显示方式显示应用图标和展示打开应用方法导致用户使用头戴式设备沉浸式体验差的问题，本发明实施例利用三维渲染显示方式实现了对多个已打开应用对应显示信息同时进行展示，从而方便于用户高效地查找到指定已打开目标应用，同时也确保用户始终处于三维沉浸式环境中，大大提高了用户使用头戴式设备的操作体验。
75.为了对上述实施例做出更加详细的说明，本发明实施例还提供了另一种头戴式设备的多任务三维效果显示方法，如图3所示，对此本发明实施例提供以下具体步骤：
76.201、接收打开第一目标应用的触发指令。
77.在本发明实施例中，对本步骤陈述，参见步骤101，此处不在赘述。
78.202、根据触发指令，获取第一目标应用和第二目标应用对应的目标显示信息，第二目标应用包含至少一个应用且为在打开第一目标应用之前已运行的应用。
79.在本发明实施例中，当第一目标应用或第二目标应用被触发打开时，被打开的应用会加载应用的内容信息，进而会呈现对应的页面信息(即原生页面显示信息)，该页面信息是包含动态数据信息的，该动态数据信息是指1个或多个功能触控按钮，比如：“设置”应用被打开，呈现页面信息包含“无线网络”功能触控按钮、“声音控制”功能触控按钮、“壁纸设置”功能触控按钮等等，根据这些功能触控按钮可以执行下一层级的页面跳转并进行相应的功能设置。因此，对于每个应用被打开后所呈现的页面信息包含的动态数据信息，根据该应用所实际包含的功能触控按钮以及所提供的智能功能服务不同，每个应用对应呈现页面信息包含动态数据信息的信息数量、信息多样性都是不确定的。
80.对于本发明实施例，示例性的，那么为了简化每个已打开应用所展示目标显示信息，可以在加载第一目标应用或第二目标应用对应的原生页面显示信息完毕之后，对原生页面显示信息执行截图操作，生成第一目标应用和第二目标应用对应的截图页面，将第一目标应用和第二目标应用对应的截图页面，确定为第一目标应用和第二目标应用对应的目标显示信息，从而实现利用截图页面替代原生页面作为对应的目标显示信息，由于截图页面的数据量远远小于原生页面，从而在后续由头戴式设备系统框架层传递目标显示信息至第一目标应用以及展示目标显示信息过程中，通过处理较少的数据量就能够达到将多个已打开应用的显示信息三维渲染展示在同一层显示界面的显示效果，大大提高了处理效率。
81.203、为第一目标应用和第二目标应用对应的目标显示信息创建对应的显示窗口。
82.在本发明实施例中，结合以上例举的附图2进一步的详细说明，在获取到第一目标应用和第二目标应用对应的目标显示信息之后，会将多个目标显示信息发送到头戴式设备系统框架层，该框架层会将第二目标应用对应的目标显示信息返回给第一目标应用，此时第一目标应用会分别为自己对应的目标显示信息和返回的第二目标应用对应的目标显示信息创建对应的显示窗口，使得一个目标显示信息对应一个显示窗口。
83.204、将目标显示信息渲染填充到对应的显示窗口内，生成对应的窗口页面。
84.在本发明实施例中，是将第一目标应用和第二目标应用对应的目标显示信息渲染填充到对应的显示窗口中，示例性的，如步骤202，以截图页面作为目标显示信息，那么相应的向显示窗口填充的就是截图页面，根据填充的显示窗口，对应的就生成了窗口页面。
85.205、将第一目标应用对应的窗口页面和第二目标应用对应的窗口页面三维渲染嵌入包含在同一层的显示界面内。
86.在本发明实施例中，对于本步骤细化陈述如下：
87.首先，标记第一目标应用对应的窗口页面为主窗口页面，标记第二目标应用对应的窗口页面为辅窗口页面，据此标记操作，就在多个窗口页面中得到了“辅”从属于“主”的关系，从而后续根据该关系，实现将辅窗口页面三维渲染嵌入进主窗口页面内。
88.其次，将辅窗口页面三维渲染嵌入在主窗口页面内的具体实施方法包括但不限于
如下示例性的陈述：
89.示例性1，若主窗口页面内三维渲染嵌入至少两个辅窗口页面，则将至少两个辅窗口页面叠加展示在主窗口页面内。在叠加展示的至少两个辅窗口页面中，确定叠加在前的辅窗口页面的尺寸大于叠加在后的辅窗口页面的窗口尺寸，据此，在所有被叠加的辅窗口页面中，实现了利用最大窗口页面尺寸对叠加在最前的辅窗口页面进行特征显示，从而利用该特征显示更加方便用户查看到该叠加在最前的辅窗口页面。
90.示例性2，若主窗口页面内三维渲染嵌入至少两个辅窗口页面，则将至少两个辅窗口页面叠加展示在主窗口页面内，但是需要对叠加规则进行说明，如下：
91.示例性2.1，对于这些至少两个辅窗口页面，可以先进行分组，而后将每组内的辅窗口页面执行叠加，进一步的，在每组内的辅窗口页面中，确定叠加在前的辅窗口页面的尺寸大于叠加在后的辅窗口页面的窗口尺寸。
92.示例性2.2，对于这些至少两个辅窗口页面，可以按照应用被打开的时间先后顺序，将最后被打开应用的目标显示信息对应辅窗口页面与其他辅窗口页面分开处理，也就是，将其他辅窗口页面执行叠加操作，而将最后被打开应用的目标显示信息对应辅窗口页面单独展示，并且确保相较于实现窗口尺寸最大。
93.示例性2.3，对于上述示例性2.1和2.2进一步优化，可以进一步去设置窗口页面叠加部分的透明度，以及设置窗口页面之间允许叠加尺寸的阈值区间，从而得到更加优化叠加方案，避免窗口页面被过度叠加，也确保用户也能够查看到更多被叠加窗口页面内容。
94.示例性3，对于这些至少两个辅窗口页面，若数量较少，通过将这些辅窗口页面尺寸与主窗口页面尺寸比较，尝试将这些辅窗口页面不叠加的排列嵌入在主窗口页面内，具体的，排列嵌入方式可以是由主窗口页面的边缘比对至中心嵌入。
95.在本发明实施例中，结合如上实现的将辅窗口页面三维渲染嵌入在主窗口页面内的具体实施方法，还进一步的给出：根据用户实际触控窗口页面，动态调整原窗口页面的三维渲染嵌入方式的具体实施方法，包括如下：
96.首先，若接收到触控点击目标辅窗口页面的操作指令，则判断目标辅窗口页面是否为叠加在首位的辅窗口页面；
97.其次，若判断目标辅窗口页面不是为叠加在首位的辅窗口页面，则动态调整目标辅窗口页面至窗口叠加首位，具体实施操作可以包括但不限于如下示例：
98.例如，“动态调整目标辅窗口页面至窗口叠加首位”可以为：一种方式为，利用目标辅窗口页面直接替换首位的辅窗口页面，该替换操作包括了两者在尺寸显示上的直接调换；另一种方式为，从多个辅窗口页面中提取出该目标辅窗口页面，调整为叠加到原首位的窗口页面之前，并同时调整该目标辅窗口页面尺寸大于原首位的辅窗口页面。
99.206、将经三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得第一目标应用和第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。
100.在本发明实施例中，本步骤是对经三维渲染处理的处理结果进行展示，让用户看见的展示效果为第一目标应用和第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内，也就是至少两个辅窗口页面嵌入展示在主窗口页面内。
101.进一步的，在本发明实施例中，对于主窗口页面内嵌入展示的至少两个辅窗口页面，哪个辅窗口页面应该显示在最前或者说被特征突出显示，本发明实施例还给出了进一
步的优化显示方案，具体陈述如下：
102.首先，在获取第一目标应用和第二目标应用对应的目标显示信息之后，还可以标记第一目标应用和第二目标应用加载目标显示信息的完成时间点，根据完成时间点，对目标显示信息添加时间戳。
103.其次，根据对目标显示信息添加的时间戳，确定目标显示信息对应的窗口页面所匹配的时间戳。根据窗口页面所匹配的时间戳，按照时间戳的由大到小对第一目标应用对应的窗口页面和第二目标应用对应的窗口页面进行排序，得到对应的排序队列。
104.需要说明的是，在排序队列中排序首位窗口页面所匹配时间戳的显示时间大于排序末位窗口页面所匹配时间戳的显示时间；
105.最后，根据排序队列，将排序在前的窗口页面叠加展示在排序在后的窗口页面上。
106.在本发明实施例中，在步骤202中示例性的例举了，获取的第一目标应用和第二目标应用对应的目标显示信息，均可以是应用对应加载原生页面对应的截图页面，继而显示屏幕上展示的目标显示信息也就是该截图页面，据此，对于用户触控操作显示屏幕内展示的三维渲染显示效果中的目标显示信息而去获取第二目标应用的更多其他丰富的数据信息，本发明实施例给出具体实施方法，可以包括如下：
107.首先，在本发明实施例中，当打开一个应用时会加载页面信息，该页面信息包含了动态数据信息，作为原生页面，而对该原生页面执行截图操作，则获取到对应的截图页面，那么就原生页面和截图页面当下呈现的可见内容信息而言，两者是相同的，因此就当下呈现的可见内容信息，两个页面包含功能触控按钮的标识信息也是完全相同的。据此，获取第一目标应用和第二目标应用对应的原生页面中包含的第一功能触控按钮。获取第一目标应用和第二目标应用对应的截图页面中包含的第二功能触控按钮。
108.需要说明的是，“第一”和“第二”仅是方便于区分描述应用和功能触控按钮之间的从属关系，不存在先后顺序的指代描述。
109.其次，根据相同的功能触控按钮标识，建立原生页面包含的第一功能触控按钮和截图页面包含的第二功能触控按钮之间的关联关系。
110.然后，若接收到点击触控目标截图页面中包含的目标第二功能触控按钮的操作指令，则根据上述的关联关系，通过触控点击目标截图页面对应的目标原生页面中对应的目标第一功能触控按钮，获取目标第一功能触控按钮对应的显示信息，也就是在原生页面中跳转到下一层级页面对应的显示信息。利用这个显示信息替换之前触控点击的目标截图页面，并渲染填充到原显示窗口内生成新的窗口页面，用于替换目标截图页面并展示在显示界面中，从而在原有窗口页面。
111.示例性的，即使目标应用对应的原生页面和截图页面尺寸不同，也可以实现如上述根据用户触控点击目标显示信息而获取目标应用对应的更多内容信息的具体实施方法，例如：
112.对于一个目标应用而言，原生页面和截图页面是对应关系，继而可以根据相同的功能触控标识所在不同页面上的位置覆盖区域，而建立原生页面包含第一功能触控标识和截图页面包含的第二功能触控标识之间存在的关联关系。
113.具体的，对于一个相同的功能触控标识，在原生页面中对应位置覆盖区域标记为第一位置区域，而在截图页面中对应位置覆盖区域标记为第二位置区域，从而建立功能触
控标识、第一位置区域和第二位置区域三者之间映射关系，从而即使原生页面和截图页面尺寸不同、甚至差别很大，也可以根据用户触控点击操作所对应落入的截图页面内的第二位置区域，识别到触控点击的是哪个功能触控标识，进而根据上述建立的映射关系，就可以在原生页面查找到这个功能触控标识对应的第一位置区域是哪个，从而进一步的通过触控点击该第一位置区域实现在原生页面的跳转到下一层级页面，最终获取到该目标应用的下一层级的显示信息。
114.进一步的，作为对上述图1、图3所示方法的实现，本发明实施例提供了一种头戴式设备的多任务三维效果显示装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于已打开的多个应用对应的目标显示信息进行三维渲染展示，具体如图4所示，该装置包括：
115.接收单元31，用于接收打开第一目标应用的触发指令；
116.获取单元32，用于根据所述接收单元31接收到的触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息，所述第二目标应用包含至少一个应用且为在打开所述第一目标应用之前已运行的应用；
117.处理单元33，用于对所述获取单元32获取到的所述第一目标应用和所述第二目标应用对应的目标显示信息进行三维渲染显示处理；
118.显示单元34，用于将经处理单元33三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得所述第一目标应用和所述第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。
119.进一步，如图5所示，所述处理单元33包括：
120.创建模块331，用于为所述第一目标应用和所述第二目标应用对应的目标显示信息创建对应的显示窗口；
121.生成模块332，用于将所述目标显示信息渲染填充到对应的所述创建模块331创建的显示窗口内，生成对应的窗口页面；
122.渲染模块333，用于将所述生成模块332生成的第一目标应用对应的窗口页面和所述第二目标应用对应的窗口页面三维渲染嵌入包含在同一层的显示界面内。
123.进一步，如图5所示，所述渲染模块333包括：
124.标记子模块3331，用于标记所述第一目标应用对应的窗口页面为主窗口页面；
125.所述标记子模块3331，还用于标记所述第二目标应用对应的窗口页面为辅窗口页面；
126.渲染子模块3332，用于将所述标记子模块3331标记的辅窗口页面三维渲染嵌入在所述标记子模块3331标记的主窗口页面内。
127.进一步，如图5所示，所述渲染子模块3332包括：
128.叠加子模块33321，用于若主窗口页面内三维渲染嵌入至少两个辅窗口页面，则将至少两个所述辅窗口页面叠加展示在所述主窗口页面内；
129.确定子模块33322，用于在叠加展示的至少两个所述辅窗口页面中，确定叠加在前的辅窗口页面的尺寸大于叠加在后的辅窗口页面的窗口尺寸；
130.判断子模块33323，用于若接收到触控点击目标辅窗口页面的操作指令，则判断所
述目标辅窗口页面是否为叠加在首位的辅窗口页面；
131.执行子模块33324，用于若所述判断子模块33323判断所述目标辅窗口页面不为叠加在首位的辅窗口页面，则调整所述目标辅窗口页面至窗口叠加首位，并放大所述目标辅窗口尺寸大于原叠加在首位的辅窗口页面。
132.进一步，如图5所示，所述装置还包括：
133.标记单元35，用于在获取所述第一目标应用和第二目标应用对应的目标显示信息之后，标记第一目标应用和第二目标应用加载目标显示信息的完成时间点；
134.添加单元36，用于根据所述标记单元35标记的完成时间点，对所述目标显示信息添加时间戳。
135.进一步，如图5所示，所述显示单元34包括：
136.确定子模块341，用于根据对所述目标显示信息添加的时间戳，确定所述目标显示信息对应的窗口页面所匹配的时间戳；
137.排序子模块342，用于根据所述窗口页面所匹配的时间戳，按照时间戳的由大到小对所述第一目标应用对应的窗口页面和所述第二目标应用对应的窗口页面进行排序，得到对应的排序队列，其中，在所述排序队列中排序首位窗口页面所匹配时间戳的显示时间大于排序末位窗口页面所匹配时间戳的显示时间；
138.展示子模块343，用于根据所述排序队列，将排序在前的窗口页面叠加展示在排序在后的窗口页面上。
139.进一步，如图5所示，所述获取单元32包括：
140.加载子模块321，用于加载所述第一目标应用和所述第二目标应用对应的原生页面显示信息；
141.生成子模块322，用于对所述原生页面显示信息执行截图操作，生成所述第一目标应用和所述第二目标应用对应的截图页面；
142.确定子模块323，用于将所述第一目标应用和所述第二目标应用对应的截图页面，确定为所述第一目标应用和所述第二目标应用对应的目标显示信息。
143.进一步，如图5所示，所述装置还包括：
144.所述获取单元32，还用于获取所述第一目标应用和所述第二目标应用对应的原生页面中包含的第一功能触控按钮；
145.所述获取单元32，还用于获取所述第一目标应用和所述第二目标应用对应的截图页面中包含的第二功能触控按钮；
146.建立单元37，用于根据相同的功能触控按钮标识，建立所述第一功能触控按钮和所述第二功能触控按钮之间的关联关系；
147.所述获取单元32，还用于若接收到点击触控目标截图页面中包含的目标第二功能触控按钮的操作指令，则根据所述关联关系，通过触控点击所述目标截图页面对应的目标原生页面中对应的目标第一功能触控按钮，获取所述目标第一功能触控按钮对应的显示信息；
148.替换单元38，用于利用所述显示信息生成窗口页面，用于替换所述目标截图页面并展示在显示界面中。
149.综上所述，本发明实施例提供一种头戴式设备的多任务三维效果显示方法及装
置，在本发明实施例中对于多个已打开的目标应用，利用三维渲染显示方式对这些目标应用对应的目标显示信息进行处理，使得将已打开的多个目标应用对应的目标显示信息嵌入显示在头戴式设备内同一层显示界面内。相较于现有技术，解决了因采用二维显示方式显示应用图标和展示打开应用方法导致用户使用头戴式设备沉浸式体验差的问题，本发明实施例利用三维渲染显示方式实现了对多个已打开应用对应显示信息同时进行展示，从而方便于用户高效地查找到指定已打开目标应用，同时也确保用户始终处于三维沉浸式环境中，大大提高了用户使用头戴式设备的操作体验。
150.所述头戴式设备的多任务三维效果显示装置包括处理器和存储器，上述接收单元、获取单元、处理单元和显示单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
151.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来利用三维渲染显示的方式将已打开的多个目标应用对应的目标显示信息嵌入显示在头戴式设备内同一层显示界面内。
152.本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述头戴式设备的多任务三维效果显示方法。
153.本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述头戴式设备的多任务三维效果显示方法。
154.本发明实施例提供了一种电子设备40，如图6所示，设备包括至少一个处理器401、以及与处理器401连接的至少一个存储器402、总线403；其中，处理器401、存储器402通过总线403完成相互间的通信；处理器401用于调用存储器402中的程序指令，以执行上述的头戴式设备的多任务三维效果显示方法。
155.本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
156.一种头戴式设备的多任务三维效果显示方法，所述方法包括：接收打开第一目标应用的触发指令；根据所述触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息，所述第二目标应用包含至少一个应用且为在打开所述第一目标应用之前已运行的应用；对所述第一目标应用和所述第二目标应用对应的目标显示信息进行三维渲染显示处理；将经三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得所述第一目标应用和所述第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。
157.本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
158.在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
159.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存
储芯片。存储器是计算机可读介质的示例。
160.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
161.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
162.本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
163.以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

技术特征：
1.一种头戴式设备的多任务三维效果显示方法，其特征在于，所述方法包括：接收打开第一目标应用的触发指令；根据所述触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息，所述第二目标应用包含至少一个应用且为在打开所述第一目标应用之前已运行的应用；对所述第一目标应用和所述第二目标应用对应的目标显示信息进行三维渲染显示处理；将经三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得所述第一目标应用和所述第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。2.根据权利要求1所述的方法，其特征在于，所述对所述第一目标应用和所述第二目标应用对应的目标显示信息进行三维渲染显示处理，包括：为所述第一目标应用和所述第二目标应用对应的目标显示信息创建对应的显示窗口；将所述目标显示信息渲染填充到对应的所述显示窗口内，生成对应的窗口页面；将所述第一目标应用对应的窗口页面和所述第二目标应用对应的窗口页面三维渲染嵌入包含在同一层的显示界面内。3.根据权利要求2所述的方法，其特征在于，所述将所述第一目标应用对应的窗口页面和所述第二目标应用对应的窗口页面三维渲染嵌入包含在同一层的显示界面内，包括：标记所述第一目标应用对应的窗口页面为主窗口页面；标记所述第二目标应用对应的窗口页面为辅窗口页面；将所述辅窗口页面三维渲染嵌入在所述主窗口页面内。4.根据权利要求3所述的方法，其特征在于，所述将所述辅窗口页面三维渲染嵌入在所述主窗口页面内，包括：若主窗口页面内三维渲染嵌入至少两个辅窗口页面，则将至少两个所述辅窗口页面叠加展示在所述主窗口页面内；在叠加展示的至少两个所述辅窗口页面中，确定叠加在前的辅窗口页面的尺寸大于叠加在后的辅窗口页面的窗口尺寸；若接收到触控点击目标辅窗口页面的操作指令，则判断所述目标辅窗口页面是否为叠加在首位的辅窗口页面；若否，则调整所述目标辅窗口页面至窗口叠加首位，并放大所述目标辅窗口尺寸大于原叠加在首位的辅窗口页面。5.根据权利要求2所述的方法，其特征在于，在获取所述第一目标应用和第二目标应用对应的目标显示信息之后，所述方法还包括：标记第一目标应用和第二目标应用加载目标显示信息的完成时间点；根据所述完成时间点，对所述目标显示信息添加时间戳。6.根据权利要求5所述的方法，其特征在于，所述将经三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，包括：根据对所述目标显示信息添加的时间戳，确定所述目标显示信息对应的窗口页面所匹配的时间戳；根据所述窗口页面所匹配的时间戳，按照时间戳的由大到小对所述第一目标应用对应的窗口页面和所述第二目标应用对应的窗口页面进行排序，得到对应的排序队列，其中，在
所述排序队列中排序首位窗口页面所匹配时间戳的显示时间大于排序末位窗口页面所匹配时间戳的显示时间；根据所述排序队列，将排序在前的窗口页面叠加展示在排序在后的窗口页面上。7.根据权利要1至6中任一项所述的方法，其特征在于，所述根据所述触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息，包括：加载所述第一目标应用和所述第二目标应用对应的原生页面显示信息；对所述原生页面显示信息执行截图操作，生成所述第一目标应用和所述第二目标应用对应的截图页面；将所述第一目标应用和所述第二目标应用对应的截图页面，确定为所述第一目标应用和所述第二目标应用对应的目标显示信息。8.根据权利要求7所述的方法，其特征在于，在所述根据所述触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息之后，所述方法还包括：获取所述第一目标应用和所述第二目标应用对应的原生页面中包含的第一功能触控按钮；获取所述第一目标应用和所述第二目标应用对应的截图页面中包含的第二功能触控按钮；根据相同的功能触控按钮标识，建立所述第一功能触控按钮和所述第二功能触控按钮之间的关联关系；若接收到点击触控目标截图页面中包含的目标第二功能触控按钮的操作指令，则根据所述关联关系，通过触控点击所述目标截图页面对应的目标原生页面中对应的目标第一功能触控按钮，获取所述目标第一功能触控按钮对应的显示信息；利用所述显示信息生成窗口页面，用于替换所述目标截图页面并展示在显示界面中。9.一种头戴式设备的多任务三维效果显示装置，其特征在于，所述装置包括：接收单元，用于接收打开第一目标应用的触发指令；获取单元，用于根据所述接收单元接收到的触发指令，获取所述第一目标应用和第二目标应用对应的目标显示信息，所述第二目标应用包含至少一个应用且为在打开所述第一目标应用之前已运行的应用；处理单元，用于对所述获取单元获取到的所述第一目标应用和所述第二目标应用对应的目标显示信息进行三维渲染显示处理；显示单元，用于将经处理单元三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得所述第一目标应用和所述第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。10.一种电子设备，其特征在于，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1
‑
8中任一项所述的头戴式设备的多任务三维效果显示方法。
技术总结
本发明公开了一种头戴式设备的多任务三维效果显示方法、装置及电子设备，涉及头戴式设备智能显示技术领域，提高了用户使用头戴式设备的操作体验，本发明的主要技术方案为：接收打开第一目标应用的触发指令；根据触发指令，获取第一目标应用和第二目标应用对应的目标显示信息，第二目标应用包含至少一个应用且为在打开第一目标应用之前已运行的应用；对第一目标应用和第二目标应用对应的目标显示信息进行三维渲染显示处理；将经三维渲染显示处理后的内容信息展示在头戴式设备的显示屏幕上，使得第一目标应用和第二目标应用对应的目标显示信息嵌入显示在同一层的显示界面内。本发明主要应用于对已打开多个应用对应目标显示信息进行三维渲染展示。示信息进行三维渲染展示。示信息进行三维渲染展示。


技术研发人员：王和平 张军
受保护的技术使用者：联想（北京）有限公司
技术研发日：2021.03.29
技术公布日：2021/6/24