本技术涉及智能终端，特别涉及一种终端控制方法、装置、设备及存储介质。
背景技术：
1、随着智能终端的功能日益丰富，许多智能终端上配置有语音助手，以智能手机为例，用户可以通过语音助手来发送短信、拨打电话、查询天气等。
2、相关技术中，智能终端运行语音助手，语音助手获取到用户的语音信息之后，检测语音信息与预设语音指令是否匹配，在检测到语音信息与预设语音指令匹配时，控制智能终端执行该预设语音指令。
3、然而，上述方法中，语音助手只能控制智能终端执行预设好的语音指令，无法实现除预设语音指令以外的语音指令，导致人机交互效率较差，用户体验感不佳。
技术实现思路
1、本技术实施例提供了一种终端控制方法、装置、设备及存储介质。所述技术方案如下：
2、第一方面，提供了一种终端控制方法，所述方法包括：
3、在终端展示第一界面的过程中，获取用户输入的语音信息以及对所述终端进行屏幕截取得到的第一截屏图像；
4、对所述语音信息进行语音识别，得到所述用户针对所述第一界面的操作意图，以及，对所述第一截屏图像进行图像识别，得到所述第一界面的界面内容；
5、基于所述操作意图和所述界面内容，确定符合所述操作意图的第一操作指令，所述第一操作指令指示对所述第一界面实施第一操作；
6、控制所述终端执行所述第一操作指令以对所述第一界面实施所述第一操作。
7、在一些实施例中，所述基于所述操作意图和所述界面内容，确定符合所述操作意图的第一操作指令，包括下述任一项：
8、基于所述操作意图和所述界面内容，从多个预设操作指令中确定符合所述操作意图的所述第一操作指令；
9、基于所述操作意图和所述界面内容，生成符合所述操作意图的所述第一操作指令。
10、在一些实施例中，所述界面内容指示所述第一界面的界面布局和多个界面元素，所述界面元素包括图像、文本以及控件中至少一项；
11、所述基于所述操作意图和所述界面内容，确定符合所述操作意图的第一操作指令，包括：
12、基于所述操作意图和所述多个界面元素之间的匹配结果，从所述多个界面元素中确定符合所述操作意图的目标界面元素；
13、基于所述界面布局，确定所述目标界面元素在所述第一界面的位置；
14、基于所述目标界面元素在所述第一界面的位置，确定所述第一操作指令。
15、在一些实施例中，所述基于所述操作意图和所述多个界面元素之间的匹配结果，从所述多个界面元素中确定符合所述操作意图的目标界面元素，包括下述任一项：
16、基于所述操作意图和所述多个界面元素中每个界面元素之间的匹配结果，从所述多个界面元素中确定所述目标界面元素；
17、从所述第一截屏图像中确定符合所述操作意图的目标区域，基于所述操作意图和所述目标区域中每个界面元素之间的匹配结果，确定所述目标界面元素。
18、在一些实施例中，所述基于所述操作意图和所述界面内容，确定符合所述操作意图的第一操作指令，包括：
19、基于所述操作意图和所述界面内容，确定符合所述操作意图的至少一个候选操作指令；
20、控制所述终端在所述第一界面上展示提示信息，所述提示信息指示从所述至少一个候选操作指令中确定待执行的操作指令；
21、响应于所述用户针对所述提示信息的触发操作，将所述触发操作所指示的候选操作指令确定为所述第一操作指令。
22、在一些实施例中，所述响应于所述用户针对所述提示信息的触发操作，将所述触发操作所指示的候选操作指令确定为所述第一操作指令，包括下述任一项：
23、响应于所述用户针对所述提示信息的语音输入操作，将所述语音输入操作所指示的候选操作指令确定为所述第一操作指令；
24、响应于所述用户针对所述提示信息的眼动控制操作，将所述眼动控制操作所指示的候选操作指令确定为所述第一操作指令。
25、在一些实施例中，所述在终端展示第一界面的过程中，获取用户输入的语音信息以及对所述终端进行屏幕截取得到的第一截屏图像，包括：
26、在所述终端展示所述第一界面的过程中，获取对所述终端进行屏幕录制得到的录制视频；
27、在获取到所述语音信息的情况下，基于所述语音信息的获取时间，从所述录制视频中截取与所述获取时间对应的所述第一截屏图像。
28、在一些实施例中，所述方法还包括：
29、在对所述终端进行屏幕录制的过程中，对所述录制视频进行图像识别，得到所述录制视频的视频内容，所述视频内容用于为所述第一截屏图像的图像识别过程提供参考信息。
30、第二方面，提供了一种终端控制装置，所述装置包括：
31、获取模块，用于在终端展示第一界面的过程中，获取用户输入的语音信息以及对所述终端进行屏幕截取得到的第一截屏图像；
32、识别模块，用于对所述语音信息进行语音识别，得到所述用户针对所述第一界面的操作意图，以及，对所述第一截屏图像进行图像识别，得到所述第一界面的界面内容；
33、确定模块，用于基于所述操作意图和所述界面内容，确定符合所述操作意图的第一操作指令，所述第一操作指令指示对所述第一界面实施第一操作；
34、控制模块，用于控制所述终端执行所述第一操作指令以对所述第一界面实施所述第一操作。
35、在一些实施例中，确定模块，用于下述任一项：
36、基于操作意图和界面内容，从多个预设操作指令中确定符合操作意图的第一操作指令；
37、基于操作意图和界面内容，生成符合操作意图的第一操作指令。
38、在一些实施例中，界面内容指示第一界面的界面布局和多个界面元素，界面元素包括图像、文本以及控件中至少一项；
39、确定模块，用于：
40、基于操作意图和多个界面元素之间的匹配结果，从多个界面元素中确定符合操作意图的目标界面元素；
41、基于界面布局，确定目标界面元素在第一界面的位置；
42、基于目标界面元素在第一界面的位置，确定第一操作指令。
43、在一些实施例中，确定模块，用于下述任一项：
44、基于操作意图和多个界面元素中每个界面元素之间的匹配结果，从多个界面元素中确定目标界面元素；
45、从第一截屏图像中确定符合操作意图的目标区域，基于操作意图和目标区域中每个界面元素之间的匹配结果，确定目标界面元素。
46、在一些实施例中，确定模块，用于：
47、基于操作意图和界面内容，确定符合操作意图的至少一个候选操作指令；
48、控制终端在第一界面上展示提示信息，提示信息指示从至少一个候选操作指令中确定待执行的操作指令；
49、响应于用户针对提示信息的触发操作，将触发操作所指示的候选操作指令确定为第一操作指令。
50、在一些实施例中，确定模块，用于下述任一项：
51、响应于用户针对提示信息的语音输入操作，将语音输入操作所指示的候选操作指令确定为第一操作指令；
52、响应于用户针对提示信息的眼动控制操作，将眼动控制操作所指示的候选操作指令确定为第一操作指令。
53、在一些实施例中，获取模块，用于：
54、在终端展示第一界面的过程中，获取对终端进行屏幕录制得到的录制视频；
55、在获取到语音信息的情况下，基于语音信息的获取时间，从录制视频中截取与获取时间对应的第一截屏图像。
56、在一些实施例中，识别模块，还用于：
57、在对终端进行屏幕录制的过程中，对录制视频进行图像识别，得到录制视频的视频内容，视频内容用于为第一截屏图像的图像识别过程提供参考信息。
58、第三方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如本技术实施例所述的终端控制方法。
59、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如本技术实施例所述的终端控制方法。
60、第五方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如本技术实施例所述的终端控制方法。
61、本技术提供了一种终端控制方法，其中，在终端展示第一界面的过程中，通过获取用户输入的语音信息以及对终端进行屏幕截取得到的截屏图像，应用语音识别和图像识别技术，确定用户针对第一界面的操作意图和第一界面的界面内容，基于此，确定出符合用户操作意图的操作指令，并控制终端执行该操作指令，使得用户能够通过语音来对终端上展示的任意界面实施操作，有效提升了人机交互效率，改善了用户体验感。
1.一种终端控制方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述操作意图和所述界面内容，确定符合所述操作意图的第一操作指令，包括下述任一项：
3.根据权利要求1所述的方法，其特征在于，所述界面内容指示所述第一界面的界面布局和多个界面元素，所述界面元素包括图像、文本以及控件中至少一项；
4.根据权利要求3所述的方法，其特征在于，所述基于所述操作意图和所述多个界面元素之间的匹配结果，从所述多个界面元素中确定符合所述操作意图的目标界面元素，包括下述任一项：
5.根据权利要求1所述的方法，其特征在于，所述基于所述操作意图和所述界面内容，确定符合所述操作意图的第一操作指令，包括：
6.根据权利要求5所述的方法，其特征在于，所述响应于所述用户针对所述提示信息的触发操作，将所述触发操作所指示的候选操作指令确定为所述第一操作指令，包括下述任一项：
7.根据权利要求1所述的方法，其特征在于，所述在终端展示第一界面的过程中，获取用户输入的语音信息以及对所述终端进行屏幕截取得到的第一截屏图像，包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.一种终端控制装置，其特征在于，所述装置包括：
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行如权利要求1至权利要求8中任一项所述的终端控制方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8中任一项所述的终端控制方法。
12.一种计算机程序产品，其特征在于，所述计算机程序产品包括至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8中任一项所述的终端控制方法。
