本发明涉及智能家居控制的，尤其是涉及一种融合脑机接口和混合现实交互的多被控对象脑控方法。
背景技术：
1、在我国逐步推进残疾人康复事业发展的进程中，运动障碍病人因患有帕金森综合症、肌萎缩性脊髓侧索硬化、脑干中风、脊髓损伤、脑瘫等严重神经肌肉疾病而失去了行动和自理能力，面向这类运动障碍人群的康复训练和生活辅助技术正在获得越来越多的关注。智能家居作为现代家居生活的发展趋势，能够极大地方便人们的日常生活，但是对于无法说话、无法行动的运动障碍人群，现有的智能家居控制技术仍然存在较大的局限性。
2、脑机接口(bci)作为一种人-机交互技术，可以不依赖于人的外周神经和肌肉，直接通过解码脑电活动来完成大脑与外部设备之间的信息交互。对于失去了行动和自理能力的运动障碍病人而言，bci技术能够部分恢复他们的生活自理能力和提高他们的生活品质，具有重要的研究和应用价值。在bci技术中，脑电信号模式是产生稳定可靠、可区分、可重复的脑电信号特征的关键，其中稳态视觉诱发电位(ssvep)由注视按照固定频率闪烁的视觉刺激产生，诱发的脑电信号不仅包含与刺激源相同频率的成分，还包含其谐波分量，相较于p300、运动想象等现有的其他脑电模式，ssvep具有更高的准确率和更快的响应速度。因此，采用基于ssvep的bci技术，是构建面向运动障碍人群的智能家居脑控技术的可行途径，但是现有的ssvep-bci系统会受到刺激源数量和可输出指令数量的限制，难以满足智能家居众多电气设备的多样化控制需求。
技术实现思路
1、本发明的目的是提供一种融合脑机接口和混合现实交互的多被控对象脑控方法，将ssvep-bci与混合现实(mr)这一全新的数字全息影像技术进行了融合，以实际环境为载体，将虚拟刺激源自适应地叠加或者合成到真实世界中，能够增加ssvep-bci的可控设备数量和可输出指令数量，得以满足智能家居控制要求，而且能够根据视野内的设备属性自适应调整虚拟闪烁功能键和控制指令。
2、为实现上述目的，本发明提供了一种融合脑机接口和混合现实交互的多被控对象脑控方法，包括以下步骤：
3、s1：建立脑控平台，包括混合现实mr装置、脑电采集帽和上位机平台，上位机平台与若干个智能家居网络连接，上位机平台存储有若干个智能家居对应的家居数据库；
4、s2：使用者佩戴好混合现实mr装置和脑电采集帽，并开启设备控制模式，混合现实mr装置和脑电采集帽均与上位机平台网络连接；
5、在设备控制模式下，上位机平台主动获取当前所有智能家居的设备状态；
6、s3：上位机平台依据家居数据库，结合混合现实mr装置识别视野中的智能家居设备，在混合现实mr装置的视野中，在智能家居设备的相应位置上添加虚拟闪烁功能按键；
7、s4：脑电极帽采集使用者的枕叶区的脑电信号，并进行解码分析，得到当前选取的稳态视觉诱发电位ssvep指令后，依据家居数据库与所述虚拟闪烁功能键之间的映射关系，判断用户的真实控制意图，并生成对特定智能家居的特定功能的控制指令；
8、s5：对于步骤s4中生成的控制指令，对应虚拟闪烁功能键所对应的设备组属性中的设备编号、通信地址和具体功能项，进而生成对这一设备功能的通信控制指令，按照通信协议生成通信传输帧，将控制指令发送至该设备的通信地址并等待设备反馈，当反馈传输失败或无反馈时，系统持续发送控制指令并提醒使用者，当反馈控制成功后，返回步骤s3，循环执行。
9、优选的，所述步骤s1中，上位机平台中的家居数据库分为两种，一种是狭义智能家居数据库，仅录入当前家庭内使用的智能家居数据，另一种是广义智能家居数据库，录入市场上常用智能家居数据；
10、家居数据库中包括智能家居的照片、设备属性、设备功能键图标、设备控制功能汇总标记，设备属性包括设备编号、设备出厂信息、通信地址、可控功能项。
11、优选的，所述步骤s2中，开启设备控制模式的方式包括如下：
12、第一种：混合现实mr设备的陀螺仪传感器，检测到使用者连续晃动头部或点头进入设备控制模式；
13、在第二种：在非设备控制模式下，当前混合现实mr装置的视野范围边缘处添加虚拟闪烁功能键作为设备控制模式的开启控制键。
14、优选的，所述步骤s2中，上位机平台获取智能家居的运行状态，包括开关状态、运行模式和操作状态。
15、优选的，所述步骤s3中，在智能家居设备的相应位置上添加虚拟闪烁功能按键的过程如下：
16、上位机平台通过比对家居数据库识别出设备类型，标定设备位于当前视野的位置，并提取家居数据库中的设备编号顺序调取各设备通信地址、可控功能项、设备功能键图标、设备状态，根据可控功能项和当前状态，确定当前按设备编号排序的可控制功能列表，并根据这些控制功能项调取相应的虚拟功能键图标，对于虚拟按键设置的位置设置，采用语义图像分割模型，对mr设备拍摄的每一帧视频进行分割，识别出图像中的被控设备区域，进而将每个虚拟闪烁功能键以相应刺激频率和相应的图标显示在对应的位置；
17、将刺激频率列表按照一定的规则动态分配给各虚拟功能键作为刺激频率。
18、优选的，对于刺激频率列表的分配规则，针对ssvep适用范围选取，按照频率间隔0.2hz，其范围选定在8hz～16hz之间，频率与可控功能项的匹配方式按照频率由小向大的顺序一一对应。
19、优选的，所述步骤s4中，采集使用者的枕叶区的脑电信号，进行解码分析的过程如下：
20、使用者注视特定虚拟闪烁功能键来选取对应设备的相应功能，对这一过程中采集到的枕叶区多通道脑电信号进行分析，通过截取时间窗、空间滤波的预处理后，利用基于典型相关分析、功率谱密度分析、复杂网络分析的异步解码算法，对用户脑电信号中的刺激频率成分进行提取，并采用支持向量机进行分类；
21、将当前分类结果与虚拟闪烁功能键动态匹配表比照得到预测的控制意图，将被控家居设备在当前状态无法完成的控制意图判断为误触发，而对于当前状态能完成的控制意图，在混合现实mr装置的视野中弹出指令发送提示对话框，如果2秒内用户没有选择反对发送，则发送相应的控制指令到对应的智能家居。
22、因此，本发明采用上述的一种融合脑机接口和混合现实交互的多被控对象脑控方法，具有以下好处：
23、(1)在本发明中，能够增加ssvep-bci的可控设备数量和可输出指令数量，得以满足智能家居控制要求，而且能够根据视野内的设备属性自适应调整虚拟闪烁功能键和控制指令，使用户对众多电气设备的脑控方式更为自然和灵活，具有良好的实用性。
24、(2)在本发明中，能用于满足运动障碍人群的康复和日常生活需求，将基于ssvep的脑机接口技术和混合现实技术有机融合，实现对智能家居中众多电气设备的多种命令的灵活脑控。
25、(3)在本发明中，将ssvep-bci与混合现实(mr)这一全新的数字全息影像技术进行了融合，以实际环境为载体，将虚拟刺激源自适应地叠加或者合成到真实世界中，并自适应地判断用户的控制意图，从而实现一种面向运动障碍人群的智能家居脑控方法。
26、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
1.一种融合脑机接口和混合现实交互的多被控对象脑控方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种融合脑机接口和混合现实交互的多被控对象脑控方法，其特征在于：所述步骤s1中，上位机平台中的家居数据库分为两种，一种是狭义智能家居数据库，仅录入当前家庭内使用的智能家居数据，另一种是广义智能家居数据库，录入市场上常用智能家居数据；
3.根据权利要求2所述的一种融合脑机接口和混合现实交互的多被控对象脑控方法，其特征在于：所述步骤s2中，开启设备控制模式的方式包括如下：
4.根据权利要求3所述的一种融合脑机接口和混合现实交互的多被控对象脑控方法，其特征在于：所述步骤s2中，上位机平台获取智能家居的运行状态，包括开关状态、运行模式和操作状态。
5.根据权利要求4所述的一种融合脑机接口和混合现实交互的多被控对象脑控方法，其特征在于：所述步骤s3中，在智能家居设备的相应位置上添加虚拟闪烁功能按键的过程如下：
6.根据权利要求5所述的一种融合脑机接口和混合现实交互的多被控对象脑控方法，其特征在于：对于刺激频率列表的分配规则，针对ssvep适用范围选取，按照频率间隔0.2hz，其范围选定在8hz～16hz之间，频率与可控功能项的匹配方式按照频率由小向大的顺序一一对应。
7.根据权利要求6所述的一种融合脑机接口和混合现实交互的多被控对象脑控方法，其特征在于：所述步骤s4中，采集使用者的枕叶区的脑电信号，进行解码分析的过程如下：
