本公开涉及脑机接口，并且更具体地涉及半自主车辆功能的命令。
背景技术：
脑机接口(bmi)是一种使得人类能够使用人脑活动向计算机提供命令的技术。bmi系统通过在外部或内部使电极阵列与大脑的运动皮层区域进行衔接、并使用经训练的神经解码器对活动信号进行解码来提供控制输入，所述经训练的神经解码器将用户大脑中的神经元发射模式转换成离散的车辆控制命令。
bmi接口可以包括利用与运动皮层区域的内部直接接触而工作的侵入性直接接触电极接口技术，或者包括非侵入性电极接口技术，其中无线接收器利用传感器来测量大脑的电活动以便使用可以在外部接触用户头部的头皮、太阳穴、前额或其他区域的功能性磁共振成像(fmri)、脑电图(eeg)或电场脑电图(efeg)接收器来确定实际的以及潜在的电场活动。bmi系统通常是通过以下方式来工作的：感测电势或潜在的电场活动，放大数据并通过数字信号处理器处理信号，以将所存储的脑神经活动模式与可以使用处理后的信号来控制装置或提供某种输出的功能相关联。bmi技术的最新进展已经设想了使用bmi的车辆控制的各方面。
在韩国专利申请公开第kr101632830号(下文称为“'830公开”)中公开了一种用于使用efeg控制车辆的bmi系统，所述专利申请描述了识别从efeg设备获得的控制位以用于车辆的驱动控制。虽然'830公开中描述的系统可以使用efeg数据的一些方面来进行车辆信号控制，但是'830公开没有公开bmi集成半自主车辆。
技术实现要素：
所公开的系统和方法描述了在车辆中实现的bmi系统。在一些实施例中，用户可以使用bmi系统读取来自用户大脑运动皮层的电脉冲、解码连续神经数据馈送、并实时或基本实时地发出车辆控制命令，从而对一些驾驶功能(诸如车辆速度或方向控制)进行控制。bmi系统可以包括集成逻辑并且使用自主车辆控制器来管理驾驶操作的各方面，所述集成逻辑通过评估量化为用户参与度值的用户焦点来评估用户对手边的驾驶操作的精神注意力。一些实施例描述了包括2级或3级自主驾驶控制的各方面的驾驶操作，其中用户执行车辆操作的一些方面。在一个实施例中，驾驶操作是自动泊车程序。
根据本公开的实施例，bmi系统可以包括eeg系统，所述eeg系统被配置为使用读取和处理信号的头皮到电极外部物理触点来从用户大脑的运动皮层接收电势场特征。在其他方面，电极可以靠近用户的头皮设置而不与头皮表面进行物理外部接触，但是位于在用于信号收集和处理的物理距离方面相对较短的操作范围内。在一个实施例中，脑机接口装置可以包括车辆中的头枕，所述头枕被配置为接收eeg信号。
bmi训练系统训练bmi装置以通过使由用户的运动皮层生成的神经数据与同神经姿势仿真功能相关联的车辆控制命令相关来解释所述神经数据。经训练的bmi装置可以设置在车辆上，以从用户(当用户物理上存在于车辆中时)接收对神经数据的连续神经数据馈送。bmi装置可以确定用户对帮助驾驶员控制车辆的控制指令的意图。更具体地，bmi装置可以从用户接收对神经数据的连续数据馈送，并且根据对神经数据的连续数据馈送确定用户对自动驾驶控制功能或更具体地驾驶员辅助技术(dat)控制功能的意图。bmi装置生成从dat控制功能得到的控制指令，并将所述指令发送到车辆上的dat控制器，其中dat控制器执行dat控制功能。一个实施例描述了一种半自主车辆操作状态，其中用户使用bmi装置结合管理泊车操作的一些方面的dat控制器来控制自动泊车的各方面。
本公开的实施例可以在与半自主车辆交互时提供用户控制的附加粒度，其中用户可以执行最终由dat控制器管理的一些离散的手动控制方面。本公开的实施例可以为bmi控制系统提供便利性和稳健性。
在本文中更详细地提供本公开的这些和其他优点。
附图说明
参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可利用除了在附图中示出的元件和/或部件之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据背景，可以可互换地使用单数和复数术语。
图1描绘了其中可以实现用于提供本文所公开的系统和方法的技术和结构的示例性计算环境。
图2示出了根据本公开的供与车辆一起使用的汽车控制系统的示例性架构的功能示意图。
图3a示出了根据本公开的实施例的示例性bmi训练系统。
图3b至图3e示出了根据本公开的实施例的示例性bmi训练系统的序列的各个方面。
图4描绘了根据本公开的实施例的bmi系统107的功能框图400。
图5a至图5c描绘了根据本公开的流程图。
图6描绘了根据本公开的示例性输出确定。
图7是根据本公开的用于使用bmi系统107控制车辆的示例性方法的流程图。
具体实施方式
下文将参考附图更全面地描述本公开，附图中示出了本公开的示例性实施例，并且所述实施例不意图为限制性的。
图1描绘了示例性计算环境100，该示例性计算环境可以包括一个或多个车辆105，该一个或多个车辆包括汽车计算机145以及车辆控制单元(vcu)165，该车辆控制单元典型地包括设置成与汽车计算机145和脑机接口(bmi)装置108进行通信的多个电子控制单元(ecu)117。移动装置120(其可以与用户140和车辆105相关联)可以使用有线和/或无线通信协议和收发器来与汽车计算机145连接。移动装置120可以经由一个或多个网络125来与车辆105通信地耦合，和/或可以使用近场通信(nfc)协议、
移动装置120通常包括用于存储与应用程序135相关联的程序指令的存储器123，所述程序指令在被移动装置处理器121执行时执行本公开的各方面。应用程序135可以是bmi系统107的一部分，或者可以向bmi系统107提供信息和/或从bmi系统107接收信息。
汽车计算机145通常是指车辆控制计算系统，其可包括存储器155和一个或多个处理器150。在一些示例性实施例中，汽车计算机145可以被设置为与移动装置120以及一个或多个服务器170通信，所述一个或多个服务器可以与远程信息处理服务交付网络(sdn)相关联和/或包括与所述sdn的连接性。
尽管被示出为运动型多功能车，但是车辆105可以采用另一种乘用或商用车的形式，例如小型汽车、卡车、运动型多功能车、跨界车、厢式货车、小型货车、出租车、公共汽车等。在示例性动力传动系统配置中，车辆105可以包括具有汽油、柴油或天然气动力的内燃发动机的内燃发动机(ice)动力传动系统，所述内燃发动机具有常规的驱动部件，诸如变速器、驱动轴、差速器等。在另一示例性配置中，车辆105可以包括电动车辆(ev)驱动系统。更具体地，车辆105可包括电池ev(bev)驱动系统，或者被配置为具有独立车载动力装置的混合动力ev(hev)和/或可被配置为插电式hev(phev)，所述phev被配置为包括可连接到外部电源的hev动力传动系统。车辆105还可以被配置为包括并联或串联hev动力传动系统，其具有内燃发动机动力装置和一个或多个ev驱动系统，所述一个或多个ev驱动系统可以包括电池电力存储装置、超级电容器、飞轮电力存储系统以及其他类型的电力存储装置和发电装置。在其他方面，车辆105可以被配置为燃料电池车辆(fcv)，其中车辆105由燃料电池、氢fcv、氢燃料电池车辆动力传动系统(hfcv)和/或这些驱动系统和部件的任何组合提供动力。
此外，车辆105可以是手动驾驶的车辆，和/或被配置为在完全自主(例如，无人驾驶)模式(例如，5级自主)下或在一种或多种部分自主模式下操作。部分自主模式的示例在本领域中被广泛地理解为1级至5级自主。通过简要概述，具有1级自主的dat通常可以包括单个自动化驾驶员辅助特征，诸如转向或加速辅助。自适应巡航控制是1级自主系统的这样一个示例，其包括加速和转向两个方面。车辆中的2级自主可以提供转向和加速功能的部分自动化，其中自动化系统由执行非自动化操作(诸如制动和其他控制)的人类驾驶员监督。车辆中的3级自主通常可以提供对驾驶特征的条件自动化和控制。例如，3级车辆自主典型地包括“环境检测”能力，其中车辆可以独立于当前的驾驶员而做出明智的决策，诸如加速驶过缓慢移动的车辆，而如果系统无法执行任务，当前的驾驶员仍准备好重新取得对车辆的控制。4级自主包括具有高级自主的车辆，其可以独立于人类驾驶员操作，但是仍包括用于超驰操作的人类控制。4级自动化还可以使得自行驾驶模式能够响应于诸如道路危险或系统故障等预定义条件触发而进行干预。5级自主与无需人类输入进行操作并且通常不包括人类操作的驾驶控制的完全自主车辆系统相关联。
根据一个实施例，bmi系统107可以被配置为与具有1级至4级半自主车辆控制器的车辆一起操作。因此，bmi系统107可以向车辆105提供人类控制的一些方面。
在一些方面，移动装置120可以通过一个或多个无线信道130与车辆105进行通信，所述一个或多个无线信道可以在移动装置120与远程信息处理控制单元(tcu)160之间加密并建立。移动装置120可使用与车辆105上的tcu160相关联的无线发射器与tcu160进行通信。发射器可使用例如一个或多个网络125的无线通信网络来与移动装置120进行通信。图1中将无线信道130描绘为经由一个或多个网络125进行通信，并且还经由与车辆105的直接通信而进行通信。
网络125示出了连接的装置可以在其中进行通信的一种可能的通信基础设施的示例。网络125可以是和/或包括互联网、专用网络、公共网络或使用任一种或多种已知的通信协议操作的其他配置，所述已知的通信协议例如传输控制协议/互联网协议(tcp/ip)、
根据本公开，汽车计算机145可以安装在车辆105的发动机舱中(或车辆105中的其他地方)并且可以作为bmi系统107的功能部分操作。汽车计算机145可包括计算机可读存储器155和一个或多个处理器150。在一个示例中，汽车计算机145可包括计算机可读存储器155和一个或多个处理器150。
bmi装置108可以设置成与vcu165通信，并且可以被配置为提供(结合vcu165)车辆105的系统级和装置级控制。vcu165可以设置成与汽车计算机145通信和/或作为其一部分，并且可以与汽车计算机145和bmi系统107共享公共电源总线178。bmi装置108还可以包括一个或多个处理器148、被设置成与处理器148通信的存储器149、以及人机界面(hmi)装置146，所述人机界面装置被配置为通过使用bmi装置108在用户辅助操作车辆时接收运动皮层大脑信号而与用户140进行衔接。
一个或多个处理器148和/或150可以被设置成与同相应的计算系统相关联的相应一个或多个存储器装置(例如，存储器149、存储器155和/或图1中未示出的一个或多个外部数据库)进行通信。处理器148、150可以利用存储器149、155来存储代码程序和/或存储数据以执行根据本公开的各方面。存储器149可以包括存储bmi解码器144的非暂时性计算机可读存储器。存储器149和155可包括易失性存储器元件(例如，动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)等)中的任一者或组合，并且可包括任何一个或多个非易失性存储器元件(包括可擦除可编程只读存储器(eprom)、快闪存储器、电子可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)等)。
vcu165可以包括ecu117(例如车身控制模块(bcm)193、发动机控制模块(ecm)185、变速器控制模块(tcm)190、tcu160、约束控制模块(rcm)187等)的任何组合。在一些方面，ecu117可以控制车辆105的各方面，并且实现从在移动装置120上操作的应用程序135接收的一个或多个指令集、从bmi装置108接收的一个或多个指令集，和/或从驾驶员辅助控制器(例如，关于图2讨论的dat控制器245)接收的指令。
例如，dat控制器245可以从bmi装置108接收与自动车辆操纵相关联的指令，所述自动车辆操纵诸如泊车、自动挂车挂接和其他功用，在其他功用中，用户140使用思想输入向bmi装置108提供指令，并且进一步提供用户参与指示器输入，所述用户参与指示器输入通知dat控制器245用户140是否充分参与手边的车辆控制操作。在一个示例中，用户140可以提供对神经数据的连续数据馈送，所述连续数据馈送包括与由用户140执行的重复身体姿势的精神表示相关联的神经皮层活动。bmi系统107确定重复身体姿势的数字表示符合该姿势的规范模型，并且响应于确定用户充分参与所述操作而生成用户参与度值。下文更详细地讨论各种示例性过程。
tcu160可以被配置为向车辆105上和车辆外的无线计算系统提供车辆连接。tcu160可以包括将车辆105连接到网络和其他装置的收发器和接收器，包括例如可从gps系统175接收gps信号的导航(nav)接收器188和/或
blem195可以通过广播和/或收听小广告包的广播并且与根据本文所描述的实施例配置的响应装置建立连接来使用
can总线180可被配置为多主控串行总线标准，以用于使用基于消息的协议来连接两个ecu作为节点，所述协议可以被配置和/或编程为允许ecu117彼此通信。can总线180可以是或包括高速can(其在can上的位速度可以高达1mb/s，在can灵活数据速率(canfd)上的位速度可以高达5mb/s)，并且可以包括低速或容错can(高达125kbps)，在一些配置中，其可以使用线性总线配置。在一些方面，ecu117可以与主机计算机(例如，汽车计算机145、bmi系统107和/或服务器170等)通信，并且还可以彼此通信而不必需要主机计算机。can总线180可将ecu117与汽车计算机145连接，使得汽车计算机145可从ecu117检索信息、向所述ecu发送信息以及以其他方式与所述ecu交互，以执行根据本公开的实施例所述的步骤。can总线180可通过两线式总线将can总线节点(例如，ecu117)彼此连接，所述两线式总线可以是具有标称特性阻抗的双绞线。can总线180也可以使用其他通信协议解决方案(诸如面向媒体的系统传输(most)或以太网)来实现。在其他方面，can总线180可以是无线车内can总线。
当被配置为can总线180中的节点时，ecu117可各自包括中央处理单元、can控制器和收发器(图1中未示出)。在示例性实施例中，ecu117可以基于来自人类驾驶员、dat控制器245、bmi系统107的输入，并经由从诸如移动装置120等其他连接的装置接收的无线信号输入来控制车辆操作和通信的各方面。
vcu165可经由can总线180通信来直接控制各种负载或者可结合bcm193实现这种控制。关于vcu165所述的ecu117仅出于示例性目的而提供，并且不意图是限制性的或排他性的。利用图1中未示出的其他控制模块进行的控制和/或与其的通信是可能的，并且这种控制是可以设想的。
bcm193通常包括传感器、车辆性能指示器以及与车辆系统相关联的可变反应器的集成，并且可以包括基于处理器的配电电路，所述配电电路可以监督和控制与车身(诸如灯、窗、安全装置、门锁和访问控制)相关的功能以及各种舒适性控制。中央bcm193还可以作为针对总线和网络接口的网关进行操作，以与远程ecu(图1中未示出)进行交互。
bcm193可以协调各种车辆功能性中的任一种或多种功能，所述各种车辆功能性包括能量管理系统、警报、车辆防盗器、驾驶员和乘坐者进入授权系统、手机即钥匙(paak)系统、驾驶员辅助系统、dat控制系统、电动窗、门、致动器以及其他功能性等。bcm193可以被配置为用于车辆能量管理、外部照明控制、雨刮器功能性、电动窗和门功能性、供暖通风和空调系统以及驾驶员集成系统。在其他方面，bcm193可以控制辅助设备功能性，和/或负责集成这种功能性。在一个方面，具有挂车控制系统的车辆可以至少部分地使用bcm193来集成所述系统。
汽车计算机145、vcu165和/或bmi系统107的计算系统架构可以省略某些计算模块。应当容易理解，图1中描绘的计算环境是根据本公开的可能的实现方式的一个示例，并且因此不应被视为限制性的或排他性的。
图2示出了根据本公开的可用于控制车辆105的汽车控制系统200的示例性架构的功能示意图。控制系统200可以包括bmi系统107和车辆控制硬件，所述bmi系统可以被设置成与汽车计算机145通信，所述车辆控制硬件包括例如发动机/马达215、驾驶员控制部件220、车辆硬件225、传感器230和移动装置120、以及图2中未示出的其他部件。
传感器230可包括被配置或编程为生成信号的任何数量的装置，在车辆105以半自主模式操作时，所述信号帮助为车辆导航。自主驾驶传感器230的示例可包括：无线电探测和测距(radar或“雷达”)传感器，其被配置用于使用无线电波检测和定位物体；光探测和测距(lidar或“激光雷达”)传感器；视觉传感器系统，其具有轨迹、障碍物检测、物体分类、增强现实和/或其他能力；等等。当车辆105在以自主模式操作时，自主驾驶传感器230可帮助所述车辆“看到”道路和车辆周围环境，和/或绕过各种障碍物。
在图2所描绘的实施例中，车辆105可以是2级、3级或4级av。汽车计算机145可以使用dat控制器245来控制，并且可以进一步控制来自bmi系统107的输入，所述bmi系统经由bmi装置108操作bmi解码器144，操作来自用户(例如，用户140)的对神经数据的连续数据馈送，并且确定针对来自连续神经数据馈送的车辆控制指令的用户意图。
当bmi装置108被训练并调谐到特定用户的神经活动时，解释来自用户大脑的运动皮层的神经数据是可能的。训练程序可以包括对从所述用户获得的连续神经数据馈送进行系统映射，其中当用户向训练计算机系统提供手动输入时，并且更具体地当用户提供对指针的控制时，数据馈送提供与用户大脑活动相关联的定量值。训练计算机系统可以在用户通过控制指针并生成可以处理连续数据馈送并识别与控制功能相关联的神经皮层活动的相关模型而执行与车辆操作相关联的行动时形成神经皮层活动模式(例如，相关模型)的关联。
bmi解码器144可以根据对神经数据的连续数据馈送通过将半自主或驾驶员辅助命令控制功能的用户意图与dat控制功能进行匹配来确定该用户意图。bmi系统107可以使用经训练的相关模型(图2中未示出)来形成这种关联，并且进一步评估对神经数据的连续数据馈送以确定用户参与度值。用户参与度值在满足预定阈值时可以指示用户的意识充分专注于手头的控制任务。bmi系统107可以响应于确定用户参与度值至少满足阈值而向dat控制器245发送指令以执行第一车辆控制功能。因此，当配置有使用经训练的相关模型的经训练的bmi装置时，dat控制器245可以通过自主地执行车辆操作的一些方面来提供车辆控制，并且通过经训练的bmi系统107向用户提供车辆控制的其他方面。
图3a示出了根据本公开的实施例的示例性bmi训练系统300。bmi训练系统300可以包括神经数据采集系统305、带有数字信号处理(dsp)解码的训练计算机315、以及应用程序编程接口(api)335。
通过简单的概述，以下段落将为一种使用bmi训练系统300来训练bmi系统107的示例性方法提供一般描述。在一个方面，用户310可以与手动输入装置312交互，并向bmi训练系统提供输入。bmi训练系统300可以基于用户输入生成解码模型，用于解释与该特定用户相关联的神经皮层大脑活动。例如，bmi训练系统300可以在训练计算机340的显示装置上呈现指针338。用户310可以使用手动输入装置312提供手动输入，其中手动输入包括在训练计算机340的显示装置上移动指针338。在一个方面，用户310可以在操作驾驶模拟程序(图3a中未示出)时提供这些手动控制输入。当用户310执行手动输入时，bmi训练系统300还可以使用神经数据采集系统305来获得神经数据。bmi训练系统300可以收集神经数据(例如，原始数据输入)并执行比较程序，由此用户310执行用户身体姿势350的想象的移动(这可以包括想象使用输入臂354)，并且其中所述想象的输入可以包括手闭合、手打开、前臂旋前、前臂旋后和手指弯曲。一些实施例可以包括在神经数据采集系统305从指示用户310的大脑活动的连续神经数据馈送中获得原始信号数据的同时执行比较程序。
获得连续神经数据馈送可以包括经由训练计算机340接收神经数据输入作为来自微电极阵列346的解码器值的时间序列。例如，神经数据采集系统305可以通过以预定速率(例如，每100毫秒4个解码器值、每100毫秒2个解码器值、每100毫秒10个解码器值等)对连续数据馈送进行采样来获得神经数据。bmi训练系统300可以生成相关模型(图3中未示出)，所述相关模型使连续神经数据馈送与同第一车辆控制功能相关联的模糊状态相关。bmi训练系统可以将解码器值325保存到计算机存储器330中，然后经由数字信号处理器320使用脉宽调制和其他dsp技术将解码器值转换为运动皮层映射数据。bmi解码器144可以将数据映射到车辆控制的各方面，例如速度和转向控制命令。
用户310可以是如图1所示的同一用户，所述用户可以利用经训练的bmi系统107来操作车辆，其中训练程序是特定于所述特定用户的。另一方面，训练程序可以提供将连续神经数据馈送与同车辆控制功能相关联的模糊状态相关的相关模型，其中广义相关模型将广义神经皮层处理功能应用于更广泛的可能的神经模式阵列。在这方面，任何用户都可以通过一些有限的调谐和训练而容易地采用广义模型。一种设想用于产生广义模型的方法可以包括，例如，使用包括深度神经网络相关模型开发在内的机器学习技术。
微电极阵列346可以被配置为从用户310的主要运动皮层获得神经数据，所述数据是通过侵入性或者非侵入性的神经皮层连接采集的。例如，在一个方面，用于神经数据采集的侵入性方式可以包括植入式96通道皮质内微电极阵列，其被配置为通过端口接口(例如，
训练计算机315可以经由无线或有线连接(例如，使用以太网到pc连接)从神经数据采集系统305接收连续神经数据馈送。在一个示例性实施例中，训练计算机315可以是运行基于
手指移动、手移动和前臂移动(在下文统称为“手移动350”)可以针对其在表示车辆驾驶控制(分别为向右转弯、向左转弯、加速和减速)方面的直觉性而由用户选择。例如，bmi训练系统可以包括输入程序，所述输入程序被配置为提示用户310执行表示右转的姿势，并且bmi训练系统可以记录与响应的用户输入相关联的手动输入和神经皮层大脑活动。解码的手移动可能已经作为手动画的移动显示给用户。在另一方面，bmi训练系统可以包括神经肌肉电刺激器系统(图3中未示出)，用于获得神经活动的反馈，并基于用户的运动意图向用户310提供反馈。
在一些方面，bmi训练系统300可以将神经数据转换为与一个或多个车辆控制功能相关联的车辆控制命令指令。在一个示例性实施例中，bmi训练系统300可以将用户意图与同车辆控制动作的用户意图相关联的模糊状态进行匹配。车辆控制动作可以是例如转向功能，其可以包括使车辆转弯预定量(例如，其可以相对于前向方向位置以度为单位进行测量)，或者可以是可包括改变车辆的速度的车辆功能。
训练bmi装置以解释由用户310的运动皮层生成的神经数据可以包括从数据输入装置(例如，微电极阵列346)接收包括解码器值325的原始信号采集，其包括指示用户身体姿势350的数据馈送。在一个示例性训练场景中，用户身体姿势350可以包括重复几何运动的物理演示，诸如用伸出的手指(在空中或在监视器上)绘制圆、椭圆或一些其他重复的几何图案。执行重复的几何图案的示例可以包括例如旋转手腕以模拟描绘圆。bmi训练系统300可以从执行重复的几何运动的用户身体姿势350的用户310获得连续神经数据馈送，生成使连续神经数据馈送与神经姿势仿真功能相关的相关模型。
在另一个示例性实施例中，代替重复的几何图案，身体姿势350可以包括保持恒定的姿势，这可以减轻疲劳。恒定的姿势的示例可为拇指触碰小指指尖、弯曲特定手指同时卷曲另一个或多个手指等等。如同重复的几何图案输入，bmi训练系统300可以从执行用户身体姿势350的用户310获得连续神经数据馈送并生成使连续神经数据馈送与神经姿势仿真功能相关的相关模型。
图3b、图3c、图3d和图3e示出了根据本公开的使用bmi训练系统300的训练阶段，其中用户310执行包括重复的几何图案的用户身体姿势350。在一个方面，用户身体姿势350可以包括物理输出，所述物理输出包括用用户的手365的伸出的手指绘制或以其他方式表示闭合的几何形状358。闭合的几何图案可以是任何形状，但理想地是可以容易地在物理上和通过智力抽象两者重复的形状，诸如圆形、椭圆形、矩形或某一其他闭合形状。
闭合的几何形状可能是复杂的，因为它匹配相应形状的规范模型360。规范模型360可以由用户310定义，或者可以是用户必须尝试使用手动输入(例如，用伸出的手指，通过在空中移动，在数字化仪上跟踪或通过一些其他输入方法)复制的现有形状。
匹配可以包括以下输入，该输入在阈值误差量内与规范模型相接，和/或满足另一个准则或阈值，诸如是闭合形状、大致圆形、椭圆形或一些其他预定要求。
复杂输入序列(例如，复杂姿势)可以是旋转输入的形式，其中用户在空中或者在触摸屏或其他数字化输入装置上勾画路径，其中输入创建遍历最小角度阈值(使得所述形状不太小)的重复的几何图案355。应用程序可以以听觉、触觉和/或视觉反馈的形式向用户提供反馈，以帮助用户310执行规范输入。例如，当用户触摸数字化输入装置(图3a中未示出)或开始在空中模拟姿势时，文本和/或语音可以表明“提供如屏幕上所示的旋转输入”，其中显示装置340上的输出(如图3a所示)绘制用户的模拟输入运动345的近似值345。
如本文所述，包括重复的几何图案355的用户身体姿势350可以包括复杂姿势的执行。用户身体姿势350可以是“复杂的”，因为它匹配和/或近似特定形状的规范模型360。规范模型360可以包括与闭合的几何形状358相关联的几何信息。bmi装置108可以将重复的几何图案355与规范模型360进行匹配，以确定在使用bmi系统107操作车辆时用户310正在表现出对在用户的命令下执行的操作的足够的关注度。在一个方面，匹配可以意味着bmi系统107通过将规范模型360与使用智力抽象绘制的近似形状的路径进行比较来确定使用用户310的皮层活动定义的形状的近似值345(例如，近似值345)是否匹配规范模型360，以确定两个形状是否共享例如相同的像素，或者共享在模拟在用户脑中绘制近似形状时表现出精神敏度的某个其他共同属性。匹配还可以包括在阈值误差量内(在一个示例中，通过理论或规范模型与由用户310输入的形状之间的线性距离来确定)比较规范模型和由智力抽象绘制的近似形状之间的误差的值。
在图3b所示的示例中，bmi训练系统300可以将与用户310的手动输入(例如，用户身体姿势350)相关联的运动数字化。在步骤375处，如关于图3c所示，bmi训练系统300可以通过粗略估计与用户身体姿势350相关联的坐标信息来记录手动输入的重复迭代。例如，bmi训练系统300可以将用户伸出的指尖366的大致位置数字化，使得指尖366的路径创建闭合的几何形状358。
在步骤380处，如关于图3d所示，当用户310执行手动输入(用户身体姿势350)的重复迭代时，bmi训练系统300可以从用户获得连续神经数据馈送。bmi训练系统300可以确定与规范模型360相关联的神经活动，使得在将规范模型360用于与近似值345的比较点时，bmi系统107可以测量用户对手边并发活动的参与度。换句话说，当用户310想象使用记录的神经活动与所展示的焦点匹配(在所确定的偏差阈值内)的足够精神控制来执行用户身体姿势350时，用户310可以展示用户参与度。通过将观察到的神经活动与同相同的想法和重复姿势358(如在训练阶段期间观察到的和被记下的那些)相关联的规范模型360进行比较，该比较点可为有效的。
在一些方面，用户在长时间参与半自主驾驶功能之后可能变得疲劳。因此，提供基线姿势奖励功能是有利的，所述基线姿势奖励功能可以训练机器学习系统以在使用中补偿这种疲劳漂移。基线姿势学习可以在初始训练过程中完成。一旦用户310已经启用半自主驾驶功能，系统300就可以利用奖励功能来计算姿势命令的漂移偏差。例如，如果用户310已经开始执行规范的几何图形，并且维持该姿势一段时间，则疲劳可能是一个问题。因此，系统300可以通过从一组起动状态或位置观察神经活动来计算神经发射模式，并且观察所述发射模式随时间推移因精神疲劳而产生的偏差。系统300可以基于预期值(例如，规范的几何图形)以及考虑疲劳漂移的补偿因子来计算偏差。
强化学习是一种机器学习技术，其可以用于在特定情况下采取使奖励最大化的合适动作，使得机器学习找到在特定情况下采取的最佳行为或路径。更具体地，如果经补偿的姿势识别提供了预期的命令(例如，完成了规范的几何图形或提供了"前进(go)"的信号)，则系统300可使用奖励功能给予奖励。该奖励可以使bmi训练系统300能够包括最新的偏差数据以获得更大的容限。相反，如果经补偿的神经输出未生成预期的姿势识别，则系统300可以减小姿势识别上的奖励功能容限，并且要求驾驶特征暂停预定的时间段。
例如，假设姿势改变被认为是状态转换，使得从静止位置改变为自动驾驶命令姿势可以具有针对正确转换的相关联奖励。系统300可以使用这里定义的误差函数来每隔几个样本确定猜测是否正确。即，如果运动最初如预期那样开始，则在允许的阈值(如由神经发射模式的运动偏差或相关系数所定义)内出现的误差缓慢增加，系统300可以给予积极奖励以保持姿势。在累积足够的奖励之后，系统300可以将新的姿势状态添加到解码器以定义用户的姿势在长时间使用之后偏离的程度。添加的新的姿势状态可以在下一次用户执行命令时减小误差函数以改善用户体验。
相反，如果误差函数超过阈值，则系统300可以应用负奖励。如果这下降到低于给定阈值，则系统300可以假设用户没有做出预期姿势，并且提供不再识别姿势的通知。如果用户针对给定的预测用例(例如，动机命令)做出相同的不正确姿势，则系统300可以通知用户系统300正在被更新以将其新行为作为预期输入。这可以替代地根据用户是否希望系统对其新行为进行训练而迅速完成。
该奖励功能可以理想地采用预测的姿势值、误差值和先前的输入历史，以便动态地更新系统。预测的姿势值、误差值和输入历史可以用于建立以半监督方式操作的反馈系统。换句话说，系统300可以首先训练奖励功能，然后基于奖励分数预测预期行为以随时间推移更新模型。
图4描绘了使用bmi系统107来执行示例性操作的车辆控制的功能框图。在图4中展示的示例性操作包括自动泊车，但是应当理解，本公开不限于泊车功能，并且其他可能的车辆操作功能是可能的并且是预期的。
bmi解码器144可以从人机界面(hmi)装置146接收连续神经数据405。在一个示例性场景中，用户(图4中未示出)可以与hmi装置146衔接，并执行与关于图3a至图3e所描述的训练程序一致的思想控制步骤。例如，用户可能希望在自动泊车操作期间提高车辆速度，其中dat控制器245在自动泊车程序期间执行转向、车辆速度、起动、停止等的大多数方面，并且用户希望加速所述操作。bmi解码器144可以接收连续神经数据405馈送，并且使用神经数据馈送解码器410对连续神经数据进行解码。神经数据馈送解码器410可以包括使用bmi训练系统300生成的相关模型，如关于图3a至图3e所述。
在一个方面，神经数据馈送解码器410可以对连续神经数据405进行解码，以通过将连续神经数据405中的模式与图3a的训练操作期间观察到的用户的神经皮层活动的模式进行匹配来确定用户的意图。例如，连续神经数据可以指示多个泊车功能440中的泊车运动前进功能450。更具体地，系统300可以提示用户首先选择泊车取向(例如，多个可能的停车位中的哪个停车位、前进命令与倒退命令的选择等)，并且输入可以是“继续进行”命令。例如，其他可能的功能可以包括泊车运动倒车功能455、完全停止功能460和/或完全自动化功能465，该完全自动化功能向dat控制器245指示用户意图使av控制器执行泊车操作的所有方面。神经姿势仿真功能435还可以包括使用关于图3b至图3e描述的相关模型输出的连续输入校正功能。连续输入校正功能445可以包括注意力检查功能470和漂移校准功能475。
在包括用于挂车挂接辅助的自动车辆导航的示例性程序中，用户可以在多个可能的挂车中选择特定挂车作为目标，并提供相同的“继续进行”命令，并且被提示，对于自动车道改变，将给出改变提示供用户用姿势进行确认。自动车道改变确认可以是一次性命令而不是连续命令。
dat控制器245可以被配置为提供对整体车辆操作控制的管理，使得实现强制遵守可以管理情景感知、车辆安全等的规则的规则。例如，dat控制器245可以仅允许指示与设置指南相符的速度变化的一些命令。例如，在某些地理位置、在一天中的某些时间等超过特定速度限制可能不是有利的。因此，dat控制器245可以接收与用户意图相关联的控制指令，并管理所请求的状态是否可以基于用户意图来执行。dat控制器245可以控制泊车功能440的执行，并且基于从车辆gps接收的地理信息、时间信息、日期信息、与地理信息、时间信息、日期信息相关联的规则数据集等做出管理决策。其他输入是可能的并且是预期的。响应于确定可允许状态改变的特定意图，bmi装置108和/或dat控制器245可以使用注意力输入确定模块420来确定用户是专注的。图5a至图5c描绘了根据一个实施例的形成由注意力输入确定模块420(以下称为“确定模块420”)执行的这种确定的步骤。
当用户操作车辆时，用户可以通过想象执行封闭的几何形状(如图3b至图3e中所描绘的358)来执行用户身体姿势350的智力抽象。在步骤505处，注意力输入确定模块420可以接收指示用户身体姿势的数据馈送。更具体地，数据馈送可以指示执行用户身体姿势350的用户智力抽象。
在步骤515处，注意力输入确定模块420可以从执行用户身体姿势的用户获得连续神经数据馈送。注意力输入确定模块420可以在步骤525处评估连续数据馈送的规范性。所述确定步骤可以包括各种程序，例如包括响应于确定数字表示包括闭合轨迹，确定数字表示在重叠的阈值内与规范的几何图形相接，然后响应于确定所述数字表示与所述规范的几何图形相接，确定用户参与度值超过用户参与度的所述阈值。
在另一方面，输入确定模块420可以接收包括预定“前进”姿势的用户输入，其可以发信号通知继续进行的意图。响应于接收到预定“静止”姿势，输入确定模块420可以暂停当前驾驶操作。
再次将注意力返回到图4，一旦注意力输入确定模块420确定用户参与度值超过用户参与度的阈值，dat控制器245就可以生成用于车辆泊车或某一其他操作任务的控制指令480。控制指令480可以由vcu165执行。例如，vcu165可以基于用户参与度值超过用户参与度的阈值来执行车辆控制功能。
返回到图5a至图5c，在步骤525处，在注意力输入确定模块420评估连续数据馈送的规范性之后，注意力输入确定模块420可以确定数字表示不在重叠的阈值内与规范的几何图形相接。例如，图6示出了这种确定。注意力输入确定模块420可以比较重复的几何图案的数字表示605，但是确定数字表示605没有表现出用户注意力。例如，使用用于测量的各种可能的度量，近似值可能与规范模型360不匹配。响应于确定数字表示605与规范模型360不相接，bmi系统107可以输出提示用户增加对手头任务的注意力的指导消息610，或者提供dat控制器245不再从bmi系统107的用户思想控制接收适当输入的指示。
图7是根据本公开的用于使用bmi系统107控制车辆的示例性方法700的流程图。可继续参考先前附图来描述图7。以下过程是示例性的，并且不限于下文描述的步骤。此外，替代实施例可包括本文示出或描述的更多或更少的步骤，并且可以与以下示例性实施例中描述的顺序不同的顺序包括这些步骤。
在步骤705处，方法700可通过以下操作开始：训练bmi装置以解释由用户大脑的运动皮层生成的神经数据，并将所述神经数据转换成车辆控制命令。
接下来，所述方法包括步骤710：使用经训练的bmi装置接收来自用户的对神经数据的连续神经数据馈送。
在步骤715处，方法700还可以包括根据连续神经数据馈送确定自主车辆控制功能的用户意图的步骤。
在步骤720处，所述方法包括执行车辆控制功能。
在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可以实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可包括特定特征、结构或特性，但每个实施例可不一定包括所述特定特征、结构或特性。此外，此类短语不一定指代同一实施例。另外，当结合实施例描述特征、结构或特性时，无论是否明确描述，本领域的技术人员都将认识到结合其他实施例的此类特征、结构或特性。
还应当理解，如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。更具体地，如本文所用的词语“示例性”指示若干示例中的一者，并且应当理解，对所描述的特定示例并没有过分的强调或偏好。
计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此种介质可采取许多形式，包括但不限于非易失性介质和易失性介质。计算装置可包括计算机可执行指令，其中所述指令可由一个或多个计算装置(诸如以上列出的那些)执行并存储在计算机可读介质上。
关于本文所描述的过程、系统、方法、启发法等，应当理解，虽然已经将此类过程等的步骤描述为根据某个有序顺序发生，但是此类过程可用以与本文所描述的次序不同的次序执行的所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文所述的某些步骤。换句话说，本文中对过程的描述是出于说明各种实施例的目的而提供的，并且绝不应被解释为限制权利要求。
因此，应理解，以上描述意图是说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用将为明显的。所述范围不应参考以上描述来确定，而是应参考所附权利要求以及享有此类权利要求的权利的等效物的整个范围来确定。预计并预期本文所讨论的技术未来将有所发展，并且所公开的系统和方法将并入到此类未来实施例中。总而言之，应当理解，本申请能够进行修改和变化。
除非在本文中做出明确的相反指示，否则权利要求中使用的所有术语意图被赋予其如本文中描述的技术人员所理解的普通含义。特别地，除非权利要求相反地叙述明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的元件中的一个或多个。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言通常并不意图暗示一个或多个实施例无论如何都需要所述特征、元件和/或步骤。
根据一个实施例，处理器还被配置为执行用于以下操作的指令：使用相关模型基于用户参与度来执行神经姿势仿真功能。
根据一个实施例，处理器还被配置为执行用于以下操作的指令：根据对神经数据的连续数据馈送生成由用户执行的重复的身体姿势的数字表示；确定所述数字表示包括闭合轨迹；响应于确定所述数字表示包括闭合轨迹，确定所述数字表示在重叠的阈值内与规范的几何图形相接；响应于确定所述数字表示与规范的几何图形相接，确定用户参与度值超过用户参与度的阈值；以及基于用户参与度值超过用户参与度的阈值来执行车辆控制功能。
根据一个实施例，处理器还被配置为执行用于以下操作的指令：确定用户参与度值不超过用户参与度的阈值；并输出指示与用户参与度相关联的建议的消息。
根据一个实施例，车辆控制功能与高斯核型隶属函数集相关联，所述车辆控制功能包括用于自动泊停车辆的控制命令。
根据本发明，提供了一种在脑机接口(bmi)装置中的非暂时性计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令在由处理器执行时致使所述处理器：通过bmi输入装置从bmi装置的用户接收对神经数据的连续数据馈送；根据对神经数据的连续数据馈送确定针对车辆控制功能的用户意图；以及执行车辆控制功能。
1.一种用于使用脑机接口(bmi)装置控制车辆的计算机实现的方法，其包括：
训练所述bmi装置以解释由用户的运动皮层生成的神经数据，并使所述神经数据与同神经姿势仿真功能相关联的车辆控制命令相关；
使用所述bmi装置从所述用户接收对神经数据的连续数据馈送；
根据所述对神经数据的连续数据馈送确定针对车辆控制功能的用户意图；以及
执行所述车辆控制功能。
2.如权利要求1所述的计算机实现的方法，其中所述车辆控制功能包括用于车辆泊车的指令。
3.如权利要求1所述的计算机实现的方法，其中执行所述车辆控制功能包括：
经由av控制器基于与所述用户意图相关联的所述神经姿势仿真功能执行自动车辆泊车的一方面。
4.如权利要求1所述的计算机实现的方法，其还包括：
评估所述对神经数据的连续数据馈送以确定与所述用户意图相关联的用户参与度值；以及
响应于确定所述用户参与度值超过用户参与度的阈值而执行所述车辆控制功能。
5.如权利要求4所述的计算机实现的方法，其中训练所述bmi装置以解释由所述用户的所述运动皮层生成的所述神经数据包括：
从数据输入装置接收指示重复的几何运动的用户身体姿势的数据馈送；
从执行重复所述重复的几何运动的所述用户身体姿势的所述用户获得连续神经数据馈送；以及
生成使所述连续神经数据馈送与所述神经姿势仿真功能相关的相关模型。
6.如权利要求5所述的计算机实现的方法，其还包括使用所述相关模型基于所述用户参与度来执行所述神经姿势仿真功能。
7.如权利要求4所述的计算机实现的方法，其中评估所述对神经数据的连续数据馈送以确定与针对所述车辆控制功能的所述用户意图相关联的所述用户参与度值包括：
根据所述对神经数据的连续数据馈送生成由所述用户执行的重复的身体姿势的数字表示；
确定所述数字表示包括闭合轨迹；
响应于确定所述数字表示包括所述闭合轨迹，确定所述数字表示在重叠的阈值内与规范的几何图形相接；
响应于确定所述数字表示与所述规范的几何图形相接，确定所述用户参与度值超过用户参与度的所述阈值；以及
基于所述用户参与度值超过用户参与度的所述阈值来执行所述车辆控制功能。
8.如权利要求7所述的计算机实现的方法，其还包括：
确定所述用户参与度值不超过用户参与度的所述阈值；以及
输出指示与用户参与度相关联的建议的消息。
9.如权利要求1所述的计算机实现的方法，其中所述车辆控制功能与高斯核型隶属函数集相关联。
10.如权利要求9所述的计算机实现的方法，其中所述高斯核型隶属函数集的控制函数成员包括用于自动泊停所述车辆的控制命令。
11.一种用于控制车辆的脑机接口(bmi)系统，其包括：
处理器；和
存储器，所述存储器用于存储可执行指令，所述处理器被配置为执行用于以下操作的指令：
通过bmi输入装置从使用所述bmi装置的用户接收对神经数据的连续数据馈送；
根据所述对神经数据的连续数据馈送确定针对半自主车辆控制功能的用户意图；以及
执行所述半自主车辆控制功能。
12.如权利要求11所述的bmi装置，其中所述车辆控制功能包括用于车辆泊车的指令。
13.如权利要求12所述的bmi装置，其中所述处理器还被配置为：
经由驾驶员辅助控制器基于与所述用户意图相关联的神经姿势仿真功能执行自动车辆泊车的一方面。
14.如权利要求13所述的bmi装置，其中所述处理器还被配置为：
评估所述对神经数据的连续数据馈送以确定与所述用户意图相关联的用户参与度值；以及
响应于确定所述用户参与度值超过用户参与度的阈值而执行所述车辆控制功能。
15.如权利要求14所述的bmi装置，其中所述处理器还被配置为执行用于以下操作的指令：
从数据输入装置接收指示重复的几何运动的用户身体姿势的数据馈送；
从执行所述重复的几何运动的所述用户身体姿势的所述用户获得连续神经数据馈送；以及
生成使所述连续神经数据馈送与所述神经姿势仿真功能相关的相关模型。
技术总结