本发明涉及一种根据权利要求1的用于控制机动车辆功能显示元素的方法，以及一种根据权利要求5的相应的系统。
背景技术：
车辆中提供的服务和功能的数量正在不断增加。由于每种功能和服务都必须由车辆的乘客控制，因此专用用户界面和人机界面(hmi)的数量也在增加。这在人体工程学、成本和集成方面提出了新的挑战。一种趋势是在车辆内部实施智能化表面和显示。然而，由于它们引起的局部加热和所需的电源，它们的集成可能很困难。
另一问题是车辆的乘员大小不一，有些是左撇子，有些是右撇子。此外，乘客在驾驶时可以改变方向：后退、转向侧面或朝另一个方向看。
而且，对于完全自主的车辆乘员来说，自由表现为甚至改变他们的位置、坐在桌子周围、使他们的座椅旋转。
在所有这些情况下，众所周知的常规的固定的用户界面不能被所有乘客直接访问或不容易使用。
众所周知，在机动车辆中使用者可以通过手势(例如手臂或手)来控制车辆的功能。为此目的，或者在不参考操作界面(hmi)的情况下在空旷的空间中做出手势，或者在操作界面或显示器前检测到手的接近，并且跟踪其运动以对相应的专用功能进行非接触式控制。
例如，de102013201746a1说明了一种基于手势的识别系统，该识别系统通过识别和解释车辆乘员的手势接收车辆乘员期望的命令输入。拍摄车辆内部的图像，并且在捕获的图像中将乘员的图像与背景分离。分析分离的图像，并且手势识别处理器从图像中解释车辆乘员的手势。在触发命令之前，将已解释的命令以及确认消息重现给车辆乘员。当乘员确认时，命令触发器将触发已解释的命令。此外，干扰机处理器评估车辆乘员的注意力水平，并且在车辆乘员不注意时将信号传输到驾驶辅助系统。当识别潜在危险时，驾驶辅助系统会向不注意的乘员提供警告信号。另外，在识别驾驶员时，驾驶员识别模块将车辆的一组个性化功能调整回预先保存的设置。
wo2017/084793a1描述了一种相应的系统，其中在车厢中使用雷达传感器来跟踪人的身体部位的运动。
wo2018/031516a1也描述了机动车辆中基于雷达的手势控制监视。
技术实现要素：
另一方面，本发明的目的是提供一种用于控制机动车辆功能的方法，该方法允许容易地操作并且仍然以降低的安装成本获得良好的结果。
通过权利要求1中提出的方法来实现该目的。由从属权利要求和说明书得出有利的实施例。
根据本发明，已经认识到如果已知控制器使用手势，但是这些手势总是与显示器有关，则对于人而言操作被大大简化。为此目的，根据本发明，在各个乘客的视线和操作区域内存在于车厢中的每个自由表面或自由表面被用作用于所提及的功能的虚拟显示器，为此目的使用该自由表面作为虚拟显示器的投影表面和控制表面。
换句话说，本发明的思想是通过投影到合适的表面上使用虚拟显示器表示与乘客的位置、大小和方向有关的hmi，使得可以由相应的乘客根据他的实际位置和方向立即进行hmi的使用，也就是具有用于将虚拟用户界面显示器投影到车厢内的任何自由表面的显示设备，其中乘客使用用户界面来更改机动车辆功能。
通过使用身体/手部跟踪技术(也就是用于通过集成到车辆的一组传感器跟踪乘客位置和身体方向以及肢体运动的监视设备)来进行显示的hmi与乘客之间的交互。
系统知道自己投影虚拟显示器的区域，并且因此在例如监视设备检测到乘客的手(或其他身体部位)正接近或接触到hmi显示器时检测与hmi显示器的交互。虚拟显示器可以与特定功能相关，然后相应地激活该功能。
换句话说，利用评估单元将来自监视设备的关于乘客位置和身体方向以及肢体的运动的数据与虚拟用户界面显示器相关联，通过用机动车辆控制器使虚拟用户界面显示器中确定的虚拟用户界面设置的更改被乘客的特定运动替代，使得控制分配给虚拟用户界面显示器的机动车辆功能成为可能。
本发明的优点在于降低成本和减少集成工作量，因为甚至可以用车辆内部的多个投影仪和摄像机来实现该系统。
然后可以通过监视的手势控制以已知的方式来操作虚拟显示器和操作表面。
原则上，个人可见和可接近的所有表面都被视为自由表面。这些自由表面可以优选地如内饰覆层、仪表板、座椅、桌子、甚至车窗或现有的显示器等未使用的表面。甚至可以想到，乘客本人的身体部位(腿、手臂等)被用作自由表面。全息图也可以用作显示器。那么自由表面将是“空气空间”。
根据本发明，hmi或虚拟显示器针对不同的可选参数显示上下文内容。这些例如可以是车辆内部参数、车辆外部参数、驾驶状况、车辆状况等。
乘客还可以按预期访问其他hmi位置或菜单项。
原则上，本发明包括五个不同的功能或模块。
一个功能或模块是监视设备，该监视设备用于通过集成在车辆中的一组传感器来跟踪乘客的位置和身体方向以及肢体的运动。这意味着将使用带有一组传感器的乘客身体跟踪系统。
因此，监视设备可以检测和跟踪乘客的位置、身体方向、尺寸以及还检测和跟踪乘客的身体/手部运动等。该功能或模块允许检测乘客的身体或手部与特定hmi显示器区域之间的交互。
优选的实施例包括用于识别人、身体部位及他们的特性的最新的基于摄像机的系统或类似的图像处理算法。可以将适当的监视设备集成到车辆中。为此目的，它包括车辆状况信息模块，其为监视设备提供有关车辆状况(动力、加速度、速度、振动、倾斜等)的信息。例如，可以使用可通过can数据总线获得的信息，以及可以使用由abs、转向、pcm等控制模块提供的信息。监视设备使用此信息来提高监视或跟踪的准确性和允许进行预测性调整(例如，当车辆大转弯时，乘客向右移动)。
此外，还有实际的跟踪传感器或一组传感器。优选的实施例涉及基于摄像机的传感器装置(也就是，它使得能够进行立体跟踪/追踪)，该传感器装置被集成在车辆内部的特定位置从而可以监视每个乘客位置。传感器装置可以连接到车载电源和车辆数据网络。
车辆数据网络使得能够在车辆中进行数据通信(can、flexray、以太网、most、lin)。车辆的电源允许将电力提供给车辆的电子设备并且连接到电力源。
实际监视在跟踪模块中进行。这是在至少一个控制器、计算机硬件、车辆的ecu或云端中运行的软件。它可以使用最新对象识别和跟踪算法，通过使用有关车辆状况的信息已经为汽车工业改进了最新对象识别和跟踪算法。
另一功能或模块是用户界面，乘客可以使用它来更改车辆功能。
这允许用户界面(也就是，控制车辆特性的用户表面或界面)的至少一个或多个参数的选择、调整或更改等。例如，用户界面可以是：车辆内部参数(温度、光线、湿度、气味、声音、应力、疲劳度等)、车辆外部参数(天气、光线、温度等)、车辆行驶状况的参数(交通状况、位置、路线、动作等)、车辆状态参数(激活的功能、故障模式、功能状态、燃油状态，速度等)。
也可以使用车辆内部参数传感器。
相应的内部参数传感器可以与跟踪传感器(摄像机)相同，或者包括专用传感器(例如座椅传感器、超声波传感器、激光雷达传感器、温度传感器、光传感器等)。也可以使用车辆的外部参数传感器，例如激光雷达、摄像机、雷达、超声、v2x、基于云的数据或与某些车辆功能的操作相关的任何传感器。
可以将算法(诸如模糊均值聚类、分类、神经网络(dnn)、卡尔曼滤波器等作为基于模型)，或者车辆导航系统数据、gps、车辆速度等视为确定车辆行驶状况的一种方法。
也可以使用来自车辆状态传感器的数据。通过车辆数据网络(例如can、flexray、以太网、most、lin)或通过v2x通信或通过某些云数据提供的数据适用于此目的。
在进一步的发展中，可以在显示器中实现关于乘客的内容确定。例如，坐在驾驶员座椅上的乘客(如果有的话)可能会收到与坐在后排的乘客不同的内容。可以向儿童提供与成人不同的内容。
在参数提取模块中，基于传感器组的数据提取描述的参数。在图像识别或分析领域，目前胜过人类的当前算法可在此处用于提取数据。例如，最新的图像处理和计算机视觉算法可用于检测车辆中的乘客或从内部传感器提取温度值。这些数据然后流入用户界面显示器或显示选择设备(见下文)。
基于以上参数，内容确定模块确定要在虚拟显示器上为至少一位乘客显示的至少一个内容项目。目的是为乘客提供减少的交互机会，并且不为他们加载过多当前时间窗口中可能不使用的界面。该模块可以基于诸如dnn(深度神经网络)、决策树、状态机之类的模型，或者仅基于一组预定义的规则，其中输入选项由上述参数确定，并且输出由一个或多个hmi参数的集合组成。
例如，在以下情况下：
车辆内部参数：温度为24℃
车辆外部参数：温度为30℃
车辆行驶情况参数：高速公路行驶
车辆状况参数：车辆速度为120km/h，未激活任何辅助系统。
以下内容作为功能在虚拟显示器上呈现给所有乘客
设定空调温度
设定鼓风机强度
连接性(互联网访问)，自己的信息显示功能
座椅位置，座椅加热。
然而，其他功能仅提供给驾驶员：
激活acc
设定acc距离
控制音响系统
导航。
这可以确保始终有一个允许用户访问车辆中所有可用的功能的接口路径。
另一功能或模块是显示设备本身，其包括将用户界面作为虚拟显示器投影到车厢内任何自由表面上。可以使用在车辆内部实现的各种显示技术或设备、例如有机发光二极管(oled)、表面安装的显示器(例如内饰板的智能表面，它们同时被设计为显示器)、投影仪等。优选地，使用一个或多个投影仪。
例如，智能表面区域可以覆盖车辆内部的大面积区域，例如仪表板、座椅、扶手、车窗、挡风玻璃、车顶、底板，因此这些也可以被视为自由表面。
在另一实施例中，当乘客自身的移动设备(移动电话、平板电脑等)连接到车辆网络时，将其包括在内。
此外，作为优选实施例，可以在车辆中安装投影仪。投影仪可以在仪表板、座椅、扶手、车窗、车顶、底板、乘客等上显示虚拟显示器的图像。在进一步的发展中，这还可以包括全息投影。
显示技术连接到车辆的供电网络，并且通过车辆数据网络之一连接到系统的其余部分。这可以是most、以太网、wifi、can、flexray等。传输到显示技术的数据可以是图像，也可以只是允许显示技术为虚拟显示器重构图像的图像配置信息，也就是系统可以包括可以访问预定义界面元素的专用gpu。在这种情况下，数据网络仅发送所需元素的标识符及其可能的布局，并且可以由投影仪托管的gpu进行渲染。
另一子单元也可以在显示设备中实施(即显示选择设备)，其基于来自监视设备的数据确定要用于显示的自由表面。用于确定位置的一些标准例如是乘客位置、乘客尺寸、手臂和/或手部的姿势、乘坐角度或视野。此外，该决策还考虑了车辆的已知空间条件和设备，例如，在所讨论的乘客的附近有未使用的空间。
另一功能或模块是评估单元，评估单元将来自监视设备的有关乘客位置和身体方向以及肢体的运动的数据与虚拟用户界面显示器相关联，通过用机动车辆控制器使虚拟用户界面显示器中确定的虚拟用户界面设置的更改被乘客的确定运动替代，使得能够控制分配给虚拟用户界面显示器的机动车辆的功能。这执行了实际任务，即合并来自监视的数据以及与虚拟显示器的关系，并且生成相应车辆功能的更改命令。
显示选择设备可以合并来自各种标准(例如乘客位置、乘客尺寸、乘客手臂/指向位置、乘客眼睛/视野位置)的数据。
例如，在用于基于监视设备的信息并且使用最新的图像处理/计算机视觉算法确定显示区域的模块中，系统将执行以下处理步骤，例如：
确定乘客的当前位置和视野(观察方向)；
确定用手习惯，例如乘客是惯用左手还是惯用右手？
确定与乘客的位置和视野有关的最近的显示区域。
为乘客的左/右手设置先前确定的区域；
如果最近的显示区域距离乘客的视野不够近，选择标准显示区域并且在驾驶员的驾驶员视野内的最近显示区域发送特别提示(例如，闪烁的警告、符号、箭头、箭头)以吸引驾驶员的注意，并且将其引导至包含显示信息的显示器。此外，声音提示可以用作乘客的吸引注意。
模块可以作为独立的计算机硬件运行，也可以作为车辆ecu中的软件运行。
应当理解的是计算机硬件或ecu配备有适当的存储器和cpu以及用于执行所讨论的功能的程序。
该系统可以包含数据库或存储器，在该数据库或存储器中车辆功能被分配给了相应的hmi接口。例如，可以将虚拟显示“a/con”分配给can总线消息以打开空调系统。
系统还可以包括其他hmi接口，这些hmi接口又连接到某些hmi接口。例如，如果选择了hmi元素，则系统可以打开/创建另一个hmi元素。然后，另外的hmi元素将优选地取决于状况，该状况包括外部参数(例如驾驶状况)和内部参数(例如温度)。
可以对系统进行设置或编程，使得以固定间隔或在与乘客的人机交互后或在更改参数后重复以下动作序列(例如，对于从自由通行到交通拥堵的驾驶情况的变化，hmi可以提供“启动交通拥堵辅助”功能)：
ο用显示选择设备确定hmi显示区域；
ο系统确定所选择的hmi显示区域的位置；
ο基于监视单元、车辆功能和所包含的参数选择或确定要显示的hmi。
ο用显示设备显示虚拟显示器。
一旦虚拟用户界面被显示，系统就连续监视乘客与虚拟显示区域之间的手势交互。
该系统被设计为使得通过监控单元对乘客进行精确的身体跟踪。因此，该系统可以监视发生乘客的手部运动的车辆区域。如果运动区域与hmi显示区域匹配，则检测到交互，然后系统执行相关的功能过程。
为了便于监视乘客与虚拟用户界面(hmi)之间的交互，该系统可以使用3d坐标系对车辆进行映射。当确定显示区域时，系统可以将这些显示区域存储在存储器中。当系统随后进行乘客身体跟踪时，它可以检查某些手势/身体运动的3d坐标(例如，手的手指指向某物)，并且将这些3d坐标与hmi显示区域的3d坐标进行比较。
虚拟用户界面(hmi)可以由个人根据自己的喜好进行个性化设置。只有驾驶员才能访问所有车辆功能，而乘客只能调整所选的特定功能，例如与舒适性相关的(加热、座椅加热)、连接性(bt连接、wlan、接入点)，或者对允许的用户界面功能进行个性化编辑。
例如，虚拟用户界面(hmi)包含控制器(ecu)，该控制器确定人员的位置(使用相应的传感器)、从中计算出适合该显示器的(投影)表面、并且在该表面上计算和生成投影、以及监视、检测和评估乘客与显示器的交互。
在进一步的发展中，可以将系统设计为在乘客的智能设备(移动设备、智能眼镜/智能平板电脑)中实现虚拟显示器或用户界面。
本发明具有以下优点：
ο由于最优定义的界面内容，乘客不会过载。
ο虚拟用户界面显示器专门针对乘客显示，考虑了身高、方向和实际位置。
ο因为不需要平台特定的集成，因此系统可以在不同的车辆模型中类似地实施。
ο系统具有普遍性和通用性，易于实现对新功能的用户界面适配。每个用户界面都可以由系统表示。
ο通过用虚拟元素替换所有用户界面设备来降低成本；
附图说明
可以从以下基于附图的实施例的描述中获得本发明的更多细节；其中图1至图4分别示出了处于不同状态的汽车内部的示意图。
具体实施方式
在附图中，以鸟瞰图显示了整体标记为100的汽车或其内部。
附图标记1表示车辆的前部，附图标记2表示车辆的后部。乘客3坐在乘客侧，并且以其位置和身体方向为特征。附图标记4表示乘客3的右臂。
布置在仪表板的区域中在乘客3的前方、朝向车辆外部的传感器5允许跟踪乘客3，以及尤其他的右臂4的运动。模拟传感器分布在整个乘客舱中。
也布置在那里的投影仪6执行虚拟用户界面显示器。在当前情况下，它是常规的投影仪。然而，也可以使用激光投影仪、全息投影仪或3d投影仪。
大约布置在车辆中间的另一中央单元7包含至少一个用于监视身体运动的另一跟踪传感器以及另外的中央投影仪。因此确保了车厢的更好的空间覆盖。
车辆座椅用8表示，其中前排有两个车辆座椅和后排有两个车辆座椅是常规配置。
在当前情况下，显示在驾驶员(未示出)和乘客3(示出)之间的中央控制台9可以用作显示虚拟用户界面的自由表面。然而，原则上，其他表面也是可行的，例如整个仪表板、车门、车窗、座椅等，以及甚至是乘客的身体表面。
为了简单起见，下面假设车辆仅由乘客3占用，并且以下三个功能在车辆中起作用：空调、自动驾驶仪、娱乐系统的收音机。
基于激活的功能的状态，系统100创建对用户(乘客3)有意义的用户界面条目的上下文列表：增加空调的温度、改变到达目的地的路线或降低收音机的音量。
该系统设计有预定义的目录或数据库，在其中存储了相应功能更改命令和虚拟用户界面显示器之间的关联。
系统100首先基于来自传感器5和7的传感器数据使用监视设备和跟踪算法来确定乘客3的位置和方向。
基于该信息，系统确定区域200，其中可以很好地表示带有其条目的虚拟用户界面显示器300(参见图2)。
然后，系统激活投影仪6和7以将虚拟用户界面显示器300实际投影到区域200中，在图3中由射线400表示该区域200。
然后系统通过传感器5和7监视乘客与虚拟用户界面显示器进行交互的可能的动作，并且使用专门跟踪乘客的右臂4的第二身体跟踪算法。
如果系统检测到代表与虚拟用户界面显示器300进行交互的乘客的右手3的运动(步骤500)，并且分配了空调温度的升高(步骤600)，则触发相应的命令。在图3中用700表示交互作用，并且通过使用虚拟显示区域的坐标和评估单元中乘客的右手的坐标检测交互作用，评估单元使用图像识别算法来执行此操作。
然后该方法再次开始，或者可以进行附加功能。仅当实际检测到相应的触发时，才对相应功能进行更改。除了由相应的监视传感器5和7检测到的相应手势外，触发器还可以是语音命令、特殊情况或来自车辆系统的消息(例如，胎压下降)、紧急情况或关键驾驶情况、以及集成在仪表板或车辆中的经典操作元件(如按钮或控制器)的操作，或者通过应用程序用作具有功能的触发器的相应的移动设备。
可以理解的是该系统可以针对每个乘客单独地被激活和实施。为了减少冲突或误用，可以在登机或下车时使用常规方法进行初始激活。
1.一种用于控制机动车辆功能的方法，所述方法包括：跟踪乘客的位置和身体方向以及包括肢体在内的运动，以及将虚拟用户界面显示器投影到车厢内的任何自由表面上，其中乘客使用所述用户界面来改变车辆功能，以及相对于所述虚拟用户界面显示器评估所述乘客的位置和身体方向以及肢体的运动，以控制分配给所述虚拟用户界面显示器的所述机动车辆功能。
2.根据权利要求1所述的方法，其特征在于，所述虚拟用户界面显示器的投影取决于所述乘客的位置。
3.根据权利要求1或2所述的方法，其特征在于，所述虚拟用户界面显示器的投影取决于车辆的状况。
4.根据前述权利要求任一项所述的方法，其特征在于，所述虚拟用户界面显示器的投影取决于驾驶状况。
5.根据权利要求2至4任一项所述的方法，其特征在于，在方向和/或尺寸和/或位置方面对所述乘客的身体进行检测。
6.根据权利要求1至5任一项所述的方法，其特征在于，在方向和/或尺寸和/或运动速度方面对手部的运动进行检测。
7.根据权利要求6所述的方法，其特征在于，从检测到的手部的运动来检测与所述虚拟用户界面显示器的交互。
8.一种用于控制机动车辆功能的系统，包括：
监视设备，所述监视设备用于通过一组传感器跟踪乘客的位置和身体方向以及包括肢体在内的运动；
显示器设备，所述显示器设备用于将虚拟用户界面显示器投影到车厢内任何自由表面上，其中乘客使用所述用户界面来更改所述车辆功能；
评估单元，所述评估单元将来自所述监视设备的关于乘客位置和身体方向以及所述肢体的运动的数据与所述虚拟用户界面显示器相关联，以便通过用机动车辆控制器使所述虚拟用户界面显示器中所述虚拟用户界面设置的确定的更改被所述乘客的确定运动替代，以便能够控制分配给所述虚拟用户界面显示器的所述机动车辆功能。
9.一种虚拟用户界面显示器，其可以在车辆的任何地方被显示，包括为乘客提供显示器的投影仪，其中摄像机装置监视所述车辆中的所述乘客，以及与控制器一起按照人的方向为显示器确定合适的位置，以及所述乘客的运动，特别是他的手部的运动被监视和跟踪，以便在随后的处理中所述运动被解释为与作为用户界面的所述显示器的交互。
10.根据权利要求9所述的虚拟用户界面显示器，其特征在于，提供从包括车厢的内部参数、外部参数、车辆的行驶状况参数和车辆状况的参数的组中选择的各种类型的信息。
11.根据权利要求9或10所述的虚拟用户界面显示器，其特征在于，所述虚拟用户界面显示器可以与乘客带入所述车辆的其他显示器一起使用，特别是那些存在于移动设备或平板电脑或其他智能设备等中的显示器。
12.根据权利要求9至11任一项所述的虚拟用户界面显示器，其特征在于，所述投影或显示器的最佳位置基于所述乘客的位置和/或尺寸和/或胳膊和/或手部的位置和/或所述乘客视野的位置来确定，以确保最舒适的使用。
技术总结