本发明涉及一种用于为车辆用户显示该车辆的周围环境的虚拟视图的方法。本发明还涉及一种计算机程序，该计算机程序包括指令，所述指令在通过计算机执行程序时促使该计算机实施该方法的步骤。此外，本发明涉及一种具有计算单元的控制器，该计算单元如此配置，使得该计算单元实施该方法的步骤。本发明还涉及一种具有该控制器的车辆。
背景技术：
1、文献de 10 2019 219 017 a1公开了一种用于借助例如四个车辆摄像机来表示车辆的周围环境模型的显示方法，所述车辆摄像机分别具有一个广角镜头。
2、文件us 8,723,959 b2公开了一种用于改善场景的方法。
3、zhang等(2019)在computer vision and pattern recognition(cs.cv)中的文件“image super-resolution by neural texture transfer”(arxiv:1903.00834[cs.cv])中公开了一种用于复原低分辨率图像中的图像信息的基于参考的方法。
技术实现思路
1、本发明的任务在于改善对车辆的周围环境模型的显示。
2、根据本发明，上述任务相应于根据本发明的一种用于显示车辆的周围环境的虚拟视图的方法、一种计算机程序、一种控制器和一种车辆来解决。
3、本发明涉及一种用于为车辆用户显示该车辆的周围环境的虚拟视图的方法，该虚拟视图尤其是全方位视图、自上而下(top-down)视图或者全景图像视图。在该方法的第一步骤中，借助车辆的具有广角镜头的摄像机来检测周围环境的一部分的至少一个摄像机图像。优选借助该摄像机检测周围环境的该部分的摄像机图像序列。以有利的方式，借助不同的车辆摄像机检测至少四个摄像机图像或摄像机图像序列。所述至少一个摄像机包括广角镜头。优选地，这些摄像机中的每个摄像机都包括广角镜头。所述不同的摄像机以有利的方式围绕该车辆的周围布置，并且以有利的方式从不同视线方向或者说视角检测该车辆的周围环境，其中，相邻摄像机的检测区域以有利的方式相交。随后，根据至少一个当前所检测到的摄像机图像来求取图像信息，其中，对所检测到的摄像机图像进行几何校正，并且提高经几何校正的摄像机图像在至少一个第一子区域中的分辨率或者说像素密度。由于对所检测到的摄像机图像所进行的几何校正导致在经几何校正的摄像机图像中的分辨率差或者说像素密度差，例如，经几何校正的摄像机图像的中央区域相对于该经几何校正的摄像机图像的边缘区域而言具有更高的分辨率或者说像素密度。在本发明的一种优选构型中，第一子区域因此尤其代表所检测到的摄像机图像的边缘区域。第一子区域以有利的方式是该经几何校正的摄像机图像的连贯的或者不连贯的区域，该区域例如可以具有小于或者等于中央区域的一半分辨率或者说一半像素密度的分辨率或者说像素密度。第一子区域优选至少包括两个不连贯的区域，这些区域位于该中央区域的右侧和左侧。尤其通过第一学习式机器识别方法来执行第一子区域的分辨率的提高，以有利的方式通过尤其代表超分辨率(super resolution)技术的第一深度神经网络(cnn)来执行。随后，通过将所求取到的图像信息投影到虚拟投影面上来显示所述虚拟视图。该方法具有如下优点：在第一子区域中更清晰且对比度更高地为用户表示该虚拟视图，因为对第一区域中的最初缺失的图像信息进行估计。换言之，以有利的方式通过确定、尤其是估计在第一子区域中最初缺失的图像信息来降低第一子区域中的图像信息的由于对借助广角镜头检测到的摄像机图像所进行的几何去畸变所导致的模糊，由此，该视图对于用户而言更清楚且更逼真。通过该方法尤其协调或均衡经几何去畸变的或者说经几何变换的摄像机图像的分辨率差，尤其是以有利的方式无缺地表示在被检测到的摄像机图像的边缘区域中所表示的图像内容，如位于车辆附近的车道地基、车道纹理——例如地面特性或者车道覆层中的图案，或者车道标记——例如停车位界线。
4、可选地，对经几何校正的摄像机图像在第一子区域中的分辨率或者说像素密度的提高首先在x方向或者说水平方向上、随后在y方向或者说垂直方向上进行。由此导致如下优点：导致在显示的虚拟视图中的非常少的分辨率差或者说像素密度差。
5、可选地，尤其在被显示的、不同摄像机的摄像机图像之间的拼接区域中或拼接线上执行对经几何校正的摄像机图像的分辨率或者说像素密度的提高。换言之，第一子区域尤其包括如下拼接区域：该拼接区域在被显示的虚拟视图中位于不同摄像机的摄像机图像之间或者将这些摄像机图像相互拼接。该拼接区域典型地通过对两个彼此重叠的摄像机图像进行平均来产生。通过该可选实施方案，尤其在拼接区域中更清楚且错误更少地表示包括不同摄像机的至少两个摄像机图像的虚拟视图。
6、在一种有利的实施方案中，第一子区域的图像内容代表相对于该车辆小于或者等于预给定的距离的位置。因此，第一子区域优选仅包括位于中央区域右侧和左侧的经几何校正的摄像机图像的下部区域，其中，这些区域的图像信息或者说图像内容代表相对于该车辆小于预给定的距离的位置。可选地，可以根据车辆与周围环境中的对象之间的所检测到的距离数据，根据车速和/或根据摄像机图像的亮度(例如所检测到的摄像机图像的或者经几何校正的摄像机图像的平均亮度)，和/或根据摄像机图像的对比度(例如所检测到的摄像机图像的或者经几何校正的摄像机图像的对比度)来匹配预给定的与车辆的距离。对距离数据的检测例如可以借助摄像机通过运动恢复结构方法和/或借助至少一个可选的超声波传感器和/或可选的雷达传感器和/或可选的激光雷达传感器来进行。在该实施方案中，以有利的方式限制第一子区域并降低用于提高分辨率所需的计算性能。
7、优选地，在对所检测到的摄像机图像进行几何校正之后，第一子区域具有小于或者等于下阈值的像素密度或者说分辨率。可以根据在对所检测到的摄像机图像进行几何校正之后的像素密度和下阈值和/或预给定的距离来求取第一子区域。替代或附加地，以有利的方式根据车速、根据所检测到的摄像机图像的所求取到的尤其是平均的亮度和/或根据所检测到的摄像机图像的尤其在第一子区域中的所求取到的尤其是平均的对比度来匹配第一子区域。换言之，以有利的方式可以根据车速和/或例如所检测到的摄像机图像中的对比来改变或匹配第一子区域，其中，例如以这些相关性匹配预给定的距离和/或下阈值。通过该构型，尤其当未求取到可感知的模糊或者可感知的模糊是非预期的时、例如在高车速或者低亮度的情况下，则减小第一子区域的面积。当已求取到可感知的模糊或者可感知的模糊是可预期的时、例如在低车速或者所检测到的摄像机图像中的高对比度的情况下，则以有利的方式增大该第一子区域。在该构型中也导致如下优点：以有利的方式限制第一子区域并且降低用于提高分辨率所需的计算性能或能耗。
8、在一种特别优选的实施方案中，根据在第一子区域中所识别到的对象和/或所识别到的部段来匹配或者选择或求取第一学习式机器识别方法或深度神经网络。该匹配例如涉及输出结果的权重或者改变。例如根据在第一子区域中所识别到的车道表示、绿地表示或者建筑物表示来选择或者说求取被用于提高第一子区域中的分辨率的神经网络，其中，不同的第一学习式机器识别方法或神经网络优选分别针对提高关于分别识别到的部段内容的分辨率专门受训练，例如针对提高车道区域或者绿地区域的分辨率。由此，在分辨率提高的情况下以有利的方式特别好地估计在经几何校正的摄像机图像中第一子区域的缺失的图像内容，使得导致所估计的图像内容的高品质，这例如也导致在被显示的虚拟视图中第一子区域的更高的清晰度。
9、在一种特别优选的扩展实施方案中，通过彼此不同的第一学习式机器识别方法来提高经几何校正的摄像机图像在第一子区域的至少两个彼此不同的区域中的对应的分辨率。第一子区域的彼此不同的区域可以代表不同的分辨率或者说像素密度，其中，不同的第一学习式机器识别方法代表用于放大分辨率的不同系数。换言之，不同的第一学习式机器识别方法被训练用于产生对分辨率或者说像素密度的不同的提高或缩放。在该扩展实施方案中，在经几何校正的摄像机图像的整个图像区域内产生更均匀的分辨率，由此，被显示的虚拟周围环境视图显得更逼真且高效地被改善。
10、此外，在一种可能的扩展方案中可以设置，降低经几何校正的摄像机图像在该经几何校正的摄像机图像的至少一个第二子区域中的分辨率，其中，第二子区域在对所检测到的摄像机图像进行几何校正之后尤其具有大于或者等于上阈值的像素密度。第二子区域以有利的方式代表所检测到的摄像机图像的中央区域。在该扩展实施方案中同样以有利的方式在经几何校正的摄像机图像的整个图像区域内产生更均匀的分辨率，由此，被显示的虚拟周围环境视图看上去更逼真或者说被改善。
11、优选地，可以通过第二学习式机器识别方法或者降采样来降低第二子区域的分辨率。
12、此外可以设置，根据车辆与车辆的周围环境中的对象之间的检测到的或者求取到的距离数据来匹配经几何校正的摄像机图像在第一和/或第二子区域中的分辨率。由此，例如，当所识别到的对象与车辆具有小于阈值的距离或在车辆周围的近区域中被检测到或者说识别到时，在虚拟视图中产生该对象的特别高的分辨率。
13、在该方法的一种优选的可选构型中，附加地根据至少一个参考区域来提高经几何校正的摄像机图像在第一子区域中的分辨率。以有利的方式附加地根据至少两个参考区域来提高经几何校正的摄像机图像在第一子区域中的分辨率，其中，所述参考区域优选布置在或位于车辆摄像机的不同摄像机图像中。替代或附加地，根据所述至少一个参考区域来降低经几何校正的摄像机图像——可选地在第二子区域中——的分辨率。该参考区域尤其位于第一和/或第二子区域之外。该参考区域可以位于所检测到的摄像机图像中、经几何校正的摄像机图像中或者其他摄像机图像中，其中，该其他摄像机图像是借助其他车辆摄像机已检测到的。在此，该其他摄像机图像优选具有与所检测到的摄像机图像的相交区域。替代或附加地可以设置，该参考区域位于所存储的摄像机图像中，其中，所存储的摄像机图像存储在车辆的电子存储器或者服务器装置上并且例如根据车辆位置被调取或者说加载。在一种扩展实施方案中例如可以设置，存在两个参考区域或该参考区域包括第一参考区域和第二参考区域。第一参考区域例如在经几何校正的摄像机图像中位于该摄像机图像的在几何校正之后具有高分辨率的中央区域中，其中，该第一参考区域优选将与车辆具有小于或者等于参考距离的距离的图像内容成像。第二参考区域例如位于其他车辆摄像机的至少几乎同时检测到的经几何校正的其他摄像机图像中，其中，该其他摄像机图像优选具有与所检测到的摄像机图像的相交区域。尤其根据经几何校正的摄像机图像中的所识别到的对象和/或所识别到的部段——例如识别到车道覆层作为部段——来求取参考区域。在该构型中产生如下优点：在第一和/或第二子区域中更清晰且对比度更高地为用户表示该虚拟视图。在该实施方案中，存在用于估计关于在几何校正之后——尤其是通过深度神经网络——被提高的分辨率的图像信息的模板，由此特别逼真地、高对比度地且清晰地显示被显示的虚拟视图。
14、本发明还涉及一种计算机程序，该计算机程序包括指令，所述指令在通过计算机执行程序时促使该计算机实施根据本发明的方法的步骤。
15、本发明还涉及一种控制器。该控制器具有至少一个用于提供第一信号的信号输入端，该第一信号代表借助具有广角镜头的摄像机检测到的至少一个摄像机图像。尤其是，该第一信号代表借助具有广角镜头的摄像机检测到的摄像机图像序列。该控制器包括用于输出用于显示设备、尤其显示器的控制信号的信号输出端，其中，该控制信号代表车辆的周围环境的虚拟视图。此外，该控制器具有计算单元、尤其是处理器。该计算单元如此配置，使得该计算单元实施根据本发明的方法的步骤。
16、此外，本发明涉及一种车辆，该车辆至少包括摄像机，其中，该摄像机包括广角镜头，并且该摄像机设置为用于检测该车辆的周围环境的一部分的至少一个摄像机图像或摄像机图像序列。该车辆还包括根据本发明的控制器。
1.一种用于显示车辆(100)的周围环境的虚拟视图(200)的方法，所述虚拟视图尤其是全方位视图或者全景图像视图，所述方法至少包括以下步骤：
2.根据权利要求1所述的方法，其中，所述第一子区域(450)的图像内容代表相对于所述车辆(100)小于或者等于预给定的距离的位置。
3.根据上述权利要求中任一项所述的方法，其中，在对所检测到的摄像机图像(310)进行几何校正之后，所述第一子区域(450)具有小于或者等于下阈值的像素密度。
4.根据上述权利要求中任一项所述的方法，其中，根据在所述第一子区域(450)中所识别到的对象和/或识别到的部段来匹配或者选择所述第一学习式机器识别方法。
5.根据上述权利要求中任一项所述的方法，其中，通过彼此不同的第一学习式机器识别方法来提高经几何校正的摄像机图像在所述第一子区域(450)的至少两个彼此不同的区域中的对应的分辨率。
6.根据上述权利要求中任一项所述的方法，其中，降低经几何校正的摄像机图像在至少一个第二子区域(460)中的分辨率。
7.根据权利要求6所述的方法，其中，通过第二学习式机器识别方法或者降采样来降低所述第二子区域(460)的分辨率。
8.根据上述权利要求中任一项所述的方法，其中，附加地根据检测到的或者求取到的距离数据来匹配所述第一子区域(450)中的和/或所述第二子区域(460)中的分辨率。
9.根据上述权利要求中任一项所述的方法，其中，附加地根据至少一个参考区域(rf，rf1，rf2)、尤其在不同摄像机图像内的两个参考区域(rf，rf1，rf2)来提高或降低经几何校正的摄像机图像在所述第一子区域(450)中的分辨率和/或经几何校正的摄像机图像在所述第二子区域(460)中的分辨率。
10.一种计算机程序，所述计算机程序包括指令，所述指令在通过计算机执行所述程序时促使所述计算机实施根据上述权利要求中任一项所述的方法的步骤。
11.一种控制器，所述控制器至少包括以下部件：
12.一种车辆(100)，所述车辆至少包括以下部件：
