本公开总体上涉及深度神经网络。
背景技术：
深度神经网络(dnn)可用于执行许多图像理解任务，包括分类、分割和生成字幕。通常，dnn需要大量的训练图像(数万至数百万)。另外，为了训练和预测的目的，通常需要对这些训练图像进行注解。
技术实现要素：
一种系统包括具有处理器和存储器的计算机，并且所述存储器包括指令使得所述处理器被编程为：在经训练的深度神经网络处接收具有第一标签和第一情境的第一数据集；并且根据映射在所述经训练的深度神经网络处生成具有第一标签和第二情境的第二数据集，其中所述多个映射中的第一映射包括将具有所述第一标签和所述第一情境的数据映射到具有第二标签和所述第一情境的数据的所述经训练的深度神经网络的一个或多个权重，并且所述多个映射中的第二映射包括将具有第二标签和所述第一情境的数据映射到具有所述第二标签和所述第二情境的数据的所述经训练的深度神经网络的一个或多个权重，其中所述第二情境不同于所述第一情境并且所述第二标签不同于所述第一标签。
在其他特征中，所述经训练的深度神经网络包括在对抗神经网络内训练的生成器。
在其他特征中，所述第一数据集和所述第二数据集各自包括多个图像帧。
在其他特征中，对应于所述第一数据集的所述多个图像帧包括由前视相机或后视相机中的至少一者捕获的图像帧。
在其他特征中，对应于所述第二数据集的所述多个图像帧包括被表示为由所述前视相机或所述后视相机中的另一者捕获的生成的图像帧。
在其他特征中，所述第一标签对应于前视相机视角，并且所述第二标签对应于后视相机视角。
在其他特征中，所述第一情境对应于照明环境，并且所述第二情境对应于非照明环境。
一种系统包括具有处理器和存储器的计算机，并且所述存储器包括指令使得所述处理器被编程为：在经训练的深度神经网络处接收具有表示第一图像的视角的第一标签和表示第一图像的环境的第一情境的第一图像；并且经由所述经训练的深度神经网络的映射生成具有第一标签和表示第二图像的环境的第二情境的第二图像，其中所述多个映射中的第一映射包括将具有所述第一标签和所述第一情境的数据映射到具有第二标签和所述第一情境的数据的所述经训练的深度神经网络的一个或多个权重，并且所述多个映射中的第二映射包括将具有第二标签和所述第一情境的数据映射到具有所述第二标签和所述第二情境的数据的所述经训练的深度神经网络的一个或多个权重，其中所述第二情境不同于所述第一情境并且所述第二标签不同于所述第一标签。
在其他特征中，所述经训练的深度神经网络包括在对抗神经网络内训练的生成器。
在其他特征中，第二图像包括具有前视相机或后视相机视角中的至少一者的生成的图像。
在其他特征中，所述第一情境对应于照明环境，并且所述第二情境对应于非照明环境。
在其他特征中，所述第一情境包括车道存在或不存在中的至少一者。
一种方法包括：在经训练的深度神经网络处接收具有第一标签和第一情境的第一数据集；以及根据映射在所述经训练的深度神经网络处生成具有第一标签和第二情境的第二数据集，其中所述多个映射中的第一映射包括将具有所述第一标签和所述第一情境的数据映射到具有第二标签和所述第一情境的数据的所述经训练的深度神经网络的一个或多个权重，并且所述多个映射中的第二映射包括将具有第二标签和所述第一情境的数据映射到具有所述第二标签和所述第二情境的数据的所述经训练的深度神经网络的一个或多个权重，其中所述第二情境不同于所述第一情境并且所述第二标签不同于所述第一标签。
在其他特征中，所述经训练的深度神经网络包括在对抗神经网络内训练的生成器。
在其他特征中，所述第一数据集和所述第二数据集各自包括多个图像帧。
在其他特征中，对应于所述第一数据集的所述多个图像帧包括由前视相机或后视相机中的至少一者捕获的图像帧。
在其他特征中，对应于所述第二数据集的所述多个图像帧包括被表示为由所述前视相机或所述后视相机中的另一者捕获的生成的图像帧。
在其他特征中，所述第一标签对应于前视相机视角，并且所述第二标签对应于后视相机视角。
在其他特征中，所述第一情境对应于照明环境，并且所述第二情境对应于非照明环境。
在其他特征中，所述第一情境包括车道存在或不存在中的至少一者。
附图说明
图1是用于训练对抗网络的示例性系统的图示。
图2是系统内的示例性服务器的图示。
图3是示例性深度神经网络的图示。
图4是示例性对抗网络的图示。
图5和图6是示例性数据集和各种数据集之间的映射的图示。
图7是示出用于基于由深度神经网络生成的映射来生成数据集的示例性过程的流程图。
具体实施方式
域适应涉及泛化从源域到目标域的模型。通常，源域具有大量训练数据，而目标域中的数据可能是稀缺的。例如，由于相机供应商约束、重新布线问题、缺少相关应用程序等，可能会限制倒车相机车道数据的可用性。然而，可能存在具有包括车道的前视相机图像的多个数据集。
如本文所述，深度神经网络可以用于学习域之间的映射，并且部分映射可以用于增加用于在目标域中进行训练的可用数据。部分映射可以包括不完整的映射循环。例如，可以使用神经网络来学习源域与目标域之间的映射。在一些情况下，目标域内的期望数据集可能不可用。在这些情况下，神经网络可以使用部分映射来在目标域内生成数据，如本文更详细描述的。
虽然本公开描述了车辆系统和服务器，但应理解，可使用任何合适的计算机系统来执行本文描述的对抗神经网络的技术和/或功能。
图1是示例性车辆系统100的框图。系统100包括车辆105，所述车辆是陆地车辆，诸如汽车、卡车等。车辆105包括计算机110、车辆传感器115、用于致动各种车辆部件125的致动器120以及车辆通信模块130。经由网络135，通信模块130允许计算机110与服务器145通信。
计算机110包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机110执行以执行各种操作(包括如本文所公开的操作)的指令。
计算机110可以自主模式、半自主模式或非自主(手动)模式来操作车辆105。出于本公开的目的，自主模式被限定为其中由计算机110控制车辆105推进、制动和转向中的每一者的模式；在半自主模式下，计算机110控制车辆105推进、制动和转向中的一者或两者；在非自主模式下，人类操作员控制车辆105推进、制动和转向中的每一者。
计算机110可以包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆的加速)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算机110(而非人类操作员)是否以及何时控制此类操作。另外，计算机110可以被编程为确定人类操作员是否以及何时控制此类操作。
计算机110可以包括多于一个处理器，或者例如经由如以下进一步描述的车辆105通信模块130而通信地耦合到所述多于一个处理器，所述多于一个处理器例如包括在车辆105中所包括的用于监测和/或控制各种车辆部件125的电子控制器单元(ecu)等(例如动力传动系统控制器、制动控制器、转向控制器等)中。此外，计算机110可以经由车辆105通信模块130与使用全球定位系统(gps)的导航系统通信。作为示例，计算机110可以请求并接收车辆105的位置数据。位置数据可以是已知的形式，例如地理坐标(纬度坐标和经度坐标)。
计算机110通常被布置用于依靠车辆105通信模块130并且还利用车辆105内部有线和/或无线网络(例如车辆105中的总线等，诸如控制器局域网(can)等)和/或其他有线和/或无线机制进行通信。
经由车辆105通信网络，计算机110可以向车辆105中的各种装置传输消息和/或从所述各种装置接收消息，所述各种装置例如车辆传感器115、致动器120、车辆部件125、人机界面(hmi)等。替代地或另外地，在其中计算机110实际上包括多个装置的情况下，车辆105通信网络可以用于在本公开中表示为计算机110的装置之间的通信。此外，如以下所提及，各种控制器和/或车辆传感器115可以向计算机110提供数据。
车辆传感器115可以包括诸如已知的用于向计算机110提供数据的多种装置。例如，车辆传感器115可包括设置在车辆105的顶部上、在车辆105前挡风玻璃后面、在车辆105周围等的光探测和测距(lidar)传感器115等，所述传感器提供车辆105周围的对象的相对位置、大小和形状和/或周围的状况。作为另一示例，固定到车辆105保险杠的一个或多个雷达传感器115可提供数据以提供对象(可能地包括第二车辆106)等相对于车辆105的位置的速度并进行测距。车辆传感器115还可包括相机传感器115(例如，前视、侧视、后视等)，其提供来自车辆105的内部和/或外部的视野的图像。
车辆105致动器120经由如已知那样可以根据适当控制信号致动各种车辆子系统的电路、芯片、马达或其他电子和/或机械部件来实现。致动器120可以用于控制部件125，包括车辆105的制动、加速和转向。
在本公开的上下文中，车辆部件125是适于执行机械或机电功能或操作(诸如使车辆105移动、使车辆105减速或停止、使车辆105转向等)的一个或多个硬件部件。部件125的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可包括方向盘、转向齿条等中的一者或多者)、制动部件(如以下所描述)、停车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等。
另外，计算机110可以被配置用于经由车辆对车辆通信模块或接口130与车辆105外部的装置通信，例如，通过车辆对车辆(v2v)或车辆对基础设施(v2x)无线通信与另一车辆、(通常经由网络135)远程服务器145通信。模块130可以包括计算机110可借以通信的一种或多种机制，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望网络拓扑(或者当利用多种通信机制时为多个拓扑)。经由模块130提供的示例性通信包括提供数据通信服务的蜂窝、
网络135可以是各种有线或无线通信机制中的一者或多者，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望的组合以及任何期望的网络拓扑(或当利用多种通信机制时为多个拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用蓝牙、低功耗蓝牙(ble)、ieee802.11、车辆对车辆(v2v)(诸如专用短程通信(dsrc))等)、局域网(lan)和/或广域网(wan)，包括互联网。
计算机110可以基本上连续地、周期性地和/或当由服务器145指示时等从传感器115接收并分析数据。此外，对象分类或识别技术可在例如计算机110中基于lidar传感器115、相机传感器115等的数据用于识别对象的类型(例如，车辆、人、岩石、坑洞、自行车、摩托车等)以及对象的物理特征。
图2是示例性服务器145的框图。服务器145包括计算机235和通信模块240。计算机235包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机235执行以用于执行各种操作(包括如本文所公开的操作)的指令。通信模块240允许计算机235与其他装置(诸如车辆105)通信。
图3是可在本文使用的示例性深度神经网络(dnn)300的图示。dnn300包括多个节点305，并且这些节点305被布置成使得dnn300包括输入层、一个或多个隐藏层、和输出层。dnn300的每一层可以包括多个节点305。尽管图3示出了三(3)个隐藏层，但是应理解，dnn300可以包括附加的或更少的隐藏层。输入层和输出层还可以包括多于一(1)个节点305。
节点305有时被称为人工神经元305，因为它们被设计成模拟生物(例如人类)神经元。每个神经元305的一组输入(由箭头表示)各自乘以相应的权重。然后，可以将经加权输入在输入函数中求和，以在可能通过偏差进行调整的情况下提供净输入。然后，可将净输入提供给激活函数，所述激活函数进而为连接的神经元305提供输出。所述激活函数可以是通常基于经验分析来选择的各种合适的函数。如图3中的箭头所示，然后可以提供神经元305输出以包括在下一层中的一个或多个神经元305的一组输入中。
可以训练dnn300以接受数据作为输入并基于输入生成输出。dnn300可以用地面实况数据即关于现实世界条件或状态的数据进行训练。例如，dnn300可以用地面实况数据进行训练或者由处理器用附加数据进行更新。例如，可以通过使用高斯分布初始化权重，并且可将每个节点305的偏差设置为零。训练dnn300可以包括：经由合适技术(诸如反向传播)加以优化来更新权重和偏差。地面实况数据可以包括但不限于指定图像内的对象的数据或指定物理参数(例如，对象相对于另一对象的角度、速度、距离或角度)的数据。例如，地面实况数据可以是表示对象和对象标签的数据。
图4是用于基于总体上相关的数据集生成数据的示例性对抗神经网络400的图示。虽然本公开描述了对抗神经网络，但是应当理解，其他深度神经网络可以用于基于总体上相关的数据集生成数据。例如，对抗神经网络400可以是可加载到存储器中并由车辆105和/或服务器145中的处理器执行的软件程序。如图所示，对抗神经网络400包括生成器405和鉴别器410。生成器405和/或鉴别器410可以包括dnn300。在本上下文内，生成器405和鉴别器410包括生成式对抗网络(gan)。gan是深度神经网络，其采用一类人工智能算法，所述算法在机器学习中使用并且由在对抗零和博弈框架中彼此竞争的两个神经网络的系统来实施。
在示例实现方式中，生成器405接收输入数据，这将在下面更详细地描述。输入数据可以包括自然语言、图像等。生成器405基于所接收的输入数据来生成合成数据。例如，如果输入数据是图像，则合成图像可以是该图像的图像到图像转换，例如，将输入图像从一个域(夜间)转换到另一个域(日间)。
鉴别器410被配置为接收数据，评估接收到的数据，以及生成指示接收到的数据是由生成器405机器生成还是源自真实数据分布的预测。鉴别器410在训练期间接收由生成器405生成的合成数据和来自真实数据分布的数据，使得鉴别器410可以区分合成数据和来自真实数据分布的数据。在一个或多个实现方式中，鉴别器410可以包括卷积神经网络。然而，应理解，根据本公开可使用其他神经网络。
生成器405的训练可使用强化学习来训练生成模型。强化学习是一种使用奖励和惩罚系统来训练算法的动态编程类型。强化学习算法或强化学习代理通过与其环境交互来学习。代理通过正确执行来接收奖励以及由于执行不正确而受到惩罚。例如，强化学习代理通过最大化奖励和最小化惩罚来在没有来自人类干预的情况下学习。
如图4所示，由鉴别器410生成的预测被提供给生成器405。生成器405可以使用预测来修改(即，更新)生成器405的一个或多个权重，以最小化指示合成数据被分类为合成(即，伪造的)的预测。例如，生成器405可使用反向传播等来更新生成器405内的一个或多个权重。
鉴别器410也可以基于预测进行更新。例如，如果预测指示生成的合成数据来自真实数据分布，则鉴别器410可以接收指示数据是合成数据的反馈。基于反馈，可以更新鉴别器405的一个或多个权重以最小化不正确的预测。通过训练过程，生成器405可以提高生成的合成数据的质量，例如生成更逼真的合成数据，并且鉴别器410可以改进对合成生成的数据的细微差异和特性的识别。
在本公开内，可以用具有相同情境的一组不同标签的数据集来训练dnn300(诸如对抗神经网络400)以生成(例如，学习)映射。如本文所使用的，生成(例如，学习)映射对应于作为训练dnn300的结果的一个或多个dnn300内的更新的权重。另外，标签可以指数据视角，例如图像视角，并且情境可以指数据表示的环境，例如照明或非照明环境。
图5示出了示例性数据集和数据集之间的映射m1、m2、m3和m4。如图所示，来自源a的数据集包括相应的前视相机(flc)帧和相应的倒车相机(bc)帧，并且来自源b的数据集包括相应的flc帧和相应的bc帧。例如，flc帧包括第一标签，并且bc帧包括第二标签。
源a和源b可以表示情境或与数据相对应的环境，该数据诸如在照明环境(例如，日间条件(d))内捕获的图像，或在非照明环境(例如，夜间条件(n))内捕获的图像。所述情境还可以包括车道的存在或不存在。因此，使用这些情境可以创建四种独特的情况——flc-n、flc-d、bc-n和bc-d。如果缺少特定数据集，诸如bc-d，则dnn300可以学习将flc-n映射到flc-d的表示并将其应用于从bc-n映射到bc-d。等效地，dnn300可以学习将flc-n映射到bc-n并将其应用于将flc-d映射到bc-d。
可以在训练dnn300期间生成映射m1、m2、m3和m4。如图所示，使用箭头和字母“r”和“f”表示映射。在一个示例中，可以将来自源a的flc帧提供给经训练的dnn300，使得dnn300可以生成对应于与源b相对应的bc帧的合成图像。dnn300可以循环方式使用映射m1f和m4f或映射m3f和m2f来生成bc帧。在另一个示例中，来自源b的flc帧可以用于使用映射m1r或映射m4f、m2r和m3r来生成与源a相对应的flc帧。
如图6所示，来自特定源的数据集可能不可用。在该示例中，来自源b的bc帧不可用。因此，对应于m2和m4的映射不可用。在这种情况下，dnn300被配置为使用部分映射m1代替m2并且使用映射m3代替m4。因此，在训练期间，dnn300被配置为使用具有相同情境的不同标签的数据来学习映射和/或使用具有相同标签的不同情境的数据来学习映射。所学习的映射可以用于生成具有相同标签但不同情境的合成数据，反之亦然。例如，dnn300学习具有相同情境的一组不同标签的数据之间的映射，并且dnn300应用该映射以将具有相同标签的数据生成(例如，转换)为期望的情境。
在一个或多个实现方式中，dnn300最初可被训练为单独地获得多个映射，诸如单独地获得m1和m3。然后dnn300可被训练为共同获得m1和m3。然后可以基于m1和m3来初始化m2和m4的映射。
在一些实现方式中，dnn300可以基于重建的数据集在其成本函数内并入损失。例如，返回参考图6，可以使用映射m3r使用来自源a的bc帧来构造来自源a的flc帧。重构的flc帧可以与地面实况flc帧进行比较，并且基于所述比较的损失可以被并入到dnn300的成本函数中。
图7是用于在不同域内生成数据的示例性过程700的流程图。例如，经训练的dnn300(诸如经训练的生成器405)生成具有第一标签和第二情境的数据集。经训练的dnn400使用先前学习的映射，所述映射将具有第一标签和第一情境的数据映射到具有第二标签和第二情境的数据。
过程700的框可以由计算机110或计算机235执行。过程700开始于框705，其中确定是否接收到具有第一标签的数据。如果没有接收到数据，则过程700返回到框705。否则，在框710处，基于第一标签和/或期望的情境将数据提供给一个或多个dnn300。期望的情境是指dnn300将在其内生成数据的数据域。计算机110或235向已经被训练以在期望域内生成数据的dnn300提供数据。在框715处，dnn300基于映射在期望的域(例如，情境)内生成数据。如上面所讨论的，映射可能不可用于在期望的域(例如，情境)内生成数据，因为在该情境中数据有限/没有数据。
通常，所描述的计算系统和/或装置可以采用许多计算机操作系统中的任一者，包括但绝不限于以下版本和/或变型：ford
计算机和计算装置一般包括计算机可执行指令，其中所述指令可能够由一个或多个计算装置(诸如以上所列出的那些)执行。可以由使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于javatm、c、c 、matlab、simulink、stateflow、visualbasic、javascript、perl、html等。这些应用程序中的一些可以在诸如java虚拟机、dalvik虚拟机等虚拟机上编译和执行。通常，处理器(例如，微处理器)接收来自例如存储器、计算机可读介质等的指令，并执行这些指令，从而执行一个或多个过程，包括本文所述过程中的一个或多个。可以使用各种计算机可读介质来存储和传输此类指令和其他数据。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
存储器可以包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘或磁盘以及其他持久性存储器。易失性存储器可以包括例如通常构成主存储器的动态随机存取存储器(dram)。此类指令可以由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成耦合到ecu的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、ram、prom、eprom、flash-eeprom、任何其他存储器芯片或盒式磁带或计算机可以从中读取的任何其他介质。
数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、关系数据库管理系统(rdbms)等。每个此类数据存储装置大体包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述pl/sql语言)之外，rdbms还通常采用结构化查询语言(sql)。
在一些示例中，系统元件可被实施为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所描述功能的此类指令。
关于本文描述的介质、过程、系统、方法、启发等，应理解，虽然此类过程等的步骤已被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可以同时执行某些步骤、可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文对过程的描述是为了示出某些实施例而提供，而决不应将其理解为对权利要求进行限制。
因此，应理解，以上描述意图是说明性的而非限制性的。在阅读以上描述时，除了所提供的示例之外的许多实施例和应用对于本领域的技术人员将是明显的。不应参考以上描述来确定本发明的范围，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。可以设想并预期未来的发展将在本文讨论的领域中发生，并且所公开的系统和方法将结合到此类未来实施例中。总之，应理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。
除非本文做出明确的相反指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和一般的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
根据本发明，提供了一种系统，其具有包括处理器和存储器的计算机，所述存储器包括指令使得所述处理器被编程为：在经训练的深度神经网络处接收具有第一标签和第一情境的第一数据集；并且根据多个映射在所述经训练的深度神经网络处生成具有第一标签和第二情境的第二数据集，其中所述多个映射中的第一映射包括将具有所述第一标签和所述第一情境的数据映射到具有第二标签和所述第一情境的数据的所述经训练的深度神经网络的一个或多个权重，并且所述多个映射中的第二映射包括将具有第二标签和所述第一情境的数据映射到具有所述第二标签和所述第二情境的数据的所述经训练的深度神经网络的一个或多个权重，其中所述第二情境不同于所述第一情境并且所述第二标签不同于所述第一标签。
根据一个实施例，所述经训练的深度神经网络包括在对抗神经网络内训练的生成器。
根据一个实施例，所述第一数据集和所述第二数据集各自包括多个图像帧。
根据一个实施例，对应于所述第一数据集的所述多个图像帧包括由前视相机或后视相机中的至少一者捕获的图像帧。
根据一个实施例，对应于所述第二数据集的所述多个图像帧包括被表示为由所述前视相机或所述后视相机中的另一者捕获的生成的图像帧。
根据一个实施例，所述第一标签对应于前视相机视角，并且所述第二标签对应于后视相机视角。
根据一个实施例，所述第一情境对应于照明环境，并且所述第二情境对应于非照明环境。
根据本发明，提供了一种系统，其具有包括处理器和存储器的计算机，所述存储器包括指令使得所述处理器被编程为：在经训练的深度神经网络处接收具有表示第一图像的视角的第一标签和表示第一图像的环境的第一情境的第一图像；并且经由所述经训练的深度神经网络的多个映射生成具有第一标签和表示第二图像的环境的第二情境的第二图像，其中所述多个映射中的第一映射包括将具有所述第一标签和所述第一情境的数据映射到具有第二标签和所述第一情境的数据的所述经训练的深度神经网络的一个或多个权重，并且所述多个映射中的第二映射包括将具有第二标签和所述第一情境的数据映射到具有所述第二标签和所述第二情境的数据的所述经训练的深度神经网络的一个或多个权重，其中所述第二情境不同于所述第一情境并且所述第二标签不同于所述第一标签。
根据一个实施例，所述经训练的深度神经网络包括在对抗神经网络内训练的生成器。
根据一个实施例，第二图像包括具有前视相机或后视相机视角中的至少一者的生成的图像。
根据一个实施例，所述第一情境对应于照明环境，并且所述第二情境对应于非照明环境。
根据一个实施例，所述第一情境包括车道存在或不存在中的至少一者。
根据本发明，一种方法包括：在经训练的深度神经网络处接收具有第一标签和第一情境的第一数据集；以及根据多个映射在所述经训练的深度神经网络处生成具有第一标签和第二情境的第二数据集，其中所述多个映射中的第一映射包括将具有所述第一标签和所述第一情境的数据映射到具有第二标签和所述第一情境的数据的所述经训练的深度神经网络的一个或多个权重，并且所述多个映射中的第二映射包括将具有第二标签和所述第一情境的数据映射到具有所述第二标签和所述第二情境的数据的所述经训练的深度神经网络的一个或多个权重，其中所述第二情境不同于所述第一情境并且所述第二标签不同于所述第一标签。
在本发明的一个方面，所述经训练的深度神经网络包括在对抗神经网络内训练的生成器。
在本发明的一个方面，所述第一数据集和所述第二数据集各自包括多个图像帧。
在本发明的一个方面，对应于所述第一数据集的所述多个图像帧包括由前视相机或后视相机中的至少一者捕获的图像帧。
在本发明的一个方面，对应于所述第二数据集的所述多个图像帧包括被表示为由所述前视相机或所述后视相机中的另一者捕获的生成的图像帧。
在本发明的一个方面，所述第一标签对应于前视相机视角，并且所述第二标签对应于后视相机视角。
在本发明的一个方面，所述第一情境对应于照明环境，并且所述第二情境对应于非照明环境。
在本发明的一个方面，所述第一情境包括车道存在或不存在中的至少一者。
1.一种包括计算机的系统，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：
在经训练的深度神经网络处接收具有第一标签和第一情境的第一数据集；以及
根据多个映射在所述经训练的深度神经网络处生成具有所述第一标签和第二情境的第二数据集，其中所述多个映射中的第一映射包括将具有所述第一标签和所述第一情境的数据映射到具有第二标签和所述第一情境的数据的所述经训练的深度神经网络的一个或多个权重，并且所述多个映射中的第二映射包括将具有第二标签和所述第一情境的数据映射到具有所述第二标签和所述第二情境的数据的所述经训练的深度神经网络的一个或多个权重，其中所述第二情境不同于所述第一情境并且所述第二标签不同于所述第一标签。
2.如权利要求1所述的系统，其中所述经训练的深度神经网络包括在对抗神经网络内训练的生成器。
3.如权利要求1所述的系统，其中所述第一数据集和所述第二数据集各自包括多个图像帧。
4.如权利要求3所述的系统，其中对应于所述第一数据集的所述多个图像帧包括由前视相机或后视相机中的至少一者捕获的图像帧。
5.如权利要求4所述的系统，其中对应于所述第二数据集的所述多个图像帧包括被表示为由所述前视相机或所述后视相机中的另一者捕获的生成的图像帧。
6.如权利要求5所述的系统，其中所述第一标签对应于前视相机视角，并且所述第二标签对应于后视相机视角。
7.如权利要求6所述的系统，其中所述第一情境对应于照明环境，并且所述第二情境对应于非照明环境。
8.一种包括计算机的系统，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：
在经训练的深度神经网络处接收第一图像，所述第一图像具有表示所述第一图像的视角的第一标签和表示所述第一图像的环境的第一情境；以及
经由所述经训练的深度神经网络的多个映射生成第二图像，所述第二图像具有所述第一标签和表示所述第二图像的环境的第二情境，其中所述多个映射中的第一映射包括将具有所述第一标签和所述第一情境的数据映射到具有第二标签和所述第一情境的数据的所述经训练的深度神经网络的一个或多个权重，并且所述多个映射中的第二映射包括将具有第二标签和所述第一情境的数据映射到具有所述第二标签和所述第二情境的数据的所述经训练的深度神经网络的一个或多个权重，其中所述第二情境不同于所述第一情境并且所述第二标签不同于所述第一标签。
9.如权利要求8所述的系统，其中所述经训练的深度神经网络包括在对抗神经网络内训练的生成器。
10.如权利要求8所述的系统，其中所述第二图像包括具有前视相机或后视相机视角中的至少一者的生成的图像。
11.如权利要求8所述的系统，其中所述第一情境对应于照明环境，并且所述第二情境对应于非照明环境。
12.如权利要求8所述的系统，其中所述第一情境包括车道存在或不存在中的至少一者。
技术总结