一种定位方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，具体而言，涉及一种定位方法、装置、电子设备及存储介质。


背景技术：

2.随着人工智能技术的迅速发展，传统工业与信息技术结合，为人们的生活带来便利，比如将汽车行业与信息技术结合，可以产生能够自动驾驶的智能汽车，智能汽车在自动驾驶过程中，视觉定位是非常重要的环节。在视觉定位中，单目视觉定位技术相对于多目视觉测距技术具有成本低廉、系统安装简单、稳定性好等特点，因而被广泛采用。
3.在单目视觉定位中，需要用到单应性矩阵(homography matrix)，基于拍摄的目标对象体在像素坐标系中的像素坐标，以及该单应性矩阵，可以得到目标对象体在世界坐标系中的世界坐标。因此，单应性矩阵的准确性直接影响定位结果的精确性。
4.单应性矩阵可以通过预先进行标定得到的，在标定时，通过人工放置参照物，再根据车载相机获取参照物图片，通过参照物图片中参照物对应的像素以及参照物在世界坐标系中的坐标，确定车载相机的单应性矩阵，该方式标定效率较低，且由于车辆在行驶过程中会带来机械振动，导致车载相机的位置发生改变，之前对车载相机标定得到的单应性矩阵在确定目标对象的位置时将不再准确。


技术实现要素：

5.本公开实施例至少提供一种定位方法、装置、电子设备及存储介质。
6.第一方面，本公开实施例提供了一种定位方法，包括：
7.获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图；
8.基于所述当前路面图像，确定所述当前路面图像中的路面元素的第一世界坐标；
9.基于所述预制地图，确定所述路面元素的第二世界坐标；
10.根据所述路面元素的第一世界坐标、第二世界坐标，确定所述目标车辆采集的目标图像中的目标对象的目标世界坐标。
11.本公开实施例中，随着目标车辆的行驶，因为机械振动或者行驶路面的不平整，会导致目标车辆中用于定位的历史定位参数不再准确，比如导致目标车辆的历史单应性矩阵不再准确，从而使得第一世界坐标和第二世界坐标会存在一定的差距，这样可以根据该差距对目标车辆的当前定位参数进行调整，从而提高定位参数的准确度，从而可以提高对目标对象定位结果的准确度。
12.在一种实施方式中，在获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图之前，所述定位方法还包括：
13.响应于针对目标车辆的标定按键的触发操作，或者，接收到针对目标车辆进行标定的标定指令。
14.本公开实施例中，可以在检测到存在针对目标车辆的标定按键的触发操作，或者
接收到针对目标车辆进行标定的标定指令后，首先对目标车辆进行标定，以提高目标车辆用于进行定位的当前定位参数，比如提高目标车辆的单应性矩阵。
15.在一种实施方式中，所述基于所述当前路面图像，确定所述当前路面图像中的路面元素的第一世界坐标，包括：
16.获取所述当前路面图像中的所述路面元素的像素坐标；
17.基于所述路面元素的像素坐标以及预先确定的所述采集设备的历史单应性矩阵，确定所述路面元素的第一世界坐标。
18.本公开实施例中，单应性矩阵可以反映路面图像对应的图像坐标系和目标车辆对应的世界坐标系之间的转换关系，因此基于路面元素在当前路面图像中的像素坐标，可以基于预先确定的历史单应性矩阵，快速确定路面元素在世界坐标系下的第一世界坐标。
19.在一种可能的实施方式中，所述获取所述当前路面图像中所述路面元素的像素坐标，包括：
20.对所述当前路面图像进行语义分割，得到所述当前路面图像包含的至少一个路面元素，以及每个路面元素的路面元素类别；
21.按照每个路面元素的路面元素类别，在所述当前路面图像中提取该路面元素包含的第一特征点集的像素坐标；
22.将所述第一特征点集的像素坐标作为所述第一特征点集对应的路面元素的像素坐标。
23.本公开实施例中，可有按照语义分割方式，快速提取出路面图像中包含的路面元素，并可以按照预先设定的路面元素类别，快速提取到路面图像中的路面元素包含的第一特征点集的像素坐标，得到路面元素的像素坐标。
24.在一种可能的实施方式中，所述按照每个路面元素的路面元素类别，在所述当前路面图像中提取该路面元素包含的第一特征点集的像素坐标，包括：
25.在该路面元素为第一类路面元素的情况下，在该路面元素的轮廓上提取多个第一特征点，得到该路面元素的第一特征点集；
26.在该路面元素为第二类路面元素的情况下，在该路面元素的中心线上按照设定距离间隔提取第一特征点，得到该路面元素的第一特征点集；
27.在所述当前路面图像对应的像素坐标系中，获取所述第一特征点集中的每个第一特征点的像素坐标。
28.本公开实施例中，在针对每个路面元素进行特征点提取时，可以按照该路面元素具体的路面元素类别进行特征点提取，从而快速得到每种路面元素包含的第一特征点集，以及第一特征点集中各第一特征点的像素坐标。
29.在一种可能的实施方式中，所述基于预制地图，确定所述路面元素的第二世界坐标，包括：
30.获取预先存储的所述路面元素的第二特征点集在所述预制地图中的地图位置信息；
31.基于所述路面元素的第二特征点集的地图位置信息和所述目标车辆在所述预制地图表征的道路场景中的位姿数据，确定所述路面元素的第二特征点集的世界坐标；
32.将所述第二特征点集的世界坐标作为所述第二特征点集对应的路面元素的第二
世界坐标。
33.本公开实施例中，通过预先存储的路面元素在预制地图中的地图位置信息以及目标车辆在预制地图表征的道路场景中的位姿数据，可以快速确定出路面元素包含的第二特征点集的世界坐标，从而得到路面元素的第二世界坐标。
34.在一种可能的实施方式中，所述根据所述路面元素的第一世界坐标、第二世界坐标，确定所述目标车辆采集的目标图像中的目标对象的目标世界坐标，包括：
35.基于所述路面元素的第一世界坐标和第二世界坐标，对所述历史单应性矩阵进行调整，得到所述目标车辆的当前单应性矩阵；
36.基于所述目标图像，确定所述目标对象在所述目标图像中的像素坐标；
37.基于所述目标对象的像素坐标和所述当前单应性矩阵，确定所述目标对象的目标世界坐标。
38.本公开实施例中，可以根据路面元素的第一世界坐标和第二世界坐标之间的差距，对目标车辆的历史单应性矩阵修正，得到准确度较高的当前单应性矩阵，进一步基于准确度较高的当前单应性矩阵以及目标对象的像素坐标，可以得到确定目标对象准确度较高的目标世界坐标。
39.在一种可能的实施方式中，在确定所述目标对象的目标世界坐标之后，所述定位方法还包括：
40.基于所述目标对象的目标世界坐标以及预设位置点的位置信息，确定所述目标对象与所述预设位置点之间的距离。
41.本公开实施例得到目标车辆的当前单应性矩阵后，能够利用该当前单应性矩阵准确地确定目标对象的目标世界坐标，进而可以得到预制位置点与目标对象之间准确度较高的距离。
42.在一种可能的实施方式中，所述基于所述路面元素的第一世界坐标和第二世界坐标，对所述历史单应性矩阵进行调整，得到所述目标车辆的当前单应性矩阵，包括：
43.基于所述路面元素的第一特征点集的世界坐标和所述路面元素的第二特征点集的世界坐标，确定同一路面元素的所述第一特征点集和所述第二特征点集之间的目标仿射矩阵；
44.基于所述目标仿射矩阵，对所述历史单应性矩阵进行修正，得到所述目标车辆的当前单应性矩阵。
45.本公开实施例中，提出通过确定同一路面元素的第一特征点集和第二特征点集，可以得到用于表示历史单应性矩阵和当前单应性矩阵之间的差距的目标仿射矩阵，因此可以基于该目标仿射矩阵来对历史单应性矩阵进行修正，从而得到准确度较高的当前单应性矩阵。
46.在一种可能的实施方式中，所述路面元素包含多个，所述基于所述路面元素的第一特征点集和所述路面元素的第二特征点集的世界坐标，确定同一路面元素的所述第一特征点集和所述第二特征点集之间的目标仿射矩阵，包括：
47.按照当前仿射矩阵，对多个路面元素中的每个路面元素的第二特征点集的世界坐标进行更新，确定该路面元素的第二特征点集的更新后的世界坐标；所述当前仿射矩阵为初始预设仿射矩阵或者为针对所述初始预设仿射矩阵调整过至少一次的仿射矩阵；
48.基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值；
49.基于所述多个路面元素的残差值，对所述当前仿射矩阵进行调整后，返回确定该路面元素的第二特征点集的更新后的世界坐标的步骤，直至满足预设截止条件后，得到所述目标仿射矩阵。
50.本公开实施例中，提出可以对仿射矩阵进行多次调整，直至得到准确度较高的目标仿射矩阵，以便后续可以基于准确度较高的目标仿射矩阵得到准确度较高的当前单应性矩阵。
51.在一种可能的实施方式中，所述路面元素包括第一类路面元素，在确定同一路面元素的所述第一特征点集和所述第二特征点集之间的目标仿射矩阵之前，所述定位方法还包括：
52.针对每个第一类路面元素，在该第一类路面元素的第一特征点集中提取与该第一类路面元素的第二特征点集中的每个第二特征点匹配的第一特征点；
53.所述基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值，包括：
54.针对每个第一类路面元素，基于该第一类路面元素的第二特征点集中的每个第二特征点更新后的世界坐标和与该第二特征点匹配的第一特征点的世界坐标，确定该第二特征点和匹配的第一特征点之间的距离；
55.对该第一类路面元素包含的每个第二特征点和匹配的第一特征点之间的距离进行求和，得到该第一类路面元素对应的残差值。
56.本公开实施例中，提出针对第一类路面元素，可以通过每个第一类路面元素包含的每个第二特征点和匹配的第一特征点在世界坐标系中的距离，来确定通过历史单应性矩阵确定的第一类路面元素的第一世界坐标和该第一类路面元素的第二世界坐标之间的残差值，以便后续通过对该残差值进行调整确定目标仿射矩阵。
57.在一种可能的实施方式中，所述路面元素还包括第二类路面元素，在确定同一路面元素的所述第一特征点集和所述第二特征点集之间的目标仿射矩阵之前，所述定位方法还包括：
58.针对每个第二类路面元素，按照该第二类路面元素的第一特征点集的世界坐标，确定该第二类路面元素的第一特征点集的拟合直线方程；
59.所述基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值，包括：
60.针对每个第二类路面元素，基于该第二类路面元素的第二特征点集中的每个第二特征点更新后的世界坐标和该第二类路面元素对应的拟合直线方程，确定该第二特征点和该第二类路面元素对应的拟合直线之间的距离；
61.基于该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，确定该第二类路面元素对应的残差值。
62.本公开实施例中，提出针对第二类路面元素，可以通过每个第二类路面元素包含的每个第二特征点到该第二类路面元素对应的拟合直线之间的距离，来确定通过历史单应性矩阵确定的第二类路面元素的第一世界坐标和该第二类路面元素的第二世界坐标之间的残差值，以便后续通过对该残差值进行调整确定目标仿射矩阵。
63.在一种可能的实施方式中，在确定该第二类路面元素对应的残差值之前，所述定位方法还包括：
64.基于该第二类路面元素包含的每个第二特征点的世界坐标，获取该第二类路面元素的每个第二特征点对应的距离权重；
65.所述基于该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，确定该第二类路面元素对应的残差值，包括：
66.基于该第二类路面元素包含的每个第二特征点对应的距离权重，对该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离进行加权求和，得到该第二类路面元素对应的残差值。
67.本公开实施例中，在路面元素同时包含第一类路面元素和第二类路面元素时，考虑到距离目标车辆较远的区域第一类路面元素包含的有效特征点的数量较少，因此可以调整第二类路面元素在距离采集设备不同位置的第二特征点对应的距离权重，来平衡距离目标车辆远近区域包含的有效特征点不均衡的问题，从而使得得到的当前单应矩阵在衡量与目标车辆距离不同区域的路面和对应的图像之间的转换关系时均具有较高的鲁棒性和精度。
68.第二方面，本公开实施例提供了一种定位装置，包括：
69.获取模块，用于获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图；
70.第一确定模块，用于基于所述当前路面图像，确定所述当前路面图像中的路面元素的第一世界坐标；
71.第二确定模块，用于基于所述预制地图，确定所述路面元素的第二世界坐标；
72.第三确定模块，用于根据所述路面元素的第一世界坐标、第二世界坐标，确定所述目标车辆采集的目标图像中目标对象的目标世界坐标。
73.第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的定位方法的步骤。
74.第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的定位方法的步骤。
75.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
76.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附
图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
77.图1示出了本公开实施例所提供的一种定位方法的流程图；
78.图2示出了本公开实施例所提供的一种确定路面元素的第一世界坐标的方法流程图；
79.图3示出了本公开实施例所提供的一种确定目标对象的目标世界坐标的方法流程图；
80.图4示出了本公开实施例所提供的一种确定目标车辆的当前单应性矩阵的方法流程图；
81.图5示出了本公开实施例所提供的同一路面元素通过不同方式得到的在世界坐标系下的投影位置示意图；
82.图6示出了本公开实施例提供的一种确定目标仿射矩阵的方法流程图
83.图7示出了本公开实施例所提供的一种定位装置的示意图；
84.图8示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
85.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
86.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
87.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
88.在自动驾驶领域、机器人领域，可以依靠采集设备采集的图像进行视觉定位，比如摄像机或者单目相机来进行视觉定位，依靠采集设备进行视觉定位的原理是确定采集设备拍摄的目标对象在像素坐标系中的像素坐标，然后基于采集设备的单应性矩阵，确定目标对象在世界坐标系下的世界坐标，因此，单应性矩阵的准确性直接影响定位结果的精确性。车辆上的采集设备的单应性矩阵可以通过采集设备与车辆的位置关系进行预先标定得到，在对车辆上的采集设备进行标定后，即可以按照该单应性矩阵来确定目标对象的位置，但是在车辆行驶过程中，由于长期行驶带来的机械振动或者车辆行驶在不平整的里面上时，可能会造成采集设备与车辆的相对位置发生改变，使得历史确定的单应性矩阵不再适用，
影响定位的准确度，针对此，本公开以下实施例提供了一种对在车辆行驶过程中对目标对象进行定位的方法。
89.基于上述研究，本公开提供了一种定位方法，随着目标车辆的行驶，因为机械振动或者行驶路面的不平整，会导致目标车辆中用于定位的历史定位参数不再准确，比如导致目标车辆的历史单应性矩阵不再准确，从而使得第一世界坐标和第二世界坐标会存在一定的差距，这样可以根据该差距对目标车辆的当前定位参数进行调整，从而提高定位参数的准确度，从而可以提高对目标对象定位结果的准确度。
90.为便于对本实施例进行理解，首先对本公开实施例所公开的一种定位方法进行详细介绍，本公开实施例所提供的定位方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、计算设备、车载设备等。在一些可能的实现方式中，该定位方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
91.参见图1所示，为本公开实施例提供的定位方法的流程图，该定位方法可以应用于车载设备中的处理器，该定位方法包括步骤s101～s104，其中：
92.s101，获取目标车辆采集的当前路面图像和目标车辆所处位置的预制地图。
93.示例性地，目标车辆上可以设置有用于采集路面图像的采集设备，采集设备可以包括单目摄像机，或者单目照相机，也可以包含用于采集彩色图像、灰度图像或者深度图像的摄像头，当目标车辆在路面中行驶时，采集设备可以按照预设的时间间隔拍摄路面的路面图像。
94.示例性地，预制地图可以是预先构建的与目标车辆行驶的道路场景匹配的场景地图，该预制地图中元素与目标车辆行驶的道路场景中的同一元素在相同坐标系下可以按照1:1呈现的，另外，在构建该预制地图时可以在该预制地图中存储各个路面元素包含的特征点在预制地图中的地图位置信息，为了节省存储空间，在存储各个路面元素的特征点在预制地图中的地图位置信息时，每个路面元素可以存储少量的能够表征几何形状特征的点的地图位置信息。
95.s102，基于当前路面图像，确定当前路面图像中的路面元素的第一世界坐标。
96.示例性地，路面元素包括用于对目标车辆进行指示的路面标志，具体可以包括指向标志、虚线段、斑马线、实线、停止线等，其中，指向标志比如可以包含左转指向标志、右转指向标志和直行标志等。
97.示例性地，路面元素的第一世界坐标可以通过路面元素包含的特征点在世界坐标系中的世界坐标来表示，其中，路面元素的特征点可以包括能够表征路面元素几何形状特征的点，比如针对可以提取到完整轮廓的路面元素，可以将构成路面元素的轮廓的多个点作为特征点，比如指向标志、虚线段中的每个线段、斑马线等；针对无法提取到完整轮廓的路面元素，比如实线的车道线、实线的停止线等，因为车道线、停止线一般为直线，因此可以提取表示该路面元素作为直线特征的多个点作为特征点。
98.s103，基于预制地图，确定路面元素的第二世界坐标。
99.示例性地，在获取到当前路面图像后，可以基于当前路面图像确定目标车辆在预制地图指示的道路场景中的位姿数据，从而确定目标车辆所在位置包含的路面元素在以目标车辆为原点构建的世界坐标系下的第二世界坐标，具体地，每个路面元素的第二世界坐
标具体指预先存储的该路面元素包含的特征点在世界坐标系下的世界坐标，可以根据该路面元素在预制地图中的地图位置信息以及目标车辆在预制地图指示的道路场景中的位姿数据进行确定，详见后文。
100.示例性地，在按照预设时间间隔获取路面图像时，针对当前路面图像，可以将基于当前路面图像提取的每个路面元素包含的多个特征点记为该路面元素的第一特征点集，将基于预制地图预先存储的该路面元素包含的多个特征点记为第二特征点集。
101.示例性地，上述提到的世界坐标系可以按照以下方式预先建立：
102.以车辆的前轴中心点或者车体中心在地面的映射点为原点，以车辆的前进方向为x轴，以垂直于车辆前进方向的方向为y轴，以指向天空的方向为z轴建立世界坐标系，在得到世界坐标系后，具体如何获取根据预制地图确定的在世界坐标系下路面元素的第二特征点集的世界坐标，将在后文进行详细介绍。
103.s104，基于路面元素的第一世界坐标、第二世界坐标，确定目标车辆采集的目标图像中的目标对象的目标世界坐标。
104.示例性地，在基于路面元素的第一世界坐标、第二世界坐标，确定目标车辆采集的目标图像中的目标对象的目标世界坐标之前，首先对单应性矩阵进行介绍，目标车辆的单应性矩阵是指目标车辆上的采集设备的单应性矩阵，单应性矩阵可以用来表示采集设备采集的路面图像对应的图像坐标系和目标车辆所在的世界坐标系之间的转换关系，在采集到当前路面图像后，基于当前路面图像中的路面元素包含的第一特征点集的像素坐标，以及历史单应性矩阵，可以确定第一特征点集在世界坐标系下的世界坐标。
105.示例性地，历史单应性矩阵可以是针对采集设备进行初始标定过程中确定的初始单应性矩阵，也可以是上一次调整后得到的历史单应性矩阵，其中，上一次调整后得到的历史单应性矩阵的确定方式与确定当前单应性矩阵的方式相似，具体过程详见后文。
106.示例性地，初始单应性矩阵可以是在目标车辆行驶之前进行标定的单应性矩阵，这里目标车辆行驶之前进行标定的单应性矩阵可以通过目前已知的标定方式进行标定，比如在静止的路面上摆放参照物，通过参照物在世界坐标系中的世界坐标，以及参照物在采集设备获取的图像中的像素坐标，确定该采集设备在静止的目标车辆上的单应性矩阵。
107.示例性地，在历史单应性矩阵不再准确的情况下，同一路面元素的第一世界坐标和第二世界坐标之间会存在差距，可以基于该差距对历史单应性矩阵进行修正，得到准确度较高的当前单应性矩阵。
108.进一步在得到采集设备的当前单应性矩阵后，可以在当前时间段内基于当前单应性矩阵来对采集到的目标图像中的目标对象进行定位，比如每隔5min对单应性矩阵进行一次校准，这样在当前校准后到下一个校准期之间可以通过当前单应性矩阵和目标图像中的目标对象的像素坐标，确定目标图像中的目标对象的目标世界坐标。
109.示例性地，这里的目标图像可以为当前路面图像，目标对象可以指预先设定好的需要进行定位的目标对象，比如目标图像中的车辆、行人、树木、栏杆等障碍物。
110.本公开实施例中，随着目标车辆的行驶，因为机械振动或者行驶路面的不平整，会导致目标车辆中用于定位的历史定位参数不再准确，比如导致目标车辆的历史单应性矩阵不再准确，从而使得第一世界坐标和第二世界坐标会存在一定的差距，这样可以根据该差距对目标车辆的当前定位参数进行调整，从而提高定位参数的准确度，从而可以提高对目
标对象定位结果的准确度。
111.下面将结合具体实施例对上述s101～s104进行具体介绍。
112.在一种实施方式中，在获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图之前，本公开实施例提供的定位方法还包括：
113.响应于针对目标车辆的标定按键的触发操作，或者，接收到针对目标车辆进行标定的标定指令。
114.示例性地，目标车辆可以为自动驾驶车辆，在行驶过程中，除了可以按照预先设定的时间间隔对单应性矩阵进行修正外，还可以在检测到存在针对目标车辆上的标定按键的触发操作后再开始对单应性矩阵进行修正，比如目标车辆上设置有触发目标车辆开始对单应性矩阵进行修正的软件按键或者物理按键，在需要对单应性矩阵进行修正的情况下，用户可以触发该标定按键。
115.或者，目标车辆上还可以设置有与云端或者服务器保持通信连接的通信系统，可以在通过该通信系统接收到云端或者服务器发送的对目标车辆进行标定，即对单应性矩阵进行修正的标定指令后，开始获取目标车辆采集的当前路面图像和预制地图完成对历史单应性矩阵的修正过程。
116.本公开实施例中，可以在检测到存在针对目标车辆的标定按键的触发操作，或者接收到针对目标车辆进行标定的标定指令后，首先对目标车辆进行标定，以提高目标车辆用于进行定位的当前定位参数，比如提高目标车辆的单应性矩阵。
117.针对上述s102，在基于当前路面图像，确定当前路面图像中的路面元素的第一世界坐标时，如图2所示，可以包括以下s201～s202：
118.s201，获取当前路面图像中的路面元素的像素坐标；
119.s202，基于路面元素的像素坐标以及预先确定的采集设备的历史单应性矩阵，确定路面元素的第一世界坐标。
120.示例性地，在获取到当前路面图像后，可以对当前路面图像进行目标检测，确定当前路面图像中包含的路面元素，进一步按照上述方式，提取每个路面元素包含的第一特征点集中每个特征点在当前路面图像对应的图像坐标系中的像素坐标。
121.示例性地，在提取到在路面图像中路面元素的第一特征点集中的第i个第一特征点的像素坐标(u
i
,v
i
)后，可以根据以下公式(1)确定该第i个第一特征点在世界坐标系下的世界坐标(x
i
,y
i
)：
[0122][0123]
其中，h表示历史单应性矩阵。
[0124]
本公开实施例中，单应性矩阵可以反映路面图像对应的图像坐标系和目标车辆对应的世界坐标系之间的转换关系，因此基于路面元素在当前路面图像中的像素坐标，可以基于预先确定的历史单应性矩阵，快速确定路面元素在世界坐标系下的第一世界坐标。
[0125]
具体地，针对上述s201，在获取当前路面图像中路面元素的像素坐标时，包括以下s2011～s2013：
[0126]
s2011，对路面图像进行语义分割，得到路面图像包含的至少一个路面元素，以及
每个路面元素的路面元素类别；
[0127]
s2012，按照每个路面元素的路面元素类别，在路面图像中提取该路面元素包含的第一特征点集的像素坐标；
[0128]
s2013，将第一特征点集的像素坐标作为第一特征点集对应的路面元素的像素坐标。
[0129]
示例性地，路面元素类别可以包含两种，一种是可以提取到轮廓的路面元素，比如上述提到的指向标志、虚线段和斑马线，另一种是无法提取到轮廓的路面元素，比如上述提到的实线、停止线，为了便于描述，这里可以将路面元素分为第一类路面元素和第二类路面元素，其中第一类路面元素指的是可以提取轮廓的路面元素，比如上述提到的指向标志、虚拟段和斑马线，第二类路面元素指无法提取到轮廓的线型路面元素，比如上述提到的实线和停止线。
[0130]
示例性地，可以通过预先训练的语义分割模型对采集设备采集的路面元素进行语义分割，得到路面图像中包含的至少一个路面元素，以及每个路面元素的路面元素类别。
[0131]
进一步地，在确定出每个路面元素的路面元素类别后，可以按照该路面元素的路面元素类别，在路面图像中提取该路面元素包含的第一特征点集的像素坐标。
[0132]
进一步地，将提取得到的每个路面元素包含的第一特征点集的像素坐标，作为该路面元素的像素坐标。
[0133]
本公开实施例中，可有按照语义分割方式，快速提取出路面图像中包含的路面元素，并可以按照预先设定的路面元素类别，快速提取到路面图像中的路面元素包含的第一特征点集的像素坐标，得到路面元素的像素坐标。
[0134]
具体地，针对上述2012，在按照每个路面元素的路面元素类别，在当前路面图像中提取该路面元素包含的第一特征点集的像素坐标时，包括以下s20121～s20123：
[0135]
s20121，在该路面元素为第一类路面元素的情况下，在该路面元素的轮廓上提取多个第一特征点，得到该路面元素的第一特征点集。
[0136]
示例性地，针对可以提取到完整轮廓的路面元素，比如指向标志、虚线段和斑马线，可以在这类路面元素的轮廓上提取第一特征点，这些第一特征点的连线能够构成该路面元素的轮廓，从而得到路面元素的第一特征点集。
[0137]
s20122，在该路面元素为第二类路面元素的情况下，在该路面元素的中心线上按照设定距离间隔提取第一特征点，得到该路面元素的第一特征点集。
[0138]
示例性地，针对无法提取到轮廓的路面元素，比如实现、停止线等，可以在这类路面元素的中心线上按照设定距离间隔提取第一特征点，比如每间隔n个像素点提取一个第一特征点，按照该方式可以提取到该路面元素的第一特征点集。
[0139]
s20123，在当前路面图像对应的像素坐标系中，获取第一特征点集中的每个第一特征点的像素坐标。
[0140]
示例性地，在提取到路面元素的第一特征点集后，可以在路面图像元素对应的像素坐标系中，提取第一特征点集中的每个第一特征点的像素坐标。
[0141]
本公开实施例中，在针对每个路面元素进行特征点提取时，可以按照该路面元素具体的路面元素类别进行特征点提取，从而快速得到每种路面元素包含的第一特征点集，以及第一特征点集中各第一特征点的像素坐标。
[0142]
在一种可能的实施方式中，针对上述s103，在基于预制地图，确定路面元素的第二世界坐标时，可以包括以下s1031～s1033：
[0143]
s1031，获取预先存储的路面元素的第二特征点集在预制地图中的地图位置信息；
[0144]
s1032，基于路面元素的第二特征点集的地图位置信息和目标车辆在预制地图表征的道路场景中的位姿数据，确定路面元素的第二特征点集的世界坐标；
[0145]
s1033，将第二特征点集的世界坐标作为第二特征点集对应的路面元素的第二世界坐标。
[0146]
示例性地，预制地图可以是根据预先采集的目标车辆行驶的道路场景包含的道路场景图像构建的，比如可以预先构建道路场景对应的三维场景地图，在道路场景对应的三维场景地图中可以预先存储道路中的路面元素的第二特征点集在预制地图中的地图位置信息。
[0147]
考虑到预制地图和道路场景中的同一路面元素在相同的坐标系中可以按照1：1进行呈现，这里可以在将预制地图和道路场景对齐后，确定出目标车辆在预制地图中的位姿数据，进而可以基于路面元素的第二特征点集在预制地图中的地图位置信息以及目标车辆在预制地图中的位姿数据，确定在根据目标车辆建立的世界坐标系中路面元素的第二特征点集的世界坐标。
[0148]
示例性地，目标车辆在道路场景中的位姿数据可以包括目标车辆在道路场景中的位置坐标和朝向，该位姿数据可以基于采集设备采集的路面图像以及即时定位与地图构建(simultaneous localization and mapping，slam)的方式确定，也可以基于采集设备上安装的组合导航设备来确定，在此不做具体限定。
[0149]
本公开实施例中，通过预先存储的路面元素在预制地图中的地图位置信息以及目标车辆在预制地图表征的道路场景中的位姿数据，可以快速确定出路面元素包含的第二特征点集的世界坐标，从而得到路面元素的第二世界坐标。
[0150]
在一种可能的实施方式中，针对上述s104，在根据路面元素的第一世界坐标、第二世界坐标，确定目标车辆采集的目标图像中的目标对象的目标世界坐标时，如图3所示，包括以下s301～s303：
[0151]
s301，基于路面元素的第一世界坐标和第二世界坐标，对历史单应性矩阵进行调整，得到目标车辆的当前单应性矩阵。
[0152]
示例性地，如果历史单应性矩阵是准确的，基于采集设备的历史单应性矩阵得到同一路面元素的第一特征点集和第二特征点集中匹配的特征点在世界坐标系下的世界坐标应该相同，在同一路面元素的第一特征点集和第二特征点集中匹配的特征点在世界坐标系下的世界坐标不相同的情况下，可以确定历史单应性矩阵不再准确，此时可以基于同一路面元素的第一特征点集和第二特征点集在世界坐标系下的世界坐标，对历史单应性矩阵进行调整，得到目标车辆的当前单应性矩阵。
[0153]
s302，基于目标图像，确定目标对象在目标图像中的像素坐标。
[0154]
示例性地，得到目标图像后，可以基于图像识别技术，得到目标对象对应的检测框，将检测框与地面的切线的中心位置点作为可以表征目标对象在目标图像中的位置点，然后提取该位置点的像素坐标作为目标对象在图像坐标系下的像素坐标。
[0155]
s303，基于目标对象的像素坐标和当前单应性矩阵，确定目标对象的目标世界坐
标。
[0156]
在得到目标对象在图像坐标系下的像素坐标后，将该目标对象在图像坐标系下的像素坐标和当前单应性矩阵输入像素坐标和世界坐标的转换方程中，即可以得到目标对象在世界坐标系下的世界坐标。
[0157]
本公开实施例中，可以根据路面元素的第一世界坐标和第二世界坐标之间的差距，对目标车辆的历史单应性矩阵修正，得到准确度较高的当前单应性矩阵，进一步基于准确度较高的当前单应性矩阵以及目标对象的像素坐标，可以得到确定目标对象准确度较高的目标世界坐标。
[0158]
在一种可能的实施方式中，在确定目标对象的目标世界坐标之后，定位方法还包括：
[0159]
基于目标对象的目标世界坐标以及预设位置点的位置信息，确定目标对象与预设位置点之间的距离。
[0160]
示例性地，以目标车辆为例，这里的预设位置点可以是目标车辆的车前轴中心点在地面的投影，也可以是目标车辆的车体中心在地面的投影，其作为世界坐标系的原点时，该原点的在世界坐标系中的坐标为已知的，可以将该预设位置点作为在测量目标对象与目标车辆的距离时对应的车辆测距点。
[0161]
具体地，可以根据上述确定的目标对象在世界坐标系下的世界坐标以及预设位置点的世界坐标，计算两者的欧式距离，即可以确定目标对象与目标车辆之间的距离。
[0162]
本公开实施例得到目标车辆的当前单应性矩阵后，能够利用该当前单应性矩阵准确地确定目标对象的目标世界坐标，进而可以得到预制位置点与目标对象之间准确度较高的距离。
[0163]
在一种实施方式中，针对上述s301，在基于路面元素的第一世界坐标和第二世界坐标，对历史单应性矩阵进行调整，得到目标车辆的当前单应性矩阵时，如图4所示，包括以下s401～s402：
[0164]
s401，基于路面元素的第一特征点集的世界坐标和路面元素的第二特征点集的世界坐标，确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵；
[0165]
s402，基于目标仿射矩阵，对历史单应性矩阵进行修正，得到目标车辆的当前单应性矩阵。
[0166]
示例性地，在历史单应性矩阵的不再准确的情况下，同一路面元素投影至世界坐标系下的位置相比基于预制地图确定的在世界坐标系下的位置会出现偏差，如图5所示，虚线表示的是基于历史单应性矩阵确定的路面元素在世界坐标系下的第一世界坐标表示的位置，实线表示的是基于预制地图确定的路面元素在世界坐标系下的第二世界坐标表示的位置，可见在历史单应性矩阵不再准确时，两者之间存在一定的偏差。
[0167]
示例性地，本公开实施例提出通过路面元素的特征点来表示路面元素的几何形状，因此，可以通过路面元素包含的特征点集在世界坐标系下的世界坐标来表示路面元素在世界坐标系下的位置。
[0168]
示例性地，由图5可见，同一路面元素在世界坐标系下的两种投影结果(通过历史单应性矩阵进行投影得到以及通过目标车辆在预制地图中的位姿投影得到)可以通过仿射变换进行转换，比如l1和l2、m1和m2，h1和h2、w1和w2、以及s1和s2分别表示同一路面元素在
世界坐标系下的两种投影结果，目标仿射矩阵能够表示出同一路面元素的两种投影结果之间的转换关系，比如可以表示路面元素l1在世界坐标系中的位置经过怎样的变化，能够与路面元素l2在世界坐标系中的位置重合，考虑到通过路面元素的特征点在世界坐标系中的位置表示该路面元素在世界坐标系中的位置，因此这里提出可以基于第一特征点集和第二特征点集在世界坐标系下的世界坐标，确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵。
[0169]
示例性地，通过路面图像提取得到的路面元素可以包括多个，根据预制地图确定的在世界坐标系下路面元素的第二特征点集的世界坐标同样包括多个路面元素的第二特征点集的世界坐标，因此在确定目标仿射矩阵之前，需要先基于各路面元素的第一特征点集和各路面元素的第二特征点集在世界坐标系下的世界坐标，确定同一路面元素的第一特征点集和第二特征点集。
[0170]
示例性地，可以采用最近邻法来确定同一路面元素的第一特征点集和第二特征点集，针对第一类路面元素，比如指向标志，可以根据每个路面元素的重心的世界坐标确定与该路面元素距离最近的路面元素作为同一路面元素，比如上述图5中指向标志m1和m2为同一第一类路面元素；针对第二类路面元素，比如直线型路面元素，可以将直线间距离将最近的两条直线作为同一路面元素，比如上述图5中，直线l1和直线l2为同一第二类路面元素。
[0171]
进一步地，在得到目标仿射矩阵后，可以基于该目标仿射矩阵对历史单应性矩阵进行修正，具体可以使用以下公式(2)来确定当前单应性矩阵：
[0172]
h
new
＝ah
old
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)；
[0173]
其中，h
new
表示采集设备的当前单应性矩阵；a表示目标仿射矩阵；h
old
表示历史单应性矩阵。
[0174]
本公开实施例中，提出通过确定同一路面元素的第一特征点集和第二特征点集，可以得到用于表示历史单应性矩阵和当前单应性矩阵之间的差距的目标仿射矩阵，因此可以基于该目标仿射矩阵来对历史单应性矩阵进行修正，从而得到准确度较高的当前单应性矩阵。
[0175]
此外，使用基于世界坐标系下的仿射变换更新来间接更新单应矩阵的方法，能便捷稳定地基于上一次调整后的历史单应矩阵对其进行迭代更新，从而得到准确度较高的目标单应性矩阵。
[0176]
具体地，路面元素包含多个，针对上述s401，在基于路面元素的第一特征点集和路面元素的第二特征点集的世界坐标，确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵时，如图6所示，包括以下s501～s503：
[0177]
s501，按照当前仿射矩阵，对多个路面元素中的每个路面元素的第二特征点集的世界坐标进行更新，确定该路面元素的第二特征点集的更新后的世界坐标；当前仿射矩阵为初始预设仿射矩阵或者为针对初始预设仿射矩阵调整过至少一次的仿射矩阵。
[0178]
示例性地，初始预设仿射矩阵可以根据经验设定，进一步可以按照s501～s503的方式对该初始预设仿射矩阵进行调整，直至得到目标仿射矩阵。
[0179]
示例性地，在对每个路面元素的第二特征点集的世界坐标进行更新时，可以按照当前仿射矩阵对每个路面元素的第二特征点集中的每个第二特征点的世界坐标进行更新，然后得到该第二特征点更新后的世界坐标。
[0180]
s502，基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值。
[0181]
示例性地，针对不同类型的路面元素，确定残差值的方式不同，针对提取轮廓上的点作为特征点的第一类路面元素，可以按照两个匹配的点之间的距离来确定该第一类路面元素的残差值，针对提取中心线上的点作为特征点的第二类路面元素，可以按照点到线的距离来确定该第二类路面元素的残差值，具体过程详见下文描述。
[0182]
s503，基于多个路面元素的残差值，对当前仿射矩阵进行调整后，返回确定该路面元素的第二特征点集的更新后的世界坐标信息的步骤，直至满足预设截止条件后，得到目标仿射矩阵。
[0183]
示例性地，在基于当前仿射矩阵得到多个路面元素中每个路面元素对应的残差值后，可以确定多个路面元素对应的残差值总和，然后根据该残差值总和对当前仿射矩阵进行调整，将调整后的仿射矩阵作为当前仿射矩阵，返回s501重新开始对多个路面元素中的每个路面元素的第二特征点集的世界坐标进行更新，直至满足预设截止条件后，得到目标仿射矩阵。
[0184]
示例性地，预设截止条件可以包括以下一种或多种：
[0185]
(1)调整次数达到预设调整次数；
[0186]
(2)多个路面元素的残差值总和小于预设残差值阈值；
[0187]
(3)多个路面元素的当前残差值总和相比上一次调整后得到的残差值总和的变化量小于预设变化量。
[0188]
本公开实施例中，提出可以对仿射矩阵进行多次调整，直至得到准确度较高的目标仿射矩阵，以便后续可以基于准确度较高的目标仿射矩阵得到准确度较高的当前单应性矩阵。
[0189]
在一种实施方式中，路面元素包括第一类路面元素，比如上述提到的可以提取到轮廓点的指向标志、虚线段和斑马线，在确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵之前，本公开实施例提供的定位方法还包括：
[0190]
针对每个第一类路面元素，在该第一类路面元素的第一特征点集中提取与该第一类路面元素的第二特征点集中的每个第二特征点匹配的第一特征点。
[0191]
示例性地，在第二特征点集中包含的第二特征点的个数较少时，还可以在得到在世界坐标系下第一类路面元素包含的第二特征点集的世界坐标后，再根据上采样的方式增加第二特征点的数量，然后在第一特征点集中确定与每个第二特征点匹配的第一特征点，示例性地，可以根据icp算法(iterative closest point迭代最近点)确定出在第一特征点集中确定与每个第二特征点匹配的第一特征点。
[0192]
具体地，针对上述s502，在基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值时，包括以下s5021～s5022：
[0193]
s5021，针对每个第一类路面元素，基于该第一类路面元素的第二特征点集中的每个第二特征点更新后的世界坐标和与该第二特征点匹配的第一特征点的世界坐标，确定该第二特征点和匹配的第一特征点之间的距离。
[0194]
示例性地，这里确定该第二特征点和匹配的第一特征点之间的距离可以通过欧式距离计算公式确定。
[0195]
s5022，对该第一类路面元素包含的每个第二特征点和匹配的第一特征点之间的距离进行求和，得到该第一类路面元素对应的残差值。
[0196]
进一步地，在得到每个第一类路面元素包含的每个第二特征点和匹配的第一特征点之间的距离后，可以对这些距离进行求和，得到该第一类路面元素对应的残差值。
[0197]
本公开实施例中，提出针对第一类路面元素，可以通过每个第一类路面元素包含的每个第二特征点和匹配的第一特征点在世界坐标系中的距离，来确定通过历史单应性矩阵确定的第一类路面元素的第一世界坐标和该第一类路面元素的第二世界坐标之间的残差值，以便后续通过对该残差值进行调整确定目标仿射矩阵。
[0198]
在一种可能的实施方式中，路面元素还包括第二类路面元素，比如除了包含第一类路面元素外，还包括上述提到无法在路面图像中提取到轮廓点的实线和停止线，在确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵之前，本公开实施例提供的定位方法还包括：
[0199]
针对每个第二类路面元素，按照该第二类路面元素的第一特征点集的世界坐标，确定该第二类路面元素的第一特征点集的拟合直线方程。
[0200]
示例性地，以第二类路面元素为针对中心线进行特征点提取的路面元素为例，比如图5中l和s类型的路面元素，这类路面元素无法获取到路面元素完整的轮廓，可以在该路面元素的中心线上按照设定间隔提取第一特征点，得到第一特征点集，在基于历史单应性矩阵，得到该第二类路面元素的第一特征点集的世界坐标后，可以根据该第二类路面元素的第一特征点集的世界坐标，对该第二类路面元素的第一特征点集中的多个第一特征点进行线性拟合，得到该第二类路面元素的第一特征点集的拟合直线以及该拟合直线的拟合直线方程。
[0201]
特别地，针对第二类路面元素为曲线的情况下，在对第二类路面元素的第一特征点集中的多个第一特征点进行线性拟合时，可以按照相邻设定个数的第一特征点进行直线拟合，得到多个曲率不同的拟合直线，以及每段拟合直线对应的拟合直线方程。
[0202]
具体地，针对上述s502，在基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值时，包括以下s5023～s5024：
[0203]
s5023，针对每个第二类路面元素，基于该第二类路面元素的第二特征点集中的每个第二特征点更新后的世界坐标和该第二类路面元素对应的拟合直线方程，确定该第二特征点和该第二类路面元素对应的拟合直线之间的距离；
[0204]
s5024，基于该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，确定该第二类路面元素对应的残差值。
[0205]
示例性地，针对每个第一路面元素，可以基于点到直线的距离公式，确定出该第二类路面元素的第二特征点集中的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，比如路面图像中包括n个第二类路面元素，每个第二类路面元素的第二特征点集中包含m个第二特征点，这样针对每个第二类路面元素，可以确定出m个距离。
[0206]
进一步地，在得到每个第二类路面元素包含的各第二特征点和该第二类路面元素
对应的拟合直线之间的距离后，可以对这些距离进行求和，得到该第二类路面元素对应的残差值。
[0207]
本公开实施例中，提出针对第二类路面元素，可以通过每个第二类路面元素包含的每个第二特征点到该第二类路面元素对应的拟合直线之间的距离，来确定通过历史单应性矩阵确定的第二类路面元素的第一世界坐标和该第二类路面元素的第二世界坐标之间的残差值，以便后续通过对该残差值进行调整确定目标仿射矩阵。
[0208]
示例性地，在路面图像中同时包含第一类路面元素和第二类路面元素的情况下，考虑到距离采集设备较远的区域中的第一类路面元素在路面图像中包含的第一特征点的数量较少，或者无法提取第一类特征点，即距离采集设备较远的区域包含的有效特征点的数量较少，因此，在基于第一类路面元素和第二类路面元素对历史单应性矩阵进行调整时，为了得到准确度更高的当前单应性矩阵，在确定路面元素对应的残差值总和(第一类路面元素和第二类路面元素的残差值之和)时，可以提高与采集设备距离较远的第二类路面元素的第二特征点的权重，因此在确定该第二类路面元素对应的残差值之前，本公开实施例提供的定位方法还包括：
[0209]
基于该第二类路面元素包含的每个第二特征点的世界坐标，获取该第二类路面元素的每个第二特征点对应的距离权重。
[0210]
示例性地，可以通过以下公式(3)确定每个第二特征点对应的距离权重：
[0211][0212]
其中，λ
k
表示第k个第二特征点对应的距离权重；d(p
k
)为世界坐标系第k个第二特征点p
k
离世界坐标系原点的欧式距离；δ表示预设距离。
[0213]
具体地，在基于该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，确定该第二类路面元素对应的残差值时，包括：
[0214]
基于该第二类路面元素包含的每个第二特征点对应的距离权重，对该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离进行加权求和，得到该第二类路面元素对应的残差值。
[0215]
示例性地，可以按照上述公式(3)确定出每个第二特征点对应的距离权重，这样在确定该第二类路面元素对应的残差值时，可以通过该第一路面元素包含的每个第二特征点对应的距离权重，对该第二特征点和该第二类路面元素对应的拟合直线之间的距离进行加权求和，从而使得残差值更加准确。
[0216]
本公开实施例中，在路面元素同时包含第一类路面元素和第二类路面元素时，考虑到距离目标车辆较远的区域第一类路面元素包含的有效特征点的数量较少，因此可以调整第二类路面元素在距离采集设备不同位置的第二特征点对应的距离权重，来平衡距离目标车辆远近区域包含的有效特征点不均衡的问题，从而使得得到的当前单应矩阵在衡量与目标车辆距离不同区域的路面和对应的图像之间的转换关系时均具有较高的鲁棒性和精度。
[0217]
综上，在路面图像中同时包含多个第一类路面元素和多个第二类路面元素时，可以通过以下公式(4)来确定目标仿射矩阵：
[0218]
[0219]
其中，e表示多个路面元素的残差值总和；q表示路面图像中包含的第二类路面元素的总数；i表示第i个第二类路面元素；k表示第i个第二类路面元素中的第k个第二特征点；p
k
表示第i个第二类路面元素的第k个第二特征点在世界坐标系下的世界坐标；a表示当前仿射矩阵；l
i
表示第i个第二类路面元素对应的拟合直线；h(p
k
,a)表示基于当前仿射矩阵对第i个第二类路面元素的第k个第二特征点的世界坐标进行更新后得到的更新后的世界坐标；d
l
(h(p
k
,a),l
i
)表示基于第i个第二类路面元素的第k个第二特征点更新后的世界坐标和该第i个第二类路面元素对应的拟合直线方程，确定的第i个第二类路面元素的第k个第二特征点和第i个第二类路面元素对应的拟合直线之间的距离。
[0220]
其中，p表示路面图像中包含的第一类路面元素的总数；j表示第j个第一类路面元素；p
j
表示第j个第一类路面元素上的第j个第二特征点在世界坐标系下的世界坐标；p
j
表示与第j个第一类路面元素的第j个第二特征点匹配的第一特征点在世界坐标系下的世界坐标；h(p
j
,a)表示基于当前当前仿射矩阵对第j个第一类路面元素的第k个第二特征点的世界坐标进行更新后得到得更新后的世界坐标；d
p
(h(p
j
,a),p
j
)表示基于第j个第一类路面元素的第k个第二特征点更新后的世界坐标和匹配的第一特征点的世界坐标，确定第j个第一类路面元素的第k个第二特征点和匹配的第一特征点之间的距离。
[0221]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0222]
基于同一技术构思，本公开实施例中还提供了与定位方法对应的定位装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述定位方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0223]
参照图7所示，为本公开实施例提供的一种定位装置600的示意图，该定位装置600包括：
[0224]
获取模块601，用于获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图；
[0225]
第一确定模块602，用于基于当前路面图像，确定当前路面图像中的路面元素的第一世界坐标；
[0226]
第二确定模块603，用于基于预制地图，确定路面元素的第二世界坐标；
[0227]
第三确定模块604，用于根据路面元素的第一世界坐标、第二世界坐标，确定目标车辆采集的目标图像中目标对象的目标世界坐标。
[0228]
在一种可能的实施方式中，在获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图之前，获取模块601还用于：
[0229]
响应于针对目标车辆的标定按键的触发操作，或者，接收到针对目标车辆进行标定的标定指令。
[0230]
在一种可能的实施方式中，第一确定模块602在用于基于当前路面图像，确定当前路面图像中的路面元素的第一世界坐标时，包括：
[0231]
获取当前路面图像中的路面元素的像素坐标；
[0232]
基于路面元素的像素坐标以及预先确定的采集设备的历史单应性矩阵，确定路面元素的第一世界坐标。
[0233]
在一种可能的实施方式中，第一确定模块602在用于获取当前路面图像中的路面元素的像素坐标时，包括：
[0234]
对当前路面图像进行语义分割，得到当前路面图像包含的至少一个路面元素，以及每个路面元素的路面元素类别；
[0235]
按照每个路面元素的路面元素类别，在当前路面图像中提取该路面元素包含的第一特征点集的像素坐标；
[0236]
将第一特征点集的像素坐标作为第一特征点集对应的路面元素的像素坐标。
[0237]
在一种可能的实施方式中，第一确定模块602在用于按照每个路面元素的路面元素类别，在当前路面图像中提取该路面元素包含的第一特征点集的像素坐标时，包括：
[0238]
在该路面元素为第一类路面元素的情况下，在该路面元素的轮廓上提取多个第一特征点，得到该路面元素的第一特征点集；
[0239]
在该路面元素为第二类路面元素的情况下，在该路面元素的中心线上按照设定距离间隔提取第一特征点，得到该路面元素的第一特征点集；
[0240]
在当前路面图像对应的像素坐标系中，获取第一特征点集中的每个第一特征点的像素坐标。
[0241]
在一种可能的实施方式中，第二确定模块602在用于基于预制地图，确定路面元素的第二世界坐标时，包括：
[0242]
获取预先存储的路面元素的第二特征点集在预制地图中的地图位置信息；
[0243]
基于路面元素的第二特征点集的地图位置信息和目标车辆在预制地图表征的道路场景中的位姿数据，确定路面元素的第二特征点集的世界坐标；
[0244]
将第二特征点集的世界坐标作为第二特征点集对应的路面元素的第二世界坐标。
[0245]
在一种可能的实施方式中，第三确定模块604在用于根据路面元素的第一世界坐标、第二世界坐标，确定目标车辆采集的目标图像中的目标对象的目标世界坐标时，包括：
[0246]
基于路面元素的第一世界坐标和第二世界坐标，对历史单应性矩阵进行调整，得到目标车辆的当前单应性矩阵；
[0247]
基于目标图像，确定目标对象在目标图像中的像素坐标；
[0248]
基于目标对象的像素坐标和当前单应性矩阵，确定目标对象的目标世界坐标。
[0249]
在一种可能的实施方式中，在确定目标对象的目标世界坐标之后，第三确定模块604还用于：
[0250]
基于目标对象的目标世界坐标以及预设位置点的位置信息，确定目标对象与预设位置点之间的距离。
[0251]
在一种可能的实施方式中国，第三确定模块604在用于基于路面元素的第一世界坐标和第二世界坐标，对历史单应性矩阵进行调整，得到目标车辆的当前单应性矩阵时，包括：
[0252]
基于路面元素的第一特征点集的世界坐标和路面元素的第二特征点集的世界坐标，确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵；
[0253]
基于目标仿射矩阵，对历史单应性矩阵进行修正，得到目标车辆的当前单应性矩阵。
[0254]
在一种可能的实施方式中，路面元素包含多个，第三确定模块604在用于基于路面
元素的第一特征点集的世界坐标和路面元素的第二特征点集的世界坐标，确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵时，包括：
[0255]
按照当前仿射矩阵，对多个路面元素中的每个路面元素的第二特征点集的世界坐标进行更新，确定该路面元素的第二特征点集的更新后的世界坐标；当前仿射矩阵为初始预设仿射矩阵或者为针对初始预设仿射矩阵调整过至少一次的仿射矩阵；
[0256]
基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值；
[0257]
基于多个路面元素的残差值，对当前仿射矩阵进行调整后，返回确定该路面元素的第二特征点集的更新后的世界坐标的步骤，直至满足预设截止条件后，得到目标仿射矩阵。
[0258]
在一种可能的实施方式中，路面元素包括第一类路面元素，在确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵之前，第三确定模块604还用于：
[0259]
针对每个第一类路面元素，在该第一类路面元素的第一特征点集中提取与该第一类路面元素的第二特征点集中的每个第二特征点匹配的第一特征点；
[0260]
第三确定模块604在用于基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值时，包括：
[0261]
针对每个第一类路面元素，基于该第一类路面元素的第二特征点集中的每个第二特征点更新后的世界坐标和与该第二特征点匹配的第一特征点的世界坐标，确定该第二特征点和匹配的第一特征点之间的距离；
[0262]
对该第一类路面元素包含的每个第二特征点和匹配的第一特征点之间的距离进行求和，得到该第一类路面元素对应的残差值。
[0263]
在一种可能的实施方式中，路面元素还包括第二类路面元素，在确定同一路面元素的第一特征点集和第二特征点集之间的目标仿射矩阵之前，第三确定模块604还用于：
[0264]
针对每个第二类路面元素，按照该第二类路面元素的第一特征点集的世界坐标，确定该第二类路面元素的第一特征点集的拟合直线方程；
[0265]
第三确定模块604在用于基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值时，包括：
[0266]
针对每个第二类路面元素，基于该第二类路面元素的第二特征点集中的每个第二特征点更新后的世界坐标和该第二类路面元素对应的拟合直线方程，确定该第二特征点和该第二类路面元素对应的拟合直线之间的距离；
[0267]
基于该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，确定该第二类路面元素对应的残差值。
[0268]
在一种可能的实施方式中，在确定该第二类路面元素对应的残差值之前，第三确定模块604还用于：
[0269]
基于该第二类路面元素包含的每个第二特征点的世界坐标，获取该第二类路面元素的每个第二特征点对应的距离权重；
[0270]
第三确定模块604在用于基于该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，确定该第二类路面元素对应的残差值时，包括：
[0271]
基于该第二类路面元素包含的每个第二特征点对应的距离权重，对该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离进行加权求和，得到该第二类路面元素对应的残差值。
[0272]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0273]
对应于图1中的定位方法，本公开实施例还提供了一种电子设备700，如图8所示，为本公开实施例提供的电子设备700结构示意图，包括：
[0274]
处理器71、存储器72、和总线73；存储器72用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当电子设备700运行时，处理器71与存储器72之间通过总线73通信，使得处理器71执行以下指令：获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图；基于当前路面图像，确定当前路面图像中的路面元素的第一世界坐标；基于预制地图，确定路面元素的第二世界坐标；根据路面元素的第一世界坐标、第二世界坐标，确定目标车辆采集的目标图像中的目标对象的目标世界坐标。
[0275]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的定位方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0276]
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的定位方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0277]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0278]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0279]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0280]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0281]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0282]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种定位方法，其特征在于，包括：获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图；基于所述当前路面图像，确定所述当前路面图像中的路面元素的第一世界坐标；基于所述预制地图，确定所述路面元素的第二世界坐标；根据所述路面元素的第一世界坐标、第二世界坐标，确定所述目标车辆采集的目标图像中的目标对象的目标世界坐标。2.根据权利要求1所述的定位方法，其特征在于，在获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图之前，所述定位方法还包括：响应于针对目标车辆的标定按键的触发操作，或者，接收到针对目标车辆进行标定的标定指令。3.根据权利要求1或2所述的定位方法，其特征在于，所述基于所述当前路面图像，确定所述当前路面图像中的路面元素的第一世界坐标，包括：获取所述当前路面图像中的所述路面元素的像素坐标；基于所述路面元素的像素坐标以及预先确定的所述采集设备的历史单应性矩阵，确定所述路面元素的第一世界坐标。4.根据权利要求3所述的定位方法，其特征在于，所述获取所述当前路面图像中的所述路面元素的像素坐标，包括：对所述当前路面图像进行语义分割，得到所述当前路面图像包含的至少一个路面元素，以及每个路面元素的路面元素类别；按照每个路面元素的路面元素类别，在所述当前路面图像中提取该路面元素包含的第一特征点集的像素坐标；将所述第一特征点集的像素坐标作为所述第一特征点集对应的路面元素的像素坐标。5.根据权利要求4所述的定位方法，其特征在于，所述按照每个路面元素的路面元素类别，在所述当前路面图像中提取该路面元素包含的第一特征点集的像素坐标，包括：在该路面元素为第一类路面元素的情况下，在该路面元素的轮廓上提取多个第一特征点，得到该路面元素的第一特征点集；在该路面元素为第二类路面元素的情况下，在该路面元素的中心线上按照设定距离间隔提取第一特征点，得到该路面元素的第一特征点集；在所述当前路面图像对应的像素坐标系中，获取所述第一特征点集中的每个第一特征点的像素坐标。6.根据权利要求1所述的定位方法，其特征在于，所述基于所述预制地图，确定所述路面元素的第二世界坐标，包括：获取预先存储的所述路面元素的第二特征点集在所述预制地图中的地图位置信息；基于所述路面元素的第二特征点集的地图位置信息和所述目标车辆在所述预制地图表征的道路场景中的位姿数据，确定所述路面元素的第二特征点集的世界坐标；将所述第二特征点集的世界坐标作为所述第二特征点集对应的路面元素的第二世界坐标。7.根据权利要求3所述的定位方法，其特征在于，所述根据所述路面元素的第一世界坐标、第二世界坐标，确定所述目标车辆采集的目标图像中的目标对象的目标世界坐标，包
括：基于所述路面元素的第一世界坐标和第二世界坐标，对所述历史单应性矩阵进行调整，得到所述目标车辆的当前单应性矩阵；基于所述目标图像，确定所述目标对象在所述目标图像中的像素坐标；基于所述目标对象的像素坐标和所述当前单应性矩阵，确定所述目标对象的目标世界坐标。8.根据权利要求1所述的定位方法，其特征在于，在确定所述目标对象的目标世界坐标之后，所述定位方法还包括：基于所述目标对象的目标世界坐标以及预设位置点的位置信息，确定所述目标对象与所述预设位置点之间的距离。9.根据权利要求7所述的定位方法，其特征在于，所述基于所述路面元素的第一世界坐标和第二世界坐标，对所述历史单应性矩阵进行调整，得到所述目标车辆的当前单应性矩阵，包括：基于所述路面元素的第一特征点集的世界坐标和所述路面元素的第二特征点集的世界坐标，确定同一路面元素的所述第一特征点集和所述第二特征点集之间的目标仿射矩阵；基于所述目标仿射矩阵，对所述历史单应性矩阵进行修正，得到所述目标车辆的当前单应性矩阵。10.根据权利要求9所述的定位方法，其特征在于，所述路面元素包含多个，所述基于所述路面元素的第一特征点集的世界坐标和所述路面元素的第二特征点集的世界坐标，确定同一路面元素的所述第一特征点集和所述第二特征点集之间的目标仿射矩阵，包括：按照当前仿射矩阵，对多个路面元素中的每个路面元素的第二特征点集的世界坐标进行更新，确定该路面元素的第二特征点集的更新后的世界坐标；所述当前仿射矩阵为初始预设仿射矩阵或者为针对所述初始预设仿射矩阵调整过至少一次的仿射矩阵；基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值；基于所述多个路面元素的残差值，对所述当前仿射矩阵进行调整后，返回确定该路面元素的第二特征点集的更新后的世界坐标的步骤，直至满足预设截止条件后，得到所述目标仿射矩阵。11.根据权利要求10所述的定位方法，其特征在于，所述路面元素包括第一类路面元素，在确定同一路面元素的所述第一特征点集和所述第二特征点集之间的目标仿射矩阵之前，所述定位方法还包括：针对每个第一类路面元素，在该第一类路面元素的第一特征点集中提取与该第一类路面元素的第二特征点集中的每个第二特征点匹配的第一特征点；所述基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值，包括：针对每个第一类路面元素，基于该第一类路面元素的第二特征点集中的每个第二特征
点更新后的世界坐标和与该第二特征点匹配的第一特征点的世界坐标，确定该第二特征点和匹配的第一特征点之间的距离；对该第一类路面元素包含的每个第二特征点和匹配的第一特征点之间的距离进行求和，得到该第一类路面元素对应的残差值。12.根据权利要求11所述的定位方法，其特征在于，所述路面元素还包括第二类路面元素，在确定同一路面元素的所述第一特征点集和所述第二特征点集之间的目标仿射矩阵之前，所述定位方法还包括：针对每个第二类路面元素，按照该第二类路面元素的第一特征点集的世界坐标，确定该第二类路面元素的第一特征点集的拟合直线方程；所述基于该路面元素的第二特征点集更新后的世界坐标和该路面元素的第一特征点集的世界坐标，确定该路面元素的第二特征点集更新后的世界坐标和第一特征点集的世界坐标之间的残差值，包括：针对每个第二类路面元素，基于该第二类路面元素的第二特征点集中的每个第二特征点更新后的世界坐标和该第二类路面元素对应的拟合直线方程，确定该第二特征点和该第二类路面元素对应的拟合直线之间的距离；基于该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，确定该第二类路面元素对应的残差值。13.根据权利要求12所述的定位方法，其特征在于，在确定该第二类路面元素对应的残差值之前，所述定位方法还包括：基于该第二类路面元素包含的每个第二特征点的世界坐标，获取该第二类路面元素的每个第二特征点对应的距离权重；所述基于该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离，确定该第二类路面元素对应的残差值，包括：基于该第二类路面元素包含的每个第二特征点对应的距离权重，对该第二类路面元素包含的每个第二特征点和该第二类路面元素对应的拟合直线之间的距离进行加权求和，得到该第二类路面元素对应的残差值。14.一种定位装置，其特征在于，包括：获取模块，用于获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图；第一确定模块，用于基于所述当前路面图像，确定所述当前路面图像中的路面元素的第一世界坐标；第二确定模块，用于基于所述预制地图，确定所述路面元素的第二世界坐标；第三确定模块，用于根据所述路面元素的第一世界坐标、第二世界坐标，确定所述目标车辆采集的目标图像中目标对象的目标世界坐标。15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至13任一所述的定位方法的步骤。16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程
序，该计算机程序被处理器运行时执行如权利要求1至13任一所述的定位方法的步骤。
技术总结
本公开提供了一种定位方法、装置、电子设备及存储介质，其中，该定位方法包括：获取目标车辆采集的当前路面图像和目标车辆当前所处位置的预制地图；基于所述当前路面图像，确定所述当前路面图像中的路面元素的第一世界坐标；基于所述预制地图，确定所述路面元素的第二世界坐标；根据所述路面元素的第一世界坐标、第二世界坐标，确定所述目标车辆采集的目标图像中的目标对象的目标世界坐标。标图像中的目标对象的目标世界坐标。标图像中的目标对象的目标世界坐标。


技术研发人员：唐庆 王潇峰 刘余钱
受保护的技术使用者：上海商汤临港智能科技有限公司
技术研发日：2021.03.19
技术公布日：2021/6/29