本发明涉及一种光检测和测距(lightdetectionandranging,lidar)噪声去除装置,更具体地,本发明涉及一种能够去除由于太阳光引起的lidar噪声的lidar噪声去除装置及其lidar噪声去除方法。
背景技术:
通常,光检测和测距(lidar)是配置为通过发射光并接收从物体反射的光来检测周围物体的传感器,并且可以使用大约905nm或大约1550nm的波长的光。然而,当包括所有波长的光分量的太阳光照射到lidar时,在lidar中的检测信号的目标点处可能会产生噪声。这样的噪声可能在太阳的方向上不规则地产生,并且当物体存在于太阳的方向上时会不利地影响物体的检测精度。
当噪声与物体聚集在一起时,可能会对物体的尺寸信息、位置信息和前进方向信息产生不利影响,从而降低lidar的识别性能。因此,需要开发一种lidar噪声去除装置,其能够估计相对于太阳的方向分量和位置分量以去除太阳光噪声并有效地提取物体。
技术实现要素:
因此,本发明致力于一种lidar噪声去除装置及其lidar噪声去除方法,所述lidar噪声去除装置及其lidar噪声去除方法基本上去除了由于现有技术的限制和缺点而导致的一个或更多个问题。本发明的目的是提供一种lidar噪声去除装置及其lidar噪声去除方法,所述lidar噪声去除装置能够基于全球定位系统(gps)信息和图像信息来预测相对于太阳的方向和位置,以有效地去除由太阳光引起的噪声点而不会损失物体信息。
设计为解决所述问题的本发明的目的不限于上述目的,并且基于本发明的以下详细描述,本领域技术人员将清楚地理解其他未提及的目的。
为了实现这些目标和其他优点,并根据在本文中所实施和概括描述的本发明的目的,一种lidar噪声去除装置可以包括:lidar检测信息处理器,其配置为处理从车辆的lidar接收的lidar检测信息;太阳位置获取器,其配置为获取太阳相对于车辆的行驶方向的方位角和仰角;感兴趣区域(roi)选择器,其配置为基于获取的太阳的方位角和仰角,从车辆的前方图像中选择与太阳相对应的roi,并将选择的roi的亮度与阈值进行比较,以确定roi的亮度是否超过阈值;噪声区域选择器,其配置为当roi的亮度超过阈值时,基于太阳的方位角和仰角从lidar检测信息中选择与roi相对应的噪声区域;以及噪声去除器,其配置为去除选择的噪声区域中的噪声点。
在本发明的另一方面,一种从车辆的lidar接收lidar检测信息的lidar噪声去除装置的lidar噪声去除方法可以包括:处理从车辆的lidar接收的lidar检测信息;获取太阳相对于车辆的行驶方向的方位角和仰角;基于获取的太阳的方位角和仰角,从车辆的前方图像中选择与太阳相对应的感兴趣区域(roi);将选择的roi的亮度与阈值进行比较,以确定roi的亮度是否超过阈值;当roi的亮度超过阈值时,基于太阳的方位角和仰角从lidar检测信息中选择与roi相对应的噪声区域;去除选择的噪声区域中的噪声点。
在本发明的另一方面,提供了一种非易失性计算机可读记录介质,其存储用于执行lidar噪声去除装置的lidar噪声去除方法的程序,该程序可以执行lidar噪声去除方法中包括的处理。
在本发明的另一方面,一种车辆可以包括:lidar,其配置为感测车辆的周围物体信息;摄像机,其配置为获取车辆的前方图像;以及lidar噪声去除装置,其配置为去除与入射在lidar上的太阳光相对应的噪声点,其中,所述lidar噪声去除装置可以包括:lidar检测信息处理器,其配置为处理从lidar接收的lidar检测信息;太阳位置获取器,其配置为获取太阳相对于车辆的行驶方向的方位角和仰角;感兴趣区域(roi)选择器,其配置为基于获取的太阳的方位角和仰角,从车辆的前方图像中选择与太阳相对应的roi,并将选择的roi的亮度与阈值进行比较,以确定roi的亮度是否超过阈值;噪声区域选择器,其配置为当roi的亮度超过阈值时,基于太阳的方位角和仰角从lidar检测信息中选择与roi相对应的噪声区域;以及噪声去除器,其配置为去除选择的噪声区域中的噪声点。
应该理解的是,本发明的上述总体描述和以下详细描述都是示例性的和解释性的,并且旨在提供所要求保护的本发明的进一步解释。
附图说明
包括附图以提供本发明的进一步理解,并且附图被合并于和构成本申请的一部分;附图显示了本发明的实施方案,并与说明书一起用于解释本发明的原理。在附图中:
图1是示出根据本发明示例性实施方案的包括lidar噪声去除装置的车辆的示意图;
图2是示出根据本发明示例性实施方案的由太阳光产生的噪声点的示意图;
图3是示出根据本发明示例性实施方案的从车辆的前方图像提取的与太阳相对应的roi图像的示意图;
图4是示出根据本发明示例性实施方案的在xy坐标平面上的lidar检测信息的示意图,在该xy坐标平面上,在同一方向上存在车辆点和由太阳光引起的噪声点;
图5是示出根据本发明示例性实施方案的在yz坐标平面上的lidar检测信息的示意图,在该yz坐标平面上,在同一方向上存在车辆点和由太阳光引起的噪声点;
图6是示出根据本发明示例性实施方案的lidar的层和太阳的仰角的示意图;
图7a和图7b是示出根据本发明示例性实施方案的lidar的fov和太阳的方位角的示意图;
图8是示出根据本发明示例性实施方案的lidar噪声去除装置的框图;以及
图9是示出根据本发明示例性实施方案的lidar噪声去除装置的lidar噪声去除方法的流程图。
具体实施方式
应当理解的是,本文中所使用的术语“车辆”或“车辆的”或其它类似术语通常包括机动车辆,例如包括运动型多用途车辆(suv)、大客车、大货车、各种商用车辆的乘用车辆,包括各种舟艇、船舶的船只,航空器等,并且包括混合动力车辆、电动车辆、内燃机车辆、插电式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如,源于非化石能源的燃料)。
尽管示例性实施方案描述为使用多个单元来执行示例性过程,但是可以理解,示例性过程也可以由一个或多个模块执行。此外,可以理解术语“控制器/控制单元”指包括存储器和处理器的硬件设备。存储器配置为存储模块,并且处理器具体地配置为执行所述模块来进行下面进一步描述的一个或更多个过程。
此外,本发明的控制逻辑可以实施为非易失性计算机可读介质,所述非易失性计算机可读介质为包括由处理器、控制器/控制单元等运行的可执行的程序指令的计算机可读介质。计算机可读介质的示例包括但不限制于:rom、ram、光盘(cd)-rom、磁带、软盘、闪存驱动器、智能卡以及光学数据存储设备。计算机可读记录介质也可以分布在网络联接的计算机系统中,使得计算机可读介质以分布方式储存和执行,例如通过远程信息处理服务器或控制器局域网络(can)。
在本文中使用的术语只用于描述具体实施方案,并非旨在限制本发明。正如本文中所使用的,单数形式“一”、“一个”和“该”旨在同样包括复数形式,除非上下文明确表示不包括复数形式。还将进一步理解的是,当在本明书中使用术语“包括”和/或“包括了”时,指明存在所述特征、数值、步骤、操作、元件和/或部件,但是不排除存在或加入一个或更多个其他的特征、数值、步骤、操作、元件、部件和/或其群组。正如本文所使用的,术语“和/或”包括一种或更多种相关列举项的任何和所有组合。
除非特别声明或者从上下文显而易见的,如本文所使用的,术语“约”被理解为在本领域的正常公差范围内,例如在平均值的2个标准偏差内。“约”可理解为在指定值的10%、9%、8%、7%、6%、5%、4%、3%、2%、1%、0.5%、0.1%、0.05%或0.01%之内。除非上下文另有说明,术语“大约”修饰在本文中提供的所有数值。
现在详细地参照本发明的示例性实施方案,这些示例性实施方案的示例显示在附图中。通过示例的方式给出以下示例性实施方案,以使本领域技术人员能够完全理解本发明的思想。因此,本发明不受以下示例性实施方案的限制,并且可以以各种其他形式实现本发明。为了清楚地描述本发明,已经从附图中省略了与本发明的描述无关的部分。在整个说明书中,将尽可能使用相同的附图标记表示相同或相似的部件。
在下文中,将参照图1至图9详细描述可应用于本发明的示例性实施方案的lidar噪声去除装置及其lidar噪声去除方法。
图1是示出根据本发明示例性实施方案的包括lidar噪声去除装置的车辆的示意图。如图1所示,车辆1可以包括:lidar210、摄像机220和lidar噪声去除装置100;lidar210配置为感测车辆1的周围物体信息;摄像机220配置为获取车辆1的前方图像;lidar噪声去除装置100配置为去除与在lidar210上入射的太阳光相对应的噪声点。
具体地,光检测和测距(lidar)可以是车辆1的具有前部lidar和前侧部lidar的多通道lidar,但是并不限制于此。例如,多通道lidar可以包括多个层,每个层具有指定的角度。lidar可以配置为感测车辆1周围的物体并生成lidar传感器坐标库的lidar检测信息,该lidar传感器坐标库可以被坐标转换为从摄像机220获取的前方图像的坐标库。
lidar噪声去除装置100可以配置为基于太阳的方位角和仰角从车辆1的前方图像中选择与太阳相对应的感兴趣区域(roi),将选择的roi的亮度与阈值进行比较,当roi的亮度超过阈值时,从lidar检测信息中选择与roi相对应的噪声区域,并去除选择的噪声区域中的噪声点。
另一方面,当roi的亮度小于或等于阈值时,lidar噪声去除装置100可以配置为将对象点标志分配给与roi相对应的噪声区域中的所有点,修改该噪声区域的标记参数,区分对象点和噪声区域中的噪声点,以使噪声区域中的重叠对象不被去除,而仅去除已区分的噪声点。具体地,lidar噪声去除装置100可以配置为通过修改标记参数以对于噪声区域中的点之间的距离减小距离阈值,来在与roi相对应的噪声区域中的对象点和噪声点之间进行区分。
换句话说,当roi的亮度超过阈值时,lidar噪声去除装置100可以配置为识别出太阳光照射到车辆的lidar,并且去除与roi相对应的噪声区域中的噪声点。在一些情况下,当roi的亮度超过阈值时,lidar噪声去除装置100可以配置为识别出太阳光照射到车辆的lidar,并且在与roi相对应的噪声区域中没有物体。
此外,当roi的亮度小于或等于阈值时,lidar噪声去除装置100可以配置为将对象点标志分配给与roi相对应的噪声区域中的所有点,以防止将在噪声区域中存在的对象识别为噪声并将其作为噪声去除,并修改该噪声区域的标记参数。另一方面,lidar噪声去除装置100可以配置为从车辆1的lidar210接收lidar检测信息,并且解析接收到的lidar检测信息以对其进行处理。
然后,lidar噪声去除装置100可以配置为获取车辆1的位置信息、前进方向信息和时间信息,并且根据获取的车辆1的位置信息、前进方向信息和时间信息,提取太阳相对于车辆1的行驶方向的方位角和仰角。具体地,lidar噪声去除装置100可以配置为从全球定位系统(gps)获取车辆1的位置信息、前进方向信息和时间信息,但是并不限制于此。
此外,lidar噪声去除装置100可以配置为获取车辆1的前方图像,将太阳的方位角和仰角转换为lidar的坐标和前方图像的坐标,并从前方图像中选择与太阳相对应的roi。具体地,lidar噪声去除装置100可以配置为从车辆1的摄像机220(或其他成像设备)获取车辆1的前方图像,但是不限制于此。当从车辆1的前方图像中选择与太阳相对应的roi时,lidar噪声去除装置100可以配置为计算选择的roi的亮度并且确定计算的roi的亮度是否超过阈值。
例如,lidar噪声去除装置100可以配置为将选择的roi的图像转换为灰度图像,并利用转换的图像的二进制值来计算roi的亮度,但是不限制于此。此外,lidar噪声去除装置100可以配置为随着太阳的高度来改变阈值。例如,lidar噪声去除装置100可以配置为当太阳的高度相对于地平线大约为10°或更小时,增加阈值。
这是由于以下事实导致的:当太阳的高度相对于地平线大约为10°或更小时,即使在太阳位于物体后方,当前方图像中与太阳相对应的roi的亮度大于阈值时,存在于太阳前方的物体仍然可能会被误识别为太阳引起的噪声并被作为太阳引起的噪声去除。因此,当太阳的高度相对于地平线大约为10°或更小时,lidar噪声去除装置100可以配置为将阈值设置为较高的值(例如,增大的值),从而即使当太阳和车辆之间存在物体的roi的亮度大于阈值时,也防止物体被误识别为太阳引起的噪声并作为太阳引起的噪声被去除。
当roi的亮度超过阈值时,lidar噪声去除装置100可以配置为识别出太阳光照射到车辆,提取与太阳的高度相对应的lidar210的层,与太阳的方位相对应的角度和滤波器值,并基于提取的层、角度和滤波器值从lidar检测信息中选择与roi相对应的噪声区域。可以基于时间的变化和车辆的前进方向的变化来实时地计算和更新滤波器值。
此外,在选择与roi相对应的噪声区域时,lidar噪声去除装置100可以配置为将噪声点标志分配给噪声区域中的点,将分配了噪声点标志的点识别为噪声点,并去除识别的噪声点。另一方面,当roi的亮度小于或等于阈值时,lidar噪声去除装置100可以配置为将对象点标志分配给与roi相对应的噪声区域中的所有点,并且修改该噪声区域的标记参数。
具体地,lidar噪声去除装置100可以配置为修改标记参数,以对于与roi相对应的噪声区域中的点之间的距离减小距离阈值。此外,lidar噪声去除装置100可以配置为检查与roi相对应的噪声区域中的标记对象的对象点数量,并且基于标记对象的对象点数量执行滤波以识别物体。例如,当标记对象的对象点数量是两个或更少时,lidar噪声去除装置100可以配置为将对象点确定为噪声点,从而去除该对象。
如上所述,根据本发明,lidar噪声去除装置可以配置为基于全球定位系统(gps)信息和图像信息来预测相对于太阳的方向和位置,以有效去除由太阳光引起的噪声点而不会损失物体信息。此外,根据本发明,lidar噪声去除装置可以配置为有效地去除由太阳光引起的噪声,以防止在处理lidar信号的过程中噪声影响物体的尺寸或被错误地检测为物体。
换句话说,根据本发明,lidar噪声去除装置可以配置为识别并追踪车辆的行驶方向以及太阳的方向和角度,以去除由太阳光引起的噪声,从而确保最佳的物体识别逻辑性能。此外,根据本发明,lidar噪声去除装置可以配置为去除不规则的太阳噪声以更准确地识别物体。
图2是示出由太阳光产生的噪声点的示意图。如图2所示,本发明的lidar噪声去除装置可以配置为从车辆1的lidar接收lidar检测信息,并且解析接收的lidar检测信息以对其进行处理。
具体地,lidar检测信息可以包括在太阳3的方向上不规则地产生的噪声点10。当在太阳3的方向上存在诸如周围车辆之类的物体2时,lidar检测信息中的噪声点10会不利地影响对象点20的检测精度。因此,本发明的lidar噪声去除装置可以配置为估算相对于太阳3的方向和位置分量,以去除由太阳光引起的噪声点10并有效地提取物体2。
图3是示出从车辆的前方图像提取的与太阳相对应的roi图像的示意图。如图3所示,本发明的lidar噪声去除装置可以获取车辆的前方图像30,将太阳的方位角和仰角转换为前方图像30的坐标,并从前方图像30中选择与太阳相对应的roi40。
具体地,当从车辆的前方图像30选择与太阳相对应的roi40时,lidar噪声去除装置可以配置为计算选择的roi40的亮度,并且将计算的roi40的亮度与阈值相比较,以确定物体2是否存在于太阳和车辆之间。例如,lidar噪声去除装置可以配置为将选择的roi的图像转换为灰度图像,并利用转换的图像的二进制值来计算roi的亮度,但是不限制于此。
lidar噪声去除装置可以配置为当roi40的亮度大于阈值时确定出在太阳和车辆之间没有物体,并且可以配置为当roi40的亮度小于或等于阈值时确定出物体2存在于太阳和车辆之间。当太阳的高度太低到与地平线为大约10度或更小时,即使前方图像中roi40的亮度大于阈值,物体2仍可能存在于太阳和车辆之间。在这种情况下,lidar噪声去除装置可以配置为将阈值增加到参考阈值以上。
这是由于以下事实导致的:当太阳的高度相对于地平线大约为10°或更小时,即使太阳位于物体2后方,当前方图像中与太阳相对应的roi的亮度大于阈值时,存在于太阳前方的物体2仍然可能会被误识别为太阳引起的噪声并被作为太阳引起的噪声去除。因此,当太阳的高度相对于地平线为大约10°或更小时,lidar噪声去除装置可以配置为将阈值设置为较高的值(例如,增大的值),从而即使当太阳和车辆之间存在物体2的roi的亮度大于阈值时,也防止物体2被误识别为太阳引起的噪声并作为太阳引起的噪声被去除。
本发明的lidar噪声去除装置可以配置为利用gps位置信息和车辆的前进方向信息来计算太阳相对于车辆的行驶方向的位置,通过计算的方向(包括水平方向和垂直方向)选择噪声候选组的范围,然后利用车辆的前方图像确定太阳光是否照射到车辆。具体地,当太阳出现在车辆的前方图像中时,lidar噪声去除装置可以配置为选择相对于太阳的方位和高度的roi,并将选择的roi的亮度与阈值进行比较。
然后,lidar噪声去除装置可以配置为基于roi的亮度和阈值之间的比较结果来检查lidar检测信息中的点之间的关系,以更准确地去除由太阳光引起的噪声。当太阳的高度与地平线非常相似从而位于与物体2相同的线上时,即,当太阳的高度相对于地平线大约为10°或更小时,lidar噪声去除装置可以配置为将roi亮度的阈值设置为更高的值。
这是根据即使太阳在物体2的后方,前方图像中的roi的亮度也可能较高的情况提供的。通常,由于光的特性,当太阳出现在物体后方时,光不会照射到lidar,lidar只能测量对象点信息。
图4是示出在xy坐标平面上的lidar检测信息的示意图,在该xy坐标平面上,在同一方向上存在车辆点和由太阳光引起的噪声点,图5是示出在yz坐标平面上的lidar检测信息的示意图,在该yz坐标平面上,在同一方向上存在车辆点和由太阳光引起的噪声点。
如图4和图5所示,本发明的lidar噪声去除装置可以配置为提取与太阳的高度相对应的lidar的层、与太阳的方位相对应的角度以及滤波器值,并基于提取的层、角度以及滤波器值从lidar检测信息80中选择与roi相对应的噪声区域。
具体地,lidar检测信息80示出了沿着太阳方向形成由太阳光引起的噪声点。此外,当在太阳和车辆之间存在物体时,存在点重叠区域82,该点重叠区域82包括该物体的对象点和由与该物体相邻以及围绕该物体分布的太阳光引起的噪声点。因此,本发明的lidar噪声去除装置可以配置为将roi的亮度与阈值进行比较,当roi的亮度小于或等于阈值时,识别出在太阳和车辆之间存在物体,并修改与roi对应的噪声区域的标记参数。
换句话说,当roi的亮度小于或等于阈值时,lidar噪声去除装置可以配置为检测出在太阳和车辆之间存在物体,将对象点标志分配给与roi相对应的噪声区域中的所有点,并修改噪声区域的标记参数。具体地,lidar噪声去除装置可以配置为修改标记参数,以对于与roi相对应的噪声区域中的点之间的距离减小距离阈值。
例如,lidar噪声去除装置可以配置为计算与roi相对应的噪声区域中的点之间的距离,并将计算的距离与距离阈值进行比较,以确定这些点是与物体相连还是与物体相距较远。此外,当与roi相对应的噪声区域中的点之间的距离的距离阈值减小时,由于减小的阈值距离,而由太阳光引起的不规则噪声可以标记为不同的对象。
具体地,当在一个标记对象中大约有两个或更少的对象点时,lidar噪声去除装置可以配置为确定该对象为噪声并且因此将其删除。也就是说,lidar噪声去除装置可以配置为检查在与roi相对应的噪声区域中的标记对象的对象点数量,并且基于标记对象的对象点数量执行滤波以识别物体。
因此,当在太阳和车辆之间存在物体时,通过在包括该物体的对象点和由与该物体相邻以及围绕该物体分布的太阳光引起的噪声点的点重叠区域82中进行标记,本发明的lidar噪声去除装置可以配置为在对象点和噪声点之间进行区分并且去除所区分的噪声点。
图6是示出lidar的层和太阳的仰角的示意图,图7a和7b是示出lidar的fov和太阳的方位角的示意图。如图6所示,lidar210可以配置为感测车辆的周围物体信息,并将lidar检测信息发送到lidar噪声去除装置。
具体地,lidar210可以是包括如图7a中的前侧方lidar212和如图7b中的前方lidar214的多通道lidar,但是不限制于此。例如,多通道lidar可以包括多个层74,每个层具有指定的角度。如图6,本发明可以基于lidar210的层74来预测太阳的仰角72。此外,如图7a和图7b所示,本发明可以从lidar212和lidar214中的每一个的视场(fieldofview,fov)78预测太阳的方位角76。lidar210可以配置为感测车辆周围的物体并生成lidar传感器坐标库的lidar检测信息,该lidar传感器坐标库可以被坐标转换为车辆的前方图像的坐标库。
本发明可以利用与车辆的前进方向信息相对应的太阳的仰角和方位角来预测噪声信号的预期范围,基于预测的范围选择roi,并且对于预期到由太阳光产生噪声的lidar的层和与太阳相对应的方位去除噪声。本发明可以利用如下的方法:除了由于太阳光引起的噪声区域中的点以外的点,以及在对因太阳光导致的噪声区域进行聚类的过程中减小点之间的距离阈值,并在不标记稀疏点的情况下,从候选对象目标中排除稀疏点。
此外,本发明可以在聚类过程中利用网格图或体素图。在聚类过程中,本发明可以选择体素中的代表点,计算代表点与相邻体素中的代表点之间的距离,并将计算的距离与距离阈值进行比较,以确定对应的对象是一个相连的物体还是一个较远的物体。当距离阈值减小时,不规则的太阳噪声可以被标记为不同的对象。具体地,当在一个标记对象中存在两个或更少的对象点时,本发明可以确定该对象为噪声并且因此将其删除。
图8是示出根据本发明示例性实施方案的lidar噪声去除装置的框图。如图8所示,本发明的lidar噪声去除装置100可以包括:lidar检测信息处理器110、太阳位置获取器120、roi选择器130、噪声区域选择器140、噪声去除器150和物体识别器160。每个部件可以通过整体控制器的过程来操作。
具体地,lidar检测信息处理器110可以配置为处理从车辆的lidar接收的lidar检测信息。换句话说,lidar检测信息处理器110可以配置为从车辆的lidar接收lidar检测信息,并解析接收的lidar检测信息以对其进行处理。太阳位置获取器120可以配置为获取太阳相对于车辆的行驶方向的方位角和仰角。
太阳位置获取器120可以配置为(利用各种传感器)获取车辆的位置信息、前进方向信息和时间信息,并且基于获取的车辆的位置信息、前进方向信息和时间信息,提取太阳相对于车辆的行驶方向的方位角和仰角。例如,太阳位置获取器120可以配置为从全球定位系统(gps)获取车辆的位置信息、前进方向信息和时间信息。
roi选择器130可以配置为基于获取的太阳的方位角和仰角,从车辆的前方图像中选择与太阳相对应的感兴趣区域(roi),并将选择的roi的亮度与阈值进行比较,以确定roi的亮度是否超过阈值。具体地,roi选择器130可以配置为获取车辆的前方图像,将太阳的方位角和仰角转换为lidar的坐标和前方图像的坐标,并从前方图像中选择与太阳相对应的roi。
例如,roi选择器130可以配置为从车辆的前视摄像机获取车辆的前方图像。此外,roi选择器130可以配置为计算选择的roi的亮度并且确定计算的roi的亮度是否超过阈值。具体地,roi选择器130可以配置为将选择的roi的图像转换为灰度图像,并利用转换的图像的二进制值来计算roi的亮度。
在一些情况下,roi选择器130可以配置为基于太阳高度的变化来改变阈值。例如,roi选择器130可以配置为当太阳的高度相对于地平线大约为10°或更小时,增加阈值。这是由于以下事实导致的:当太阳的高度相对于地平线大约为10°或更小时,即使在太阳位于物体后方,当前方图像中与太阳相对应的roi的亮度大于阈值时,存在于太阳前方的物体仍然可能会被误识别为太阳引起的噪声并被作为太阳引起的噪声去除。
因此,当太阳的高度相对于地平线大约为10°或更小时,roi选择器130可以配置为将阈值设置为较高的值,从而即使当太阳和车辆之间存在物体的roi的亮度大于阈值时,也防止物体被误识别为太阳引起的噪声并作为太阳引起的噪声被去除。噪声区域选择器140可以配置为:当roi的亮度超过阈值时,基于太阳的方位角和仰角从lidar检测信息中选择与roi相对应的噪声区域。
当roi的亮度超过阈值时,噪声区域选择器140可以配置为识别出太阳光照射到车辆。此外,当roi的亮度超过阈值时,噪声区域选择器140可以配置为提取与太阳的高度相对应的lidar的层,与太阳的方位相对应的角度以及滤波器值,并基于提取的层、角度和滤波器值从lidar检测信息中选择与roi相对应的噪声区域。
例如,可以基于时间的变化和车辆的前进方向的变化来实时地计算和更新滤波器值。此外,响应于确定出太阳和车辆保持视线(los)并且在两者之间没有物体信息,噪声区域选择器140可以配置为提取与太阳的高度相对应的lidar的层和与太阳的方位相对应的角度。
此外,噪声去除器150可以配置为去除选择的噪声区域中的噪声点。具体地,当选择了与roi相对应的噪声区域时,噪声去除器150可以配置为将噪声点标志分配给噪声区域中的点。换句话说,噪声去除器150可以配置为将分配了噪声点标志的点识别为噪声点,并去除识别出的噪声点。
物体识别器160可以配置为从lidar检测信息中识别物体。当roi的亮度小于或等于阈值时,物体识别器160可以配置为将对象点标志分配给与roi相对应的噪声区域中的所有点,并修改噪声区域的标记参数。例如,物体识别器160可以配置为修改标记参数,以对于与roi相对应的噪声区域中的点之间的距离减小距离阈值。
此外,物体识别器160可以配置为检查在与roi相对应的噪声区域中的标记对象的对象点数量,并且基于标记对象的对象点数量执行滤波以识别物体。例如,当标记对象的对象点数量为大约两个或更少时,物体识别器160可以配置为将对象点确定为噪声点,从而去除该对象。
图9是示出根据本发明示例性实施方案的lidar噪声去除装置的lidar噪声去除方法的流程图。本文下面描述的方法可以通过控制器的处理来执行。如图9所示,本发明可以从车辆的lidar接收lidar检测信息(s10)。响应于接收到lidar检测信息,本发明可以解析接收的lidar检测信息以对其进行处理(s20)。
然后,本发明可以获取车辆的位置信息、前进方向信息和时间信息,并且基于获取的车辆的位置信息、前进方向信息和时间信息来提取太阳相对于车辆的行驶方向的方位角和仰角(s30)。可以从全球定位系统(gps)获取车辆的位置信息、前进方向信息和时间信息。
此外,本发明可以获取车辆的前方图像(s40)。具体地,可以从车辆的摄像机或其他成像设备获取车辆的前方图像。然后,本发明可以将太阳的方位角和仰角转换为lidar的坐标和前方图像的坐标,并基于转换的太阳的方位角和仰角从前方图像中选择与太阳相对应的感兴趣区域(roi)(s50)。
然后,本发明可以计算选择的roi的亮度(s60)。具体地,本发明可以将选择的roi的图像转换为灰度图像,并利用转换的图像的二进制值来计算roi的亮度。本发明可以确定计算的roi的亮度是否超过阈值(s70)。具体地,阈值可以基于太阳的高度而变化。例如,当太阳的高度与地平线大约为10°或更小时,可以将阈值增加到参考阈值以上。
当roi的亮度超过阈值时,本发明可以基于太阳的方位角和仰角从lidar检测信息中选择与roi相对应的噪声区域(s80)。当roi的亮度超过阈值时,本发明可以识别出太阳光照射到车辆。
此外,当roi的亮度超过阈值时,本发明可以提取与太阳的高度相对应的lidar的层,与太阳的方位相对应的角度以及滤波器值,并基于提取的层、角度以及滤波器值从lidar检测信息中选择与roi相对应的噪声区域。例如,可以基于时间的变化和车辆的前进方向的变化来实时地计算和更新滤波器值。
此外,本发明可以去除选择的噪声区域中的噪声点(s90)。当选择了与roi相对应的噪声区域时,本发明可以将噪声点标志分配给噪声区域中的点,将分配了噪声点标志的点识别为噪声点,并去除识别的噪声点。另一方面,当roi的亮度小于或等于阈值时,本发明可以将对象点标志分配给与roi相对应的噪声区域中的所有点,并修改该噪声区域的标记参数(s110)。在修改用于与roi相对应的噪声区域的标记参数时,本发明可以修改标记参数以减小噪声区域中的点之间的距离的距离阈值。
然后,本发明可以根据lidar检测信息识别物体(s100)。具体地,本发明可以检查在与roi相对应的噪声区域中的标记对象的对象点数量,并且基于标记对象的对象点数量执行滤波以识别物体。例如,当标记对象的对象点数量是两个或更少时,本发明可以将对象点确定为噪声点,从而去除对象。
此外,本发明确定当前状况是否为lidar噪声去除操作结束状况(s120)。响应于确定出当前状况是lidar噪声去除操作结束状况,本发明可以结束lidar噪声去除操作。另一方面,本发明可以提供一种非易失性计算机可读记录介质,其存储用于执行lidar噪声去除装置的lidar噪声去除方法的程序,该程序可以执行lidar噪声去除方法中包括的过程。
如上所述,根据本发明,可以基于全球定位系统(gps)信息和图像信息来预测相对于太阳的方向和位置,以有效地去除由太阳光引起的噪声点而不会损失物体信息。此外,根据本发明,可以有效地去除由太阳光引起的噪声,以防止在处理lidar信号的过程中噪声影响物体的尺寸或被错误地检测为物体。
换句话说,根据本发明,可以识别并追踪车辆的行驶方向以及太阳的方向和角度,以去除由太阳光引起的噪声,从而确保最佳的物体识别逻辑性能。此外,根据本发明,可以去除不规则的太阳噪声以更准确地识别物体。
本发明的上述lidar噪声去除方法可以实现为程序存储介质上的计算机可读代码。非易失性计算机可读介质可以是以计算机可读方式存储数据的任何类型的记录设备。非易失性计算机可读介质可以包括例如硬盘驱动器(hdd)、固态硬盘(ssd)、硅磁盘驱动器(sdd)、只读存储器(rom)、随机存取存储器(ram)、光盘只读存储器(cd-rom)、磁带、软盘和光学数据存储装置。
本领域技术人员将认识到,通过本发明可获得的效果不限于上文已经具体描述的内容,并且从以上详细描述中将更清楚地理解本发明的其他的效果。
上面的详细描述在任何方面均不应被解释为限制本发明,而应通过示例加以考虑。本发明的范围应通过所附权利要求的合理解释来确定,并且在不脱离本发明的范围的情况下做出的所有等同修改形式应理解为包括在所附权利要求中。
1.一种lidar噪声去除装置,其包括:
lidar检测信息处理器,其配置为处理从车辆的lidar接收的lidar检测信息;
太阳位置获取器,其配置为获取太阳相对于车辆的行驶方向的方位角和仰角;
感兴趣区域选择器,其配置为基于获取的太阳的方位角和仰角,从车辆的前方图像中选择与太阳相对应的感兴趣区域,并将选择的感兴趣区域的亮度与阈值进行比较,以确定感兴趣区域的亮度是否超过阈值;
噪声区域选择器,其配置为当感兴趣区域的亮度超过阈值时,基于太阳的方位角和仰角从lidar检测信息中选择与感兴趣区域相对应的噪声区域;以及
噪声去除器,其配置为去除选择的噪声区域中的噪声点。
2.根据权利要求1所述的lidar噪声去除装置,其中,所述lidar检测信息处理器配置为:从车辆的lidar接收lidar检测信息,并且解析接收的lidar检测信息以对其进行处理。
3.根据权利要求1所述的lidar噪声去除装置,其中,所述太阳位置获取器配置为:获取车辆的位置信息、前进方向信息和时间信息,并且基于获取的车辆的位置信息、前进方向信息和时间信息,提取太阳相对于车辆的行驶方向的方位角和仰角。
4.根据权利要求1所述的lidar噪声去除装置,其中,所述感兴趣区域选择器配置为:获取车辆的前方图像,将太阳的方位角和仰角转换为lidar的坐标和前方图像的坐标,并从前方图像中选择与太阳相对应的感兴趣区域。
5.根据权利要求1所述的lidar噪声去除装置,其中,所述噪声区域选择器配置为:当感兴趣区域的亮度超过阈值时,识别出太阳光照射到车辆。
6.根据权利要求1所述的lidar噪声去除装置,其中,所述噪声区域选择器配置为:当感兴趣区域的亮度超过阈值时,提取与太阳的仰角相对应的lidar的层、与太阳的方位相对应的角度以及滤波器值,并基于提取的层、角度以及滤波器值从lidar检测信息中选择与感兴趣区域相对应的噪声区域。
7.根据权利要求1所述的lidar噪声去除装置,其进一步包括物体识别器,所述物体识别器配置为从lidar检测信息中识别物体。
8.根据权利要求7所述的lidar噪声去除装置,其中,所述物体识别器配置为:当感兴趣区域的亮度小于或等于阈值时,将对象点标志分配给与感兴趣区域相对应的噪声区域中的所有点,并修改与感兴趣区域相对应噪声区域的标记参数。
9.根据权利要求8所述的lidar噪声去除装置,其中,所述物体识别器配置为修改标记参数,以对于与感兴趣区域相对应的噪声区域中的点之间的距离减小距离阈值。
10.根据权利要求7所述的lidar噪声去除装置,其中,所述物体识别器配置为检查在与感兴趣区域相对应的噪声区域中的标记对象的对象点数量,并且基于标记对象的对象点数量执行滤波以识别物体。
11.一种lidar噪声去除装置的lidar噪声去除方法,所述lidar噪声去除装置从车辆的lidar接收lidar检测信息,所述方法包括:
由处理器处理从车辆的lidar接收的lidar检测信息;
由处理器获取太阳相对于车辆行驶方向的方位角和仰角;
由处理器基于获取的太阳的方位角和仰角,从车辆的前方图像中选择与太阳相对应的感兴趣区域;
由处理器将选择的感兴趣区域的亮度与阈值进行比较,以确定感兴趣区域的亮度是否超过阈值;
当感兴趣区域的亮度超过阈值时,由处理器基于太阳的方位角和仰角从lidar检测信息中选择与感兴趣区域相对应的噪声区域;
由处理器去除选择的噪声区域中的噪声点。
12.根据权利要求11所述的lidar噪声去除方法,其中,处理lidar检测信息包括:
由处理器从车辆的lidar接收lidar检测信息;
由处理器解析接收到的lidar检测信息以对其进行处理。
13.根据权利要求11所述的lidar噪声去除方法,其中,获取太阳的方位角和仰角包括:
由处理器获取车辆的位置信息、前进方向信息和时间信息;
由处理器基于获取的车辆的位置信息、前进方向信息和时间信息,提取太阳相对于车辆行驶方向的方位角和仰角。
14.根据权利要求11所述的lidar噪声去除方法,其中,选择感兴趣区域包括:
由处理器获取车辆的前方图像;
由处理器将太阳的方位角和仰角转换为lidar的坐标和前方图像的坐标;
由处理器基于转换的太阳的方位角和仰角,从前方图像中选择与太阳相对应的感兴趣区域。
15.根据权利要求11所述的lidar噪声去除方法,其中,选择与感兴趣区域相对应的噪声区域包括:当感兴趣区域的亮度超过阈值时,识别出太阳光照射到车辆。
16.根据权利要求11所述的lidar噪声去除方法,其进一步包括:
当感兴趣区域的亮度小于或等于阈值时,由处理器将对象点标志分配给与感兴趣区域相对应的噪声区域中的所有点,并修改与感兴趣区域相对应噪声区域的标记参数;
由处理器从lidar检测信息中识别物体。
17.根据权利要求16所述的lidar噪声去除方法,其中,修改与感兴趣区域相对应的噪声区域的标记参数包括:修改标记参数,以对于与感兴趣区域相对应噪声区域中的点之间的距离减小距离阈值。
18.根据权利要求16所述的lidar噪声去除方法,其中,从lidar检测信息中识别物体包括:检查在与感兴趣区域相对应的噪声区域中的标记对象的对象点数量,并基于标记对象的对象点数量执行滤波以识别物体。
19.一种非易失性计算机可读记录介质,其存储用于执行根据权利要求11所述的方法的程序。
20.一种车辆,其包括:
lidar,其配置为感测车辆的周围物体信息;
摄像机,其配置为获取车辆的前方图像;以及
lidar噪声去除装置,其配置为去除与入射在lidar上的太阳光相对应的噪声点,
其中,所述lidar噪声去除装置包括:
lidar检测信息处理器,其配置为处理从lidar接收的lidar检测信息;
太阳位置获取器,其配置为获取太阳相对于车辆的行驶方向的方位角和仰角;
感兴趣区域选择器,其配置为基于获取的太阳的方位角和仰角,从车辆的前方图像中选择与太阳相对应的感兴趣区域,并将选择的感兴趣区域的亮度与阈值进行比较,以确定感兴趣区域的亮度是否超过阈值;
噪声区域选择器,其配置为当感兴趣区域的亮度超过阈值时,基于太阳的方位角和仰角从lidar检测信息中选择与感兴趣区域相对应的噪声区域;以及
噪声去除器,其配置为去除选择的噪声区域中的噪声点。
技术总结