本发明涉及货物码垛,具体而言,涉及一种包围盒提取方法、装置、电子设备和可读存储介质。
背景技术:
1、在混合码垛场景中,被运送的货物,例如箱子放置在传送带上,传送带每次移动一个固定距离后,拍摄设备可进行一次图像拍摄,以获取到包含箱子的图像信息。再基于采集的图像获得箱子的点云,通过箱子表面点云提取和最小包围盒计算,得到图像中箱子的最小包围盒位置。最小包围盒的确定可提供给自动化设备实现自动化操作,例如抓取箱子、转运箱子等,从而进行码垛处理。
2、由于在拍摄时,有些箱子完全在相机视野范围内,而有些箱子一部分在相机视野范围内,因此检测出的最小包围盒对应的箱子并非一定是真实的箱子。例如图1中所示,其中,灰色的矩形表征箱子,粗线所示为最小包围盒,最外侧的矩形框表示相机视野范围。所谓的真实的箱子是指后续能够使得自动化设备精准地执行自动化操作的箱子。为了确定图像帧中哪些最小包围盒对应的箱子是真实的,现有常用方式是采用相机视野范围检测法,即判断哪些最小包围盒全部在相机视野范围内,将最小包围盒全部在相机视野范围内对应的箱子确定为真实的箱子,后续控制自动化设备抓取该箱子,进行码垛处理。
3、现有技术中所采用的这种方式存在诸多缺陷,例如,如果有长度、宽度很大的箱子进入相机视野范围内,则在连续的两帧图像帧中,该箱子对应的最小包围盒都不完全在相机视野范围内,例如,图2(a)中所示。若采用相机视野范围检测法,则该两帧图像帧中的箱子都将被判定为假,然而实际上这两个箱子的最小包围盒都是正确的。此外,如果有箱子的一条边被相机视野范围所截断,则可能形成一个截断的箱子,例如,图2(b)中所示。该截断的箱子的最小包围盒完全处于相机视野范围内。若采用相机视野范围检测方法,则该最小包围盒将被判定为真,然而实际上该最小包围盒是不正确的。
技术实现思路
1、本发明的目的包括,例如,提供了一种包围盒提取方法、装置、电子设备和可读存储介质,其能够准确地确定出正确的最小包围盒。
2、本发明的实施例可以这样实现:
3、第一方面,本发明提供一种包围盒提取方法,所述方法包括:
4、获取摄像设备所采集的连续两帧图像帧,各所述图像帧具有至少一个同一货物的图像信息,所述货物放置于传送带,所述连续两帧图像帧的采集间隔时间内所述传送带移动设定距离;
5、获得各所述图像帧中货物的表面点云的顶点,并获得各所述货物的最小包围盒;
6、基于两帧图像帧中货物的表面点云的顶点及最小包围盒,检测出两帧图像帧中具有对应关系的最小包围盒;
7、从具有对应关系的最小包围盒中确定出目标包围盒。
8、在可选的实施方式中,所述两帧图像帧包括按照采集时间先后顺序排列的第一图像帧和第二图像帧;
9、所述基于两帧图像帧中货物的表面点云的顶点及最小包围盒,检测出两帧图像帧中具有对应关系的最小包围盒的步骤,包括:
10、筛选出所述第一图像帧中满足预设条件的最小包围盒,并获得筛选出的最小包围盒对应的顶点中的关键顶点;
11、其中,所述传送带的移动方向为相机坐标系的x轴方向,所述相机坐标系的原点为所述摄像设备的相机视野范围的中心点,所述预设条件为最小包围盒的中心点的x坐标值小于0且所述最小包围盒未被标记为目标包围盒;
12、针对所述第二图像帧中的各个最小包围盒,基于所述最小包围盒的各个顶点的位置信息以及所述第一图像帧中筛选的各个最小包围盒的关键顶点的位置信息,确定所述最小包围盒具有对应关系的关键顶点,以获得两帧图像帧中具有对应关系的最小包围盒。
13、在可选的实施方式中,所述基于所述最小包围盒的各个顶点的位置信息以及所述第一图像帧中筛选的各个最小包围盒的关键顶点的位置信息,确定所述最小包围盒具有对应关系的关键顶点的步骤,包括:
14、针对各个关键顶点,基于所述最小包围盒对应的各个顶点以及各所述关键顶点的位置信息,确定出与各所述关键顶点具有最小距离的目标顶点;
15、基于所述最小包围盒的目标顶点确定所述最小包围盒到各个关键顶点的距离;
16、针对各所述关键顶点,检测出与所述关键顶点具有最小距离的最小包围盒,确定最小距离的关键顶点和最小包围盒具有对应关系。
17、在可选的实施方式中,所述获得筛选出的最小包围盒对应的顶点中的关键顶点的步骤,包括:
18、针对筛选出的各个最小包围盒,获得所述最小包围盒对应的各个顶点的x坐标值;
19、按照x坐标值从小到大的顺序对各个顶点进行排序;
20、反向遍历排序后的各个顶点,获得x坐标值小于0的第一个顶点,作为关键顶点。
21、在可选的实施方式中,所述从具有对应关系的最小包围盒中确定出目标包围盒的步骤,包括:
22、计算具有对应关系的两个最小包围盒中各个最小包围盒的面积;
23、确定具有对应关系的两个最小包围盒中面积较大的最小包围盒为目标包围盒。
24、在可选的实施方式中,所述获得各所述图像帧中货物的表面点云的顶点的步骤,包括:
25、针对各所述图像帧,获得所述图像帧中货物的表面点云,并将所述表面点云投影至二维坐标系,所述二维坐标系包括第一坐标轴和第二坐标轴;
26、获得投影点云分别投射在所述第一坐标轴和第二坐标轴上的最小分量和最大分量;
27、旋转所述二维坐标系,并获得投影点云在旋转后的二维坐标系的第一坐标轴和第二坐标轴上的最小分量和最大分量;
28、基于获得的多个最小分量和最大分量,得到所述表面点云的顶点。
29、在可选的实施方式中,所述获得各所述货物的最小包围盒的步骤,包括:
30、针对各所述货物,基于所述货物的表面点云中的相邻两个顶点构建第一矩形边,并构建与所述第一矩形边垂直的第二矩形边;
31、将所述表面点云中的各个顶点分别往所述第一矩形边和第二矩形边的方向投影,分别获得第一矩形边和第二矩形边方向上的最小和最大的投影点;
32、基于所述第一矩形边和第二矩形边方向上的最小和最大的投影点构建矩形,并计算所述矩形的面积;
33、确定出多组相邻两个顶点所获得的多个矩形中面积最小的矩形,作为最小包围盒。
34、第二方面,本发明提供一种包围盒提取装置,所述装置包括:
35、获取模块,用于获取摄像设备所采集的连续两帧图像帧,各所述图像帧具有至少一个同一货物的图像信息,所述货物放置于传送带,所述连续两帧图像帧的采集间隔时间内所述传送带移动设定距离;
36、获得模块,用于获得各所述图像帧中货物的表面点云的顶点,并获得各所述货物的最小包围盒;
37、检测模块,用于基于两帧图像帧中货物的表面点云的顶点及最小包围盒,检测出两帧图像帧中具有对应关系的最小包围盒;
38、确定模块,用于从具有对应关系的最小包围盒中确定出目标包围盒。
39、第三方面,本发明提供一种电子设备,包括一个或多个存储介质和一个或多个与存储介质通信的处理器,一个或多个存储介质存储有处理器可执行的机器可执行指令,当电子设备运行时,处理器执行所述机器可执行指令,以执行前述实施方式中任意一项所述的方法。
40、第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式中任意一项所述的方法。
41、本发明实施例的有益效果包括,例如:
42、本发明提供一种包围盒提取方法、装置、电子设备和可读存储介质,通过获取摄像设备所采集的连续两帧图像帧,各图像帧具有至少一个同一货物的图像信息,货物放置在传送带上,连续两帧图像帧的采集间隔时间内传送带移动设定距离。再获得各个图像帧中货物的表面点云的顶点,并获得各货物的最小包围盒。基于两帧图像帧中表面点云的顶点及最小包围盒,检测出两帧图像帧中具有对应关系的最小包围盒,最后从具有对应关系的最小包围盒中确定出目标包围盒。该方案,通过检测连续两帧图像帧中具有对应关系的最小包围盒,进而从中确定出目标包围盒,可以保障确定出的目标包围盒是正确的。
1.一种包围盒提取方法,其特征在于,所述方法包括:
2.根据权利要求1所述的包围盒提取方法,其特征在于,所述两帧图像帧包括按照采集时间先后顺序排列的第一图像帧和第二图像帧;
3.根据权利要求2所述的包围盒提取方法,其特征在于,所述基于所述最小包围盒的各个顶点的位置信息以及所述第一图像帧中筛选的各个最小包围盒的关键顶点的位置信息,确定所述最小包围盒具有对应关系的关键顶点的步骤,包括:
4.根据权利要求2所述的包围盒提取方法,其特征在于,所述获得筛选出的最小包围盒对应的顶点中的关键顶点的步骤,包括:
5.根据权利要求1所述的包围盒提取方法,其特征在于,所述从具有对应关系的最小包围盒中确定出目标包围盒的步骤,包括:
6.根据权利要求1所述的包围盒提取方法,其特征在于,所述获得各所述图像帧中货物的表面点云的顶点的步骤,包括:
7.根据权利要求1所述的包围盒提取方法,其特征在于,所述获得各所述货物的最小包围盒的步骤,包括:
8.一种包围盒提取装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括一个或多个存储介质和一个或多个与存储介质通信的处理器,一个或多个存储介质存储有处理器可执行的机器可执行指令,当电子设备运行时,处理器执行所述机器可执行指令,以执行权利要求1-7中任意一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的方法。