本技术主要涉及图像识别,具体涉及一种斑马线的识别方法及装置。
背景技术:
1、道路上斑马线的检测识别结果主要作用是给如自动驾驶、礼让行人和安全驾驶等下游任务提供道路标识要素感知。目前对道路斑马线的检测识别一般是基于图像的目标检测方法或图像分割方法,现有的图像分割方法提取的特征不够丰富,导致识别准确度较低。
2、也即,现有技术中斑马线的识别准确度不高。
技术实现思路
1、本技术提供一种斑马线的识别方法及装置,旨在解决现有技术中斑马线的识别准确度不高的问题。
2、第一方面,本技术提供一种斑马线的识别方法,所述斑马线的识别方法包括:
3、获取第一预设尺寸的待识别斑马线图像;
4、对所述待识别斑马线图像进行多尺度特征提取,得到所述待识别斑马线图像的多个不同尺寸的第一特征图,其中,各个不同尺寸的所述第一特征图的尺寸小于所述第一预设尺寸;
5、对所述多个不同尺寸的第一特征图进行上采样融合,得到第一预设尺寸的第二特征图;
6、将所述第二特征图输入预设的斑马线分割模块,得到斑马线分割结果。
7、可选地,所述对所述待识别斑马线图像进行多尺度特征提取,得到所述待识别斑马线图像的多个不同尺寸的第一特征图,包括:
8、获取预训练的efficientnet模型,其中,所述efficientnet模型包括第一特征提取模块、多个先后排列的第二特征提取模块以及第三特征提取模块,排列位置越后的第二特征提取模块输出的特征图尺寸越小;
9、将所述待识别斑马线图像输入所述efficientnet模型,得到多个第二特征提取模块对应输出的多个不同尺寸的第一特征图。
10、可选地,所述斑马线的识别方法还包括:
11、获取多个第二特征提取模块中的最后一个第二特征提取模块输出的第五特征图;
12、将所述第五特征图输入图像分类模块,得到第一斑马线分类结果,其中,第一斑马线分类结果表示斑马线与拍摄待识别斑马线图像的摄像头的相对位置类型。
13、可选地,所述斑马线的识别方法还包括:
14、获取预设训练集;
15、获取所述图像分类模块基于所述预设训练集进行图像分类得到的分类交叉损失;
16、获取所述图像分割模块基于所述预设训练集进行图像分割得到的分割交叉损失;
17、根据所述分类交叉损失和所述分割交叉损失确定总损失;
18、基于所述总损失迭代更新所述图像分类模块、所述图像分割模块以及所述efficientnet模型至所述总损失小于预设损失值。
19、可选地,所述斑马线的识别方法还包括:
20、对所述待识别斑马线图像进行目标检测,得到所述待识别斑马线图像上的斑马线检测框;
21、获取所述斑马线分割结果中各个斑马线分割区域;
22、根据各个斑马线分割区域和所述待识别斑马线图像的底边之间的相对位置信息确定第二斑马线分类结果;
23、若所述第二斑马线分类结果和所述第一斑马线分类结果相同,则输出所述第一斑马线分类结果和所述斑马线分割结果。
24、可选地,所述若第二斑马线分类结果和所述第一斑马线分类结果相同,则输入所述第一斑马线分类结果和所述斑马线分割结果,包括:
25、若第二斑马线分类结果和所述第一斑马线分类结果相同,则对所述待识别斑马线图像进行目标检测,得到斑马线检测框;
26、获取所述斑马线分割结果中各个斑马线分割区域对应的多个外接矩形;
27、判断多个外接矩形与所述斑马线检测框的交并比是否超过预设值;
28、若多个外接矩形与所述斑马线检测框的交并比超过预设值,则输出所述第一斑马线分类结果和所述斑马线分割结果。
29、可选地,所述对所述多个不同尺寸的第一特征图进行上采样融合,得到第一预设尺寸的第二特征图,包括:
30、对所述多个不同尺寸的第一特征图进行上采样,得到多个第二预设尺寸的第三特征图,其中,第二预设尺寸小于第一预设尺寸;
31、融合多个第二预设尺寸的第三特征图,得到第二预设尺寸的第四特征图;
32、将第二预设尺寸的第四特征图进行上采样,得到第一预设尺寸的第二特征图。
33、第二方面,本技术提供一种斑马线的识别装置,所述斑马线的识别装置包括:
34、获取单元,用于获取第一预设尺寸的待识别斑马线图像;
35、特征提取单元,用于对所述待识别斑马线图像进行多尺度特征提取,得到所述待识别斑马线图像的多个不同尺寸的第一特征图,其中,各个不同尺寸的所述第一特征图的尺寸小于所述第一预设尺寸;
36、融合单元,用于对所述多个不同尺寸的第一特征图进行上采样融合,得到第一预设尺寸的第二特征图;
37、识别单元,用于将所述第二特征图输入预设的斑马线分割模块,得到斑马线分割结果。
38、可选地,所述特征提取单元,用于:
39、获取预训练的efficientnet模型,其中,所述efficientnet模型包括第一特征提取模块、多个先后排列的第二特征提取模块以及第三特征提取模块,排列位置越后的第二特征提取模块输出的特征图尺寸越小;
40、将所述待识别斑马线图像输入所述efficientnet模型,得到多个第二特征提取模块对应输出的多个不同尺寸的第一特征图。
41、可选地,所述识别单元,用于:
42、获取多个第二特征提取模块中的最后一个第二特征提取模块输出的第五特征图;
43、将所述第五特征图输入图像分类模块,得到第一斑马线分类结果,其中,第一斑马线分类结果表示斑马线与拍摄待识别斑马线图像的摄像头的相对位置类型。
44、可选地,所述识别单元,用于:
45、获取预设训练集;
46、获取所述图像分类模块基于所述预设训练集进行图像分类得到的分类交叉损失;
47、获取所述图像分割模块基于所述预设训练集进行图像分割得到的分割交叉损失;
48、根据所述分类交叉损失和所述分割交叉损失确定总损失;
49、基于所述总损失迭代更新所述图像分类模块、所述图像分割模块以及所述efficientnet模型至所述总损失小于预设损失值。
50、可选地,所述识别单元,用于:
51、对所述待识别斑马线图像进行目标检测,得到所述待识别斑马线图像上的斑马线检测框;
52、获取所述斑马线分割结果中各个斑马线分割区域;
53、根据各个斑马线分割区域和所述待识别斑马线图像的底边之间的相对位置信息确定第二斑马线分类结果;
54、若所述第二斑马线分类结果和所述第一斑马线分类结果相同,则输出所述第一斑马线分类结果和所述斑马线分割结果。
55、可选地,所述识别单元,用于:
56、若第二斑马线分类结果和所述第一斑马线分类结果相同,则对所述待识别斑马线图像进行目标检测,得到斑马线检测框;
57、获取所述斑马线分割结果中各个斑马线分割区域对应的多个外接矩形;
58、判断多个外接矩形与所述斑马线检测框的交并比是否超过预设值;
59、若多个外接矩形与所述斑马线检测框的交并比超过预设值,则输出所述第一斑马线分类结果和所述斑马线分割结果。
60、可选地,所述融合单元,用于:
61、对所述多个不同尺寸的第一特征图进行上采样,得到多个第二预设尺寸的第三特征图,其中,第二预设尺寸小于第一预设尺寸;
62、融合多个第二预设尺寸的第三特征图,得到第二预设尺寸的第四特征图;
63、将第二预设尺寸的第四特征图进行上采样,得到第一预设尺寸的第二特征图。
64、第三方面,本技术提供一种计算机设备,所述计算机设备包括:
65、一个或多个处理器;
66、存储器;以及
67、一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现第一方面中任一项所述的斑马线的识别方法。
68、第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行第一方面中任一项所述的斑马线的识别方法中的步骤。
69、本技术提供一种斑马线的识别方法及装置,该斑马线的识别方法包括:获取第一预设尺寸的待识别斑马线图像;对待识别斑马线图像进行多尺度特征提取,得到待识别斑马线图像的多个不同尺寸的第一特征图,其中,各个不同尺寸的第一特征图的尺寸小于第一预设尺寸;对多个不同尺寸的第一特征图进行上采样融合,得到第一预设尺寸的第二特征图;将第二特征图输入预设的斑马线分割模块,得到斑马线分割结果。本技术在现有技术中斑马线识别准确度不高的情况下,创造性地提出一种斑马线的识别方法,通过多尺度特征提取待识别斑马线的特征,得到多个不同尺寸的第一特征图,可以提取较为丰富的特征,然后进行上采样融合,得到具有丰富特征的第二特征图,进而进行分割得到斑马线分割结果,能够提高斑马线识别效率。
70、进一步的,可以同时实现对道路斑马线同时进行分类和分割,通过分割结果得到图像中斑马线的区域位置,同时,根据分类结果,得到当前视角与斑马线的位置关系,从而更好的为下游任务提供要素感知与帮助
1.一种斑马线的识别方法,其特征在于,所述斑马线的识别方法包括:
2.根据权利要求1所述的斑马线的识别方法,其特征在于,所述对所述待识别斑马线图像进行多尺度特征提取,得到所述待识别斑马线图像的多个不同尺寸的第一特征图,包括:
3.根据权利要求2所述的斑马线的识别方法,其特征在于,所述斑马线的识别方法还包括:
4.根据权利要求3所述的斑马线的识别方法,其特征在于,所述斑马线的识别方法还包括:
5.根据权利要求3所述的斑马线的识别方法,其特征在于,所述斑马线的识别方法还包括:
6.根据权利要求5所述的斑马线的识别方法,其特征在于,所述若第二斑马线分类结果和所述第一斑马线分类结果相同,则输入所述第一斑马线分类结果和所述斑马线分割结果,包括:
7.根据权利要求1所述的斑马线的识别方法,其特征在于,所述对所述多个不同尺寸的第一特征图进行上采样融合,得到第一预设尺寸的第二特征图,包括:
8.一种斑马线的识别装置,其特征在于,所述斑马线的识别装置包括:
9.一种计算机设备,其特征在于,所述计算机设备包括:
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行权利要求1至7中任一项所述的斑马线的识别方法的步骤。
