获得目标车辆运动轨迹的方法、系统、介质及设备与流程

专利2022-05-09  126


本发明属于识别技术领域,尤其涉及一种获得目标车辆运动轨迹的方法、系统、介质及设备。



背景技术:

跨镜追踪(reid):是指通过将查询的图片向量化,然后与数据库中的图片进行比对,找出属于同一个id的图片,获得同一个id的轨迹。该技术可以应用于人的识别和追踪,也能够应用于其他移动的物体的追踪,如车辆等。

在安防、公路稽查等应用场景中,需要将不同时间、不同地点,不同摄像机拍摄的车辆的图片从大批量的数据中查找出来,并进行关联,或者获取同一车辆的运行轨迹。

然而,在实际应用的过程中,数据量往往是海量级别的,数据量可以达到百万或者千万,甚至更多。在不同时间和地点,由于环境等因素的影响,同一车辆的外观会有所变化。同时,由于拍摄设备、拍摄环境、拍摄参数、拍摄技术等因素的影响,车辆在局部特征上会出现视觉上的变化。另外,在实际应用场景中,大批量的特征数据存储也会占用较大的存储空间。

进一步,在不同的场景下,不同车辆的特征也是存在区别的,如果使用相同的特征进行车辆识别,则有可能存在计算量大,识别结果不够准确的问题。

相应的,本领域需要一种新的获得目标车辆运动轨迹的方法来解决现有的识别方法存储和运算量大,识别结果不够准确的问题。



技术实现要素:

为了解决现有技术中的上述问题,即为了解决现有的识别方法存储和运算量大,识别结果不够准确的问题,本发明提供了一种获得目标车辆运动轨迹的方法,包括:

获取至少一张目标车辆图片和/或车头图片;

在第一图片识别模型中的整体特征输出分支上增加局部特征输出分支;

将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型,获得所述目标车辆图片和/或车头图片的特征向量;

比对查询库中的特征向量和所述目标车辆的特征向量,获取符合要求的所有图片;

结合所述符合要求的所有图片及其位置信息和时间信息,获得所述目标车辆的运动轨迹。

在上述方法的优选技术方案中,“在第一图片识别模型中的整体特征输出分支上增加局部特征输出分支”的步骤进一步包括:

在所述第一图片识别模型的整体特征输出分支上的最后一层卷积层或线性分类层的前一层增加局部特征输出分支。

在上述方法的优选技术方案中,“将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型,获得所述目标车辆图片和/或车头图片的特征向量”的步骤进一步包括:

将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型;

对所述第一图片识别模型实施pooling和tripletloss操作,所述目标车辆图片和/或车头图片进入到所述第一图片识别模型后,先经过所述整体特征输出分支的处理,获得所述目标车辆的整体特征的数据,然后再经过所述局部特征输出分支的处理,获得在所述整体特征上进一步细化的局部特征的数据;

应用concat函数对获得的所述整体特征的数据和所述局部特征的数据进行处理,获得同时具备整体特征的数据以及局部特征的数据的特征向量;

对所述特征向量进行降维操作,获得降维后的特征向量;

量化所述降维后的特征向量,生成int8特征向量。

在上述方法的优选技术方案中,“对所述特征向量进行降维操作,获得降维后的特征向量”的步骤包括:在所述第一图片识别模型的最后一层卷积层加入一维额外卷积层,通过卷积的方式将原有特征图的通道数降低,从而获得降维后的特征向量;并且/或者,

在所述第一图片识别模型的最后一层卷积层加入全连接层,将特征向量平铺为一维向量,并进行线性加权,从而获得降维后的特征向量;并且/或者,

使用pca降维方式对所述特征向量进行降维,从而获得降维后的特征向量。

在上述方法的优选技术方案中,“获取至少一张目标车辆图片和/或车头图片”的步骤具体包括:

将至少一张包含有目标车辆的图片输入到第二图片识别模型中,得到所述目标车辆的坐标和置信度;

根据所述目标车辆的坐标和置信度,获得所述目标车辆图片和/或车头图片。

在上述方法的优选技术方案中,“比对查询库中的特征向量和所述目标车辆的特征向量,获取符合要求的所有图片”的步骤具体包括:

应用faiss检索,计算查询库中的所有车辆的特征向量与目标车辆的特征向量的距离;

将所有车辆的特征向量与目标车辆的特征向量的距离进行排序;

获取所述查询库中的距离最小的k幅图片,作为检索结果,其中,k为≥2的整数;或者,

应用faiss检索,计算查询库中的所有车辆的特征向量与目标车辆的特征向量的距离;

将所有车辆的特征向量与目标车辆的特征向量的距离进行排序;

设定一个距离的阈值,获得所述查询库中所有的所述特征向量距离小于所述阈值的图片,作为检索结果。

在上述方法的优选技术方案中,所述特征向量的距离包括cosine距离或欧式距离;并且/或者,

所述第一图片识别模型或所述第二图片识别模型为retinanet模型、yolo模型或faster-rcnn模型;并且/或者,

“比对查询库中的特征向量和所述目标车辆的特征向量,获取符合要求的所有图片”步骤所使用的模型为ivf模型。

本发明还提供了一种获得目标车辆运动轨迹的系统,包括:

车辆检测模块,其用于获取至少一张目标车辆图片和/或车头图片;

分支增加模块,其用于在第一图片识别模型中的整体特征输出分支上增加局部特征输出分支;

特征提取模块,其用于将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型,并获得所述目标车辆图片和/或车头图片的特征向量;

检索模块,其用于比对查询库中的特征向量和所述目标车辆的特征向量,获取符合要求的所有图片;

轨迹输出模块,其用于结合所述符合要求的所有图片及其位置信息和时间信息,获得所述目标车辆的运动轨迹。

在上述系统的优选技术方案中,所述分支增加模块的特征进一步包括:用于在所述第一图片识别模型的整体特征输出分支上的最后一层卷积层或线性分类层的前一层增加局部特征输出分支。

在上述系统的优选技术方案中,所述特征提取模块具体包括:

图片输入模块,其用于将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型;

特征获取模块,其用于对所述第一图片识别模型实施pooling和tripletloss操作,所述目标车辆图片和/或车头图片进入到所述第一图片识别模型后,先经过所述整体特征输出分支的处理,获得所述目标车辆的整体特征的数据,然后再经过所述局部特征输出分支的处理,获得在所述整体特征上进一步细化的局部特征的数据;

向量获取模块,其用于应用concat函数对获得的所述整体特征的数据和所述局部特征的数据进行处理,获得同时具备整体特征的数据以及局部特征的数据的特征向量;

向量降维模块,其用于对所述特征向量进行降维操作,获得降维后的特征向量;

特征量化模块,其用于量化所述降维后的特征向量,生成int8特征向量。

在上述系统的优选技术方案中,所述车辆检测模块具体包括:

坐标和置信度获取模块,其用于将至少一张包含有目标车辆的图片输入到第二图片识别模型中,得到所述目标车辆的坐标和置信度;

图片获取模块,其用于根据所述目标车辆的坐标和置信度,获得所述包含有目标车辆的图片中的所述目标车辆图片和/或车头图片。

本发明还提供了一种计算机可读存储介质,所述存储介质中存储有多条程序代码,其特征在于,所述程序代码适用于由处理器加载并运行以执行上述技术方案中任一项所述的获得目标车辆运动轨迹的方法。

本发明还提供了一种计算机设备,包括处理器和存储器,所述存储器适用于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行上述技术方案中任一项所述的获得目标车辆运动轨迹的方法。

本领域人员能够理解的是,在本发明的技术方案中,获得目标车辆运动轨迹的方法包括:获取至少一张目标车辆图片和/或车头图片;在第一图片识别模型中的整体特征输出分支上继续增加局部特征输出分支;将至少一张目标车辆图片和/或车头图片输入到第一图片识别模型,获得目标车辆图片和/或车头图片的特征向量;比对查询库中的特征向量和目标车辆的特征向量,获取符合要求的所有图片;结合符合要求的所有图片及其位置信息和时间信息,获得目标车辆的运动轨迹。

通过上述设置方式,使得本发明的获得目标车辆运动轨迹的方法能够获取车辆的整体特征和局部特征,并能够根据不同的场景添加感兴趣的特征层,以实现多样化的识别过程。识别过程中,结合多尺度检测网络,将车辆的整体特征和局部特征转换为特征向量,并对特征向量进行降维和量化处理,再进行检索过程,能够进一步节省存储空间,加快特征检索速度,提升鲁棒性,正确率更高。

附图说明

下面参照附图来描述本发明的具体实施方式。附图中:

图1为本发明的获得目标车辆运动轨迹的方法的一个实施例的主要流程图;

图2为步骤s100的一个实施例的详细流程图;

图3为步骤s300的一个实施例的详细流程图;

图4为步骤s400的一个实施例的详细流程图;

图5为步骤s400的另一个实施例的详细流程图;

图6为本发明的获得目标车辆运动轨迹的系统的主要模块示意图。

具体实施方式

为了便于理解发明,下文将结合说明书附图和实施例对本发明作更全面、细致地描述,但本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。

在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合,比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似,可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。

下面参照图1-图5对本发明的方法进行描述,本发明提供了一种获得目标车辆运动轨迹的方法,包括:

步骤s100,获取至少一张包含目标车辆图片和/或车头图片。

如图2所示,步骤s100还进一步包括:

步骤s110,将至少一张包含有目标车辆的图片输入到第二图片识别模型中,得到目标车辆的坐标和置信度。

具体地,将需要获取运动轨迹的车辆的至少一张图片输入到第二图片识别模型中,第二图片识别模型能够识别该车辆图片中目标车辆的坐标以及置信度信息。其中第二图片识别模型为retinanet模型、yolo模型或faster-rcnn模型。

现有的基于深度学习的目标检测算法主要由两类结构,即twostage(两级)结构和onestage(一级)结构。twostage结构包含faster-rcnn模型等,在twostage结构中,其中第一级专注于目标的提取,第二级对提取出的目标进行分类和精准坐标回归;两级结构准确度更高,但因为第二级需要单独对每个目标进行分类/回归,速度上会有损失。onestage结构包含yolo模型等,此类算法摒弃了提取目标的过程,只用一级结构完成识别/回归,速度较快,但准确率会存在一定损失。另外onestage结构还包括retinanet模型,该模型能够解决onestage结构中存在的准确率有所损失的问题。retinanet模型应用focalloss,用于解决准确率有所损失的问题,其检测精度超越了twostage的faster-rcnn模型。focalloss为损失函数,这个损失函数是在标准交叉熵损失基础上修改得到的。这个函数可以通过减少易分类样本的权重,使得模型在训练时更专注于难分类的样本。本领域技术人员可以根据实际需要对第二图片识别模型进行选择。

步骤s120,根据目标车辆的坐标和置信度,获得目标车辆图片和/或车头图片。

具体地,根据目标车辆的坐标和置信度,从包含目标车辆图片上抠出目标车辆图片和/或目标车辆车头的图片。一般小型车抠出车辆的整体图片,中大型车辆如卡车、客车等可以抠出车辆整体图片,也可以抠出车头图片。

在一个可能的实施例中,应用rpn(regionproposalnetwork,区域生成网络),向rpn中输入任意尺度的图像,即可输出一系列矩形候选区域,这些矩形框候选区域即为筛选出可能会有目标的框,也就是抠出的目标车辆图片和/或车头图片。

步骤s200,在第一图片识别模型中的整体特征输出分支上增加局部特征输出分支。

具体地,可以根据识别过程中的具体需要,在整体特征输出分支的基础上加入局部特征输出分支。即,在检测网络的不同尺度的分类分支和回归分支上再增加局部特征输出分支,在每个检测网络输出分支的最后一层卷积层或线性分类层的前一层增加局部特征的输出分支。其中分类分支来自于分类网络,即为分类网络中的一个分支;回归分支来自与回归网络,即为回归网络中的一个分支。检测网络和回归网络是由rpn获得的。局部特征包括但不限于,年检标,摆饰,挂饰,纸巾盒,遮阳板,挡风玻璃,车灯,车标,文字图案等。其中第一图片识别模型为retinanet模型、yolo模型或faster-rcnn模型。在后续处理过程中,目标图片被输入第一图片识别模型之后,先经过整体特征输出分支进行整体结构的向量的提取(整体车型、颜色等),然后由于增加了第二层的局部特征输出分支,在提取完整体输出特征的向量之后,还能够通过局部特征输出分支继续提取感兴趣的局部特征的向量(纸巾盒等),最后输出的特征向量当中便既包含了整体特征向量又包含了局部特征向量,由于局部特征的类别以及样式(纸巾盒是否有、什么颜色等,或者是否同时具有挂坠)比整体特征(颜色、车型等)的变化多得多,这样整体特征与局部特征的组合之后,便使得一个车辆被画像,使其所限定的个体很独特并且具体化,从而提升了精度的同时,还使得整体运算量大幅降低。

在一种可能的实施例中,在rpn网络中获得目标区域后,确定一个二进制的阈值,当目标区域的阈值大于此阈值时,则判定为该目标区域为roi(regionofintetests,感兴趣区域),这些不同的roi即为检测网络。同时,rpn还会在目标图片上框定出这些roi的的大致位置,这些被框定的大致位置就构成了回归网络。

步骤s300,将至少一张目标车辆图片和/或车头图片输入到第一图片识别模型,获得目标车辆图片和/或车头图片的特征向量。

如图3所述,步骤s300还进一步包括:

步骤s310,将至少包含一张目标车辆图片和/或车头图片输入到第一图片识别模型。

具体地,将步骤s120中获取的包含有目标车辆的图片中的目标车辆图片和/或车头图片输入到第一图片识别模型中。

步骤s320,对第一图片识别模型实施pooling和tripletloss操作,目标车辆图片和/或车头图片进入到第一图片识别模型后,先经过整体特征输出分支的处理,获得目标车辆的整体特征的数据,然后再经过局部特征输出分支的处理,获得在整体特征上进一步细化的局部特征的数据。

具体地,在获取包含有目标车辆的图片中的目标车辆图片和/或车头图片后,第一图片识别模型将其放入到卷积网络中,获得特征图(featuremap),并进一步使用pooling和tripletloss技术将卷积层得到的特征数据进行整合和精确化,以获得更为准确的车辆的整体特征数据和局部特征数据。其中,整体特征输出分支对车辆图片的整体特征进行检测,获得目标车辆的整体特征数据;局部特征输出分支对车辆图片的局部特征进行检测,获得目标车辆的局部特征数据。pooling(池化)技术是仿照人的视觉系统进行降维的技术,用更高层的抽象标识图像特征,即仿照真正的神经网络的一种人工网络。tripletloss(三元损失)是应用于深度学习中一种损失函数,用于训练差异性较小的样本,其数据输入包括锚示例、正示例和负示例,通过优化锚示例与正示例的距离小于锚示例与负示例的距离,实现样本的相似性计算。

在一种可能的实施例中,获得的目标车辆的整体特征及局部特征,通过batchnormalization处理后,生成具有规律的特征数据。其中,batchnormalization,为批标准化,是将分散的数据统一的一种做法,也是优化神经网络的一种方法,经过batchnormalization处理后的数据具有统一规格,能让机器学习更容易学习到数据之中的规律。

步骤s330,应用concat函数对获得的整体特征的数据和局部特征的数据进行处理,获得同时具备整体特征的数据以及局部特征的数据的特征向量。

具体地,将上一步中获得的整体特征的数据和局部特征的数据输入到concat函数中,经过计算获得同时具备整体特征的数据以及局部特征的数据特征向量。其中concat函数为用于连接两个或多个数组的函数,其计算完成后返回一个新的数组。

在另一种可能的实施方式中,第一图片识别模式为retinanet模型,retinanet模型的主干网络是由resnet fpn构成,输入的包含有目标车辆的图片中的目标车辆图片和/或车头图片经过主干网络进行特征提取,可以得到fpn网络;得到fpn网络后,对包含整体特征和局部特征的fpn网络的每层使用分类子网络和回归子网络卷积,获得分类子网络特征和回归子网络特征,再进行pooling和batchnormalization操作,使用concat函数处理后,作为特征向量输出。其中,resnet为残差网络,残差网络属于本领域技术人员常用的网络类型,本申请不再详细展开;主干网络(backbone)主要用于特征提取,提取图片上的信息,生成特征图(featuremap)以供后续网络使用;fpn(featurepyramidnetworks)是一种利用常规卷积网络来高效提取图片各维度特征的方法,能够更好的处理物体检测过程中多尺度变化的问题。

步骤s340,对特征向量进行降维操作,获得降维后的特征向量。

具体地,步骤s330获得的特征向量具有较高的维数,会导致在特征匹配过程过于复杂,消耗系统资源,因而需要进行特征降维操作。所谓特征降维,即采用一个低维度的特征来表示高维度的特征。本发明中特征降维主要采取两类方法:特征选择和特征提取。特征选择即从高维度的特征中选择其中一个子集作为降维后的特征;而特征提取则是将高维度的特征经过某个函数映射至低维度作为降维后的特征。

在一种可能的实施方式中,在第一图片识别模型的最后一层卷积层加入一维额外卷积层,通过卷积的方式将原有特征图的通道数降低,从而获得降维后的特征向量。

在另外一种可能的实施方式中,在第一图片识别模型的最后一层卷积层后加入全连接层,将特征向量平铺为一维向量,并进行线性加权,从而获得降维后的特征向量。

在另外一种可能的实施方式中,使用pca(principalcomponentanalysis,主成分分析法)对特征向量进行降维,即在尽可能保证代表原有特征的情况下,将原特征进行线性变换、映射至低维度空间中。

步骤s350,量化降维后的特征向量,生成int8特征向量。

具体地,降维后的特征向量的存储量依然很大,且量化后的特征向量波动较小,因而对降维后的特征向量进行量化,能够进一步减少访问存储量,且能够减少计算量,并对于卷积网络影响很小。实际量化过程为将float32bit的卷积操作转换为int8的卷积操作。

在一种可能的实施方式中,使用不饱和的方式直接进行量化,即scale=|max|/127,其中scale为量化后的特征向量的范围,max为量化前的特征向量的范围,量化过程中,以映射的方式直接实现量化过程。

在另一种可能的实施方式中,使用饱和量化的方式,设定一个阈值参数来截取float32的取值范围,然后再进行映射,获得int8向量后输出。

步骤s400,比对查询库中的特征向量和目标车辆的特征向量,获取符合要求的所有图片。

如图4所示,在一种可能的实施方式中,步骤s400还进一步包括:

步骤s410,应用faiss检索,计算查询库中的所有车辆的特征向量与目标车辆的特征向量的距离。

具体地,faiss是指facebookaisimilaritysearch,是一个开源库,其主要针对高维空间中的海量数据,提供高效且可靠的检索方法。将步骤s350中获得的int8特征向量放入faiss模型中,计算出查询库中的特征向量与目标车辆特征向量之间的距离。其中,特征向量的距离包括但不限于cosine距离,欧氏距离等及其变体。

在一种可能的实施方式中,计算查询库中的所有车辆的特征向量与目标车辆的特征向量的距离使用的模型为ivf模型。其中ivf(invertedfilesystem)为倒排索引,即直接对库里的所有向量进行k均值聚类,每次计算时,先计算查询向量与k个聚类中心的距离,然后选择距离最近的topn个聚类,只计算查询向量与这几个聚类下的向量的距离。

步骤s420,将所有车辆的特征向量与目标车辆的特征向量的距离进行排序。

步骤s430,获取查询库中的距离最小的k幅图片,作为检索结果。

具体地,将上述步骤中获得距离进行排序,获得查询库中与目标车辆特征向量距离最小的k幅图片作为检索结果。此处,k为大于等于2的整数。在一种优选的实施方式中,k为100。本领域技术人员可以根据实际需要对k值进行相应的调整。

在另外一种可能的实施方式中,步骤s400还进一步包括:

步骤s410,应用faiss检索,计算查询库中的所有车辆的特征向量与目标车辆的特征向量的距离。

步骤s420,将所有车辆的特征向量与目标车辆的特征向量的距离进行排序。

步骤s430,设定一个距离的阈值,获得查询库中所有的特征向量距离小于阈值的图片,作为检索结果。

具体地,设定一个距离阈值,将步骤s410中获得的距离进行排序后,将距离小于设定阈值的图片作为检索结果。

步骤s500,结合符合要求的所有图片及其位置信息和时间信息,获得目标车辆的运动轨迹。

具体地,步骤s430中获取的检索结果的图片中包含有车辆的位置信息和时间信息,结合获取的符合要求的图片及其位置信息和时间信息,获得目标车辆的运动轨迹。

上述设置方式的优点在于:在获取目标车辆运动轨迹的过程中,车辆很可能由于环境等因素的影响,其特征产生一定的变化,本发明能够有效避免这种变化产生的影响。

本发明的获得目标车辆运行轨迹的方法,在原有的卷积网络基础上,在整体特征输出分支上,增加局部特征输出分支,同时可以根据使用场景以及环境的变化,添加感兴趣的输出分支,并进行整体特征和局部特征的提取,特征提取的方式鲁棒性更强。进一步将提取的目标车辆整体特征和局部特征进行降维、量化,能够有效节省存储空间,加快匹配速度。最后输出车辆的运行轨迹,准确性较高,且本发明中使用的特征提取方法属于强监督深度学习方法,避免了收集和注释大规模数据及的成本,能够整体节约模型训练时间,可解释性更强。

如图6所示,本发明还提供了一种获得目标车辆运动轨迹的系统,包括:

车辆检测模块,其用于获取至少一张目标车辆图片和/或车头图片;

分支增加模块,其用于在第一图片识别模型中的整体特征输出分支上增加局部特征输出分支;

特征提取模块,其用于将至少一张目标车辆图片和/或车头图片输入到第一图片识别模型,获得目标车辆图片和/或车头图片的特征向量;

检索模块,其用于比对查询库中的特征向量和目标车辆的特征向量,获取符合要求的所有图片;

轨迹输出模块,其用于结合符合要求的所有图片及其位置信息和时间信息,获得目标车辆的运动轨迹。

分支增加模块的特征进一步包括:用于在第一图片识别模型的整体特征输出分支上的最后一层卷积层或线性分类层的前一层增加局部特征输出分支。

其中特征提取模块具体包括:

图片输入模块,其用于将至少一张目标车辆图片和/或车头图片输入到第一图片识别模型;

特征获取模块,其用于对第一图片识别模型实施pooling和tripletloss操作,目标车辆图片和/或车头图片进入到第一图片识别模型后,先经过整体特征输出分支的处理,获得目标车辆的整体特征的数据,然后再经过局部特征输出分支的处理,获得在整体特征上进一步细化的局部特征的数据;

向量获取模块,其用于应用concat函数对获得的整体特征的数据和局部特征的数据进行处理,获得同时具备整体特征的数据以及局部特征的数据的特征向量;

向量降维模块,其用于对特征向量进行降维操作,获得降维后的特征向量;

特征量化模块,其用于量化降维后的特征向量,生成int8特征向量。

其中车辆检测模块具体包括:

坐标和置信度获取模块,其用于将至少一张包含有目标车辆的图片输入到第二图片识别模型中,得到目标车辆的坐标和置信度;

图片获取模块,其用于根据目标车辆的坐标和置信度,获得目标车辆图片和/或车头图片。

特别地,对目标车辆进行特征提取时,还可以使用多粒度算法,如mgn(mutiplegranularitynetwork,多粒度网络),获取目标车辆的全局特征以及不同细粒度的特征。还能够使用单独的局部特征提取方法,如pcb实现特征提取。

进一步,在本发明的一种计算机设备的一个实施例中,包括处理器和存储器,所述存储器适用于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行前述的获取目标车辆运动轨迹的方法。

进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本发明的系统的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是,可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理,因此,拆分或合并之后的技术方案都将落入本发明的保护范围内。

至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。


技术特征:

1.一种获得目标车辆运动轨迹的方法,其特征在于,包括:

获取至少一张目标车辆图片和/或车头图片;

在第一图片识别模型中的整体特征输出分支上增加局部特征输出分支;

将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型,获得所述目标车辆图片和/或车头图片的特征向量;

比对查询库中的特征向量和所述目标车辆的特征向量,获取符合要求的所有图片;

结合所述符合要求的所有图片及其位置信息和时间信息,获得所述目标车辆的运动轨迹。

2.根据权利要求1所述的方法,其特征在于,“在第一图片识别模型中的整体特征输出分支上增加局部特征输出分支”的步骤进一步包括:

在所述第一图片识别模型的整体特征输出分支上的最后一层卷积层或线性分类层的前一层增加局部特征输出分支。

3.根据权利要求1所述的方法,其特征在于,“将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型,获得所述目标车辆图片和/或车头图片的特征向量”的步骤进一步包括:

将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型;

对所述第一图片识别模型实施pooling和tripletloss操作,所述目标车辆图片和/或车头图片进入到所述第一图片识别模型后,先经过所述整体特征输出分支的处理,获得所述目标车辆的整体特征的数据,然后再经过所述局部特征输出分支的处理,获得在所述整体特征上进一步细化的局部特征的数据;

应用concat函数对获得的所述整体特征的数据和所述局部特征的数据进行处理,获得同时具备整体特征的数据以及局部特征的数据的特征向量;

对所述特征向量进行降维操作,获得降维后的特征向量;

量化所述降维后的特征向量,生成int8特征向量。

4.根据权利要求3所述的方法,其特征在于,“对所述特征向量进行降维操作,获得降维后的特征向量”的步骤包括:

在所述第一图片识别模型的最后一层卷积层加入一维额外卷积层,通过卷积的方式将原有特征图的通道数降低,从而获得降维后的特征向量;并且/或者,

在所述第一图片识别模型的最后一层卷积层加入全连接层,将特征向量平铺为一维向量,并进行线性加权,从而获得降维后的特征向量;并且/或者,

使用pca降维方式对所述特征向量进行降维,从而获得降维后的特征向量。

5.根据权利要求1所述的方法,其特征在于,“获取至少一张目标车辆图片和/或车头图片”的步骤具体包括:

将至少一张包含有目标车辆的图片输入到第二图片识别模型中,得到所述目标车辆的坐标和置信度;

根据所述目标车辆的坐标和置信度,获得所述目标车辆图片和/或车头图片。

6.根据权利要求5所述的方法,其特征在于,“比对查询库中的特征向量和所述目标车辆的特征向量,获取符合要求的所有图片”的步骤具体包括:

应用faiss检索,计算查询库中的所有车辆的特征向量与目标车辆的特征向量的距离;

将所有车辆的特征向量与目标车辆的特征向量的距离进行排序;

获取所述查询库中的距离最小的k幅图片,作为检索结果,其中,k为≥2的整数;或者,

应用faiss检索,计算查询库中的所有车辆的特征向量与目标车辆的特征向量的距离;

将所有车辆的特征向量与目标车辆的特征向量的距离进行排序;

设定一个距离的阈值,获得所述查询库中所有的所述特征向量距离小于所述阈值的图片,作为检索结果。

7.根据权利要求6所述的方法,其特征在于,所述特征向量的距离包括cosine距离或欧式距离;并且/或者,

所述第一图片识别模型或所述第二图片识别模型为retinanet模型、yolo模型或faster-rcnn模型;并且/或者,

“比对查询库中的特征向量和所述目标车辆的特征向量,获取符合要求的所有图片”步骤所使用的模型为ivf模型。

8.一种获得目标车辆运动轨迹的系统,其特征在于,包括:

车辆检测模块,其用于获取至少一张目标车辆图片和/或车头图片;

分支增加模块,其用于在第一图片识别模型中的整体特征输出分支上增加局部特征输出分支;

特征提取模块,其用于将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型,获得所述目标车辆图片和/或车头图片的特征向量;

检索模块,其用于比对查询库中的特征向量和所述目标车辆的特征向量,获取符合要求的所有图片;

轨迹输出模块,其用于结合所述符合要求的所有图片及其位置信息和时间信息,获得所述目标车辆的运动轨迹。

9.根据权利要求8所述的系统,其特征在于,所述分支增加模块的特征进一步包括:用于在所述第一图片识别模型的整体特征输出分支上的最后一层卷积层或线性分类层的前一层增加局部特征输出分支。

10.根据权利要求8所述的系统,其特征在于,所述特征提取模块具体包括:

图片输入模块,其用于将至少一张所述目标车辆图片和/或车头图片输入到所述第一图片识别模型;

特征获取模块,其用于对所述第一图片识别模型实施pooling和tripletloss操作,所述目标车辆图片和/或车头图片进入到所述第一图片识别模型后,先经过所述整体特征输出分支的处理,获得所述目标车辆的整体特征的数据,然后再经过所述局部特征输出分支的处理,获得在所述整体特征上进一步细化的局部特征的数据;

向量获取模块,其用于应用concat函数对获得的所述整体特征的数据和所述局部特征的数据进行处理,获得同时具备整体特征的数据以及局部特征的数据的特征向量;

向量降维模块,其用于对所述特征向量进行降维操作,获得降维后的特征向量;

特征量化模块,其用于量化所述降维后的特征向量,生成int8特征向量。

11.根据权利要求8所述的系统,其特征在于,所述车辆检测模块具体包括:

坐标和置信度获取模块,其用于将至少一张包含有目标车辆的图片输入到第二图片识别模型中,得到所述目标车辆的坐标和置信度;

图片获取模块,其用于根据所述目标车辆的坐标和置信度,获得所述目标车辆图片和/或车头图片。

12.一种计算机可读存储介质,所述存储介质中存储有多条程序代码,其特征在于,所述程序代码适用于由处理器加载并运行以执行权利要求1-7中任一项所述的获得目标车辆运动轨迹的方法。

13.一种计算机设备,包括处理器和存储器,所述存储器适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行权利要求1-7中任一项所述的获得目标车辆运动轨迹的方法。

技术总结
本发明属于识别技术领域,尤其涉及一种获得目标车辆运动轨迹的方法、系统、介质及设备。本发明旨在解决现有的识别方法存储和运算量大,识别结果不够准确的问题。为此目的,本发明的获得目标车辆运动轨迹的方法包括获取目标车辆图片;增加局部特征输出分支;将目标车辆图片输入到第一图片识别模型,获得目标车辆图片的特征向量;比对查询库中的特征向量和目标车辆的特征向量,获取符合要求的所有图片;结合符合要求的所有图片及其位置信息和时间信息,获得目标车辆的运动轨迹。本发明通过在整体特征的基础上增加局部特征输出分支,能够对感兴趣的区域进行识别,识别效果更好,运算速度更快。

技术研发人员:李亚东;匡卫军;赵科
受保护的技术使用者:四川云从天府人工智能科技有限公司
技术研发日:2021.04.30
技术公布日:2021.08.03

转载请注明原文地址:https://doc.8miu.com/index.php/read-6016.html

最新回复(0)