本发明涉及重识别技术领域，具体涉及一种图像相似度的计算方法、目标对象重识别方法及系统。
背景技术：
重识别是指利用计算机视觉技术判断跨摄像头图像或视频序列中是否存在特定目标对象的技术，例如车辆重识别技术和行人重识别技术等。车辆重识别(re-identification，简称为reid)是指给定一张车辆图片，匹配出该车在其他摄像头下的图像，可将车辆重识别问题看作图像检索的子问题。
目前，车辆重识别任务网络模型基于公开数据集训练，测试集包括查询集和被查询集，查询集和被查询集中包含不同角度摄像头抓拍的车辆图片，例如，在红绿灯路口抓拍违章车辆时，采用一组近景摄像头和一组远景摄像头，近景摄像头用于抓拍清晰的车牌信息，进行车牌识别，远景摄像头用于抓拍整个违章现场的环境图片(包含红灯和当前车辆图像)，其中，近景摄像头下所获取的图片构成查询集，远景摄像头下所获取的图片构成被查询集，对比近景摄像头和远景摄像头下的图片，通过两组违章图片共同构成交通违章罚款依据。
现有技术中的车辆重识别技术存在以下问题：
1、单一功能的车辆重识别装置无法直接应用于实际场景
目前，车辆重识别任务网络模型基于公开数据集训练的，测试集包含查询集和被查询集，查询集和被查询集中包含不同角度摄像头抓拍的车辆图片。重识别任务的目标是从查询集中取出查询车辆的图片，在被查询集中查询匹配该车图片，也就是进行跨摄像头图片重识别。重识别任务的识别对象是已经捕捉并切割好的车辆图片，但是在实际场景中应用，普通摄像头返回数据格式多为路面的视频或图片，并不是一张张捕捉并切割好的车辆图片，单一功能的车辆重识别装置无法自动重识别原始数据中的车辆对象，不能直接应用于实际场景。目前常见的解决方案是将现场的原始数据回传至交通控制中心，通过人工或者目标检测的方法将车辆图片切割后，再进行车辆重识别。此方案存在两点不足：首先，交通网络系统信息量庞大，直接将大容量的原始数据回传浪费网络带宽；其次，原始数据前处理和车辆重识别过程需要人工干预，效率较低。最终，直接导致当前车辆重识别装置无法直接应用于终端实际场景。
2、现有方法计算量过高，终端芯片算例无法满足
在运用深度学习方式实现目标重识别领域，车辆重识别公开数据集的复杂度越来越高，例如veri776，包含20台不同角度摄像头的拍摄图片，学者们主要将研究重心放在提升模型在公开数据集上的预测精度，模型从resnet32逐渐提升至resnet101，深度不断增加；在输入图片尺寸要求[384x384]的情况下，计算量高达几百mflops甚至达到gflops级别，所以无论模型在公开数据集上的测试结果准确率有多么高，这样的模型也只能在实验室的高性能设备上运行，过高的计算量使得网络模型难以移植到终端设备，无法在工程实践应用。
3、轻量型网络准确率偏低
在深度学习领域，计算量和准确率通常是两个相互矛盾的指标，使用轻量级网络，虽然可以满足终端芯片算例极限，但导致重识别结果准确率下降，应用过程中，违章车辆图片重识别可能存在错报、漏报等问题。
4、训练中容易导致模型沿单一方向收敛
目前车辆重识别主要采用基于度量学习的方法，通过传统的三元组损失函数计算类内样本(指相同目标对象的不同图片)和类间样本(指不同目标对象的图片)之间的差异，用以度量样本之间的相似度。但是三元组损失函数通过计算样本间的欧式距离进行度量，只考虑样本之间的绝对差异，没有考虑样本在向量空间中的方向差异，训练中容易导致模型沿单一方向收敛。
技术实现要素：
针对现有技术存在的上述技术问题，本发明提供了一种图片相似度的计算方法，能够同时兼顾到类内样本和类间样本之间的绝对差异和方向差异，避免训练模型沿单一方向收敛。
本发明还提供了一种目标对象重识别方法，采用上述的图片相似度的计算方法，能够提高目标对象重识别结果的准确率。
本发明还提供了一种目标对象重识别系统，能够给上述的目标对象重识别方法提供硬件支撑。
本发明的图片相似度的计算方法解决其技术问题所采用的技术方案是：
一种图像相似度的计算方法，采用欧氏距离和余弦相似度进行计算图像相似度，计算函数为：
loss′＝∑[ratio_euc×(neuc-peuc) ratio_cos×(pcos-ncos)]；
其中，
ratio_euc指欧式距离在损失函数中所占比例；
ratio_cos指余弦相似度在损失函数中所占比例；
neuc指训练样本中类间图片的欧式距离；
peuc指训练样本中类内图片的欧式距离；
ncos指训练样本中类间图片的余弦相似度；
pcos指训练样本中类内图片的余弦相似度。
根据本发明的图片相似度的计算方法，至少具有如下有益效果：本发明在传统三元组损失函数只采用欧式距离计算样本相似度的基础上，增加余弦相似度计算，从两个维度进行衡量，同时兼顾到类内样本和类间样本之间的绝对差异和方向差异，避免训练模型沿单一方向收敛。
本发明的目标对象重识别方法解决其技术问题所采用的技术方案是：
一种目标对象重识别方法，包括如下步骤：
s1、获取监控视频：获取目标对象的数据包；
s2、目标检测：对步骤s1中的数据包进行目标检测，获得目标对象的图片包，图片包包括查询集和被查询集；
s3、数据集预处理：删除无效的图片包，保留有效的图片包，并对有效的图片包中的图片进行运动去模糊；
s4、目标对象重识别：将图片包输入轻量级网络，采用上述的图像相似度的计算方法计算查询集与被查询集中的图片的相似度；
s5、上传匹配结果。
根据本发明的目标对象重识别方法，至少具有如下有益效果：本方法采用上述的图像相似度的计算方法来计算查询集与被查询集中的目标对象的图片的相似度，能够同时兼顾到样本之间的绝对差异和方向差异，提高目标对象重识别结果的准确率。
上述的目标对象重识别方法，所述轻量级网络在mobilenet的基础上，使用ghostmodule替换mobilenetv2中的普通卷积模块，保留mobilenetv2中的反残差结构，其中，ghostmodule将网络特征图的通道分为第一通道和第二通道，对第一通道进行普通卷积计算，并对其结果进行深度可分离卷积计算，用于替代第二通道原有的计算结果。
上述的目标对象重识别方法，在步骤s4中，图片包输入轻量级网络之后，取出查询集中的图片，计算当前图片与被查询集中所有图片的相似度，并返回被查询集中与当前查询图片相似度前h的图片，作为预测结果。
上述的目标对象重识别方法，在步骤s2中，首先判断数据包中的数据为图像还是视频，若为视频，则采取均匀间隔帧数保存图片；再进行ssd目标检测，检测框提取图片中的所有目标对象，并形成目标对象的图片包。
上述的目标对象重识别方法，在步骤s2中，保存图片时，图片命名由摄像头编号、时间戳和自增序列组成，同一时间点画面中不同的目标对象通过自增序列区别。
上述的目标对象重识别方法，在步骤s3中，判断查询集是否为空，若为空则图片包无效。
上述的目标对象重识别方法，在步骤s3中，判断查询集和被查询集是否为空，若查询集不为空，被查询集为空，则输出报错信息，若查询集和被查询集都不为空，则图片包有效。
本发明的目标对象重识别系统解决其技术问题所采用的技术方案是：
一种目标对象重识别系统，包括：图像/视频采集装置；设备外壳；多核ai处理器，设于所述设备外壳内，用于实现目标对象重识别的数据读取、运算处理和结果发送；智能网关设备，连接所述多核ai处理器，用于接收原始数据并分组转发运算结果；存储卡，用于存储图像/视频采集装置所拍摄的原始数据包以及目标检测的结果数据；人机交互显示装置，用于实现终端操作。
上述的目标对象重识别系统，所述图像/视频采集装置包括近景摄像头和远景摄像头。
附图说明
下面结合附图和实施例对本发明作进一步地说明，其中：
图1为本发明实施例的车辆重识别系统的结构示意图；
图2为本发明实施例的车辆重识别方法的步骤流程图；
图3为本发明实施例的车辆重识别方法中步骤s1的流程图；
图4为本发明实施例的车辆重识别方法中步骤s2的流程图；
图5为本发明实施例的车辆重识别方法中步骤s3的流程图；
图6为本发明实施例的车辆重识别方法中步骤s4的流程图。
附图中：1-图像/视频采集装置、2-设备外壳、3-多核ai处理器、4-存储卡、5-智能网关设备、6-人机交互显示装置。
具体实施方式
下面详细描述本发明的实施例，本发明的目标对象可以是车辆，也可以是行人或者其它移动的物体。在本发明的实施例中，选取红绿灯路口作为场景，选取车辆作为目标对象进行说明本发明的实施例，假设单位红绿灯持续时间为t秒，红灯在t1时刻亮起，t2时刻转为绿灯。
参照图1，本发明的实施例提供了一种车辆重识别系统，包括图像/视频采集装置1、设备外壳2、多核ai处理器3、存储卡4、智能网关设备5和人机交互显示装置6，其中，图像/视频采集装置可以是摄像头，能够清晰拍摄车牌等路面车辆的细节信息，具体地，图像/视频采集装置包括近景摄像头和远景摄像头；设备外壳用于保护内部多核ai处理器、储存卡、智能网关设备、人机交互显示装置等电子器件，保持干燥，避免日照风雨侵蚀；同时避免不可预期的人为损害，延长设备使用寿命；多核ai处理器支持深度学习和神经网络加速，集成多核集群，提供高速缓存功能，提供网络接口，是本系统的核心部件，训练好的目标自检测跨摄像头车辆重识别算法需要依赖本部件实现数据读取、运算处理与结果发送；存储卡用于存储图像采集设备拍摄的原始数据包、目标检测结果等过程数据；记录装置故障报错信息，其具体容量根据现场摄像头参数和数量设置；智能网关设备连接ai处理器，能够接收原始数据并分组转发运算结果；人机交互显示装置用于实现简单的终端操作，如故障代码显示，模式切换等功能。
参照图2，本发明的实施例还提供了一种车辆重识别方法，可以采用上述的车辆重识别系统来实施，本发明的车辆重识别方法包括如下步骤：
s1、获取监控视频：获取目标对象的数据包；
s2、目标检测：对步骤s1中的数据包进行目标检测，获得目标对象的图片包，图片包包括查询集和被查询集；
s3、数据集预处理：删除无效的图片包，保留有效的图片包，并对有效的图片包中的图片进行运动去模糊；
s4、目标对象重识别：将图片包输入轻量级网络，计算查询集与被查询集中的图片的相似度；
s5、上传匹配结果。
参照图3，具体地，在步骤s1中，通过ip地址读取指定近景摄像头的视频/图像，保存时间戳为[t1,t2]时间内的数据；通过ip地址读取配套远景摄像头的视频/图像，保存时间戳为[t1-t,t2 t]时间内的数据；将单位红绿灯时间内获得的视频/图像数据打包，通过视频传输线传入ai处理器进行下一步操作。
参照图4，具体地，在步骤s2中，对传入的数据包进行车辆目标检测。首先判断传入的数据格式为图像还是视频，如为视频，则采取均匀间隔帧数保存图片，图片命名由摄像头编号、时间戳和自增序列组成，同一时间点画面中不同车辆通过自增序列区别；其次进行ssd目标检测，检测框提取图片中的所有车辆，依据命名原则添加命名，一组数据包对应形成一组图片包，图片包由查询集和被查询集组成，查询集为近景摄像头画面ssd目标检测结果集合，被查询集为远景摄像头画面ssd目标检测结果集合。
参照图5，具体地，在步骤s3中，获取n个图片包后，进行数据集预处理。依次取出图片包，判断当前图片包中查询集是否为空，若为空则说明当前红灯时期没有违章事件发生，则图片包无效，直接删除当前图片包；若查询集不为空，但被查询集为空，则说明发生数据错误，输出一条报错信息，信息包含红灯亮起时间戳t1，报错信息将存入存储卡中，可通过人机交互显示装置查看；若查询集和被查询集都不为空，则图片包有效，对图片进行运动去模糊，用于下一步车辆重识别。
具体地，在步骤s4中，采用轻量级网络，在mobilenet的基础上，使用ghostmodule替换mobilenetv2中的普通卷积模块，保留mobilenetv2中的反残差结构，其中，ghostmodule将网络特征图的通道分为第一通道和第二通道，对第一通道进行普通卷积计算，并对其结果进行深度可分离卷积计算，用于替代第二通道原有的计算结果，同时，选取mobilenetv2网络末端计算结果作为局部特征，作为计算车辆图片相似度的输入。
在计算车辆图片的相似度时，采用的计算函数为：loss′＝∑[ratio_euc×(neuc-peuc) ratio_cos×(pcos-ncos)]；
已知n维空间中两个矩阵x(x1,x2,..xn)与y(y1,y2,...yn)之间的余弦相似度计算公式是：
重识别网络输出的局部特征结果为二维矩阵l，尺寸为[m,n]，m为本轮训练中输入的图片总数，n为局部变量特征尺寸，m、n的大小可根据训练需求自行调整；
f11～f1n表示本轮训练样本中第1张图片经网络计算提取到的特征值。
令l为x，lt为y，计算余弦相似度。得到余弦相似度矩阵dcos，矩阵大小为[m,m]：
其中：
s：本批训练数据中共有s台车辆；
p和n均为矩阵块；
pjj：本批训练数据中，第j台车辆“类内图片”的余弦相似度，矩阵大小为[aj,aj]；
njk：本批训练数据中，第j台车辆与第k台车辆“类间图片”的余弦相似度，矩阵大小为[aj,ak]；
类内图片：同一辆车在不同摄像头下的图片；
类间图片：不同辆车的图片；
ratio_euc：欧式距离在损失函数中所占比例；
ratio_cos：余弦相似度在损失函数中所占比例；
neuc：训练样本中类间图片的欧式距离；
peuc：训练样本中类内图片的欧式距离；
ncos：训练样本中类间图片的余弦相似度；
pcos：训练样本中类内图片的余弦相似度。
本方法通过降采样，降低输入图片像素，减少网络计算量，在满足应用场景对准确率要求的前提下，压缩局部特征维度，使得后续计算函数的计算量显著下降，满足终端算力要求，在训练模型时，同时兼顾到类内样本和类间样本之间的绝对差异和方向差异，避免训练模型沿单一方向收敛，提高车辆重识别结果的准确率。
参照图6，具体地，在步骤s4中，图片包输入轻量级网络之后，取出查询集中的图片，计算当前图片与被查询集中所有图片的相似度，删除当前查询图片，并返回被查询集中与当前查询图片相似度前h的图片，作为预测结果，直到查询集中图片为空时，上传匹配结果。当然，h的大小可以根据场景需要进行调整，在本发明的实施例中，对h取值为十进行举例说明。
本发明解决了现实应用场景中重识别算法无法单独应用的难题，利用各环节结果数据打包转发的手段，实现从获取数据、目标检测、数据集处理、车辆识别重识别到结果上传都无需人工干预，大幅提高工作效率；同时本发明能够在交通网络系统终端完成数据前处理工作，大大减轻了网络传输压力。同时，本发明通过改进网络结构，减少卷积计算的计算量；通过降低网络输出的全局特征维度，减少后期损失函数计算量；降低重识别方法的计算量，使得系统在整合ssd目标识别方法与必要业务逻辑后，能够满足终端芯片算力极限，实现在交通网络系统终端应用。此外，本发明在传统三元组损失函数方式的基础上，增加余弦相似度计算，弥补了原有三元组损失函数的不足，使得模型能够从绝对距离和方向差异两个维度收敛，促进类内样本彼此聚集，类间样本相互远离，一定程度上弥补了由网络轻量化造成的准确率下降等问题。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
1.一种图像相似度的计算方法，其特征在于，采用欧氏距离和余弦相似度进行计算图像相似度，计算函数为：
loss′＝∑[ratio_euc×(neuc-peuc) ratio_cos×(pcos-ncos)]；
其中，
ratio_euc指欧式距离在损失函数中所占比例；
ratio_cos指余弦相似度在损失函数中所占比例；
neuc指训练样本中类间图片的欧式距离；
peuc指训练样本中类内图片的欧式距离；
ncos指训练样本中类间图片的余弦相似度；
pcos指训练样本中类内图片的余弦相似度。
2.一种目标对象重识别方法，其特征在于，包括如下步骤：
s1、获取监控视频：获取目标对象的数据包；
s2、目标检测：对步骤s1中的数据包进行目标检测，获得目标对象的图片包，所述图片包包括查询集和被查询集；
s3、数据集预处理：删除无效的图片包，保留有效的图片包，并对有效的图片包中的图片进行运动去模糊；
s4、目标对象重识别：将图片包输入轻量级网络，采用如权利要求1中所述的图像相似度的计算方法计算查询集与被查询集中的图片的相似度；
s5、上传匹配结果。
3.根据权利要求2所述的目标对象重识别方法，其特征在于，所述轻量级网络在mobilenet的基础上，使用ghostmodule替换mobilenetv2中的普通卷积模块，保留mobilenetv2中的反残差结构，其中，ghostmodule将网络特征图的通道分为第一通道和第二通道，对第一通道进行普通卷积计算，并对其结果进行深度可分离卷积计算，用于替代第二通道原有的计算结果。
4.根据权利要求3所述的目标对象重识别方法，其特征在于，在步骤s4中，图片包输入轻量级网络之后，取出查询集中的图片，计算当前图片与被查询集中所有图片的相似度，并返回被查询集中与当前查询图片相似度前h的图片，作为预测结果。
5.根据权利要求3所述的目标对象重识别方法，其特征在于，在步骤s2中，首先判断数据包中的数据为图像还是视频，若为视频，则采取均匀间隔帧数保存图片；再进行ssd目标检测，检测框提取图片中的所有目标对象，并形成目标对象的图片包。
6.根据权利要求5所述的目标对象重识别方法，其特征在于，在步骤s2中，保存图片时，图片命名由摄像头编号、时间戳和自增序列组成，同一时间点画面中不同的目标对象通过自增序列区别。
7.根据权利要求3所述的目标对象重识别方法，其特征在于，在步骤s3中，判断查询集是否为空，若为空则图片包无效。
8.根据权利要求3或7所述的目标对象重识别方法，其特征在于，在步骤s3中，判断查询集和被查询集是否为空，若查询集不为空，被查询集为空，则输出报错信息，若查询集和被查询集都不为空，则图片包有效。
9.一种目标对象重识别系统，其特征在于，包括：
图像/视频采集装置；
设备外壳；
多核ai处理器，设于所述设备外壳内，用于实现目标对象重识别的数据读取、运算处理和结果发送；
智能网关设备，连接所述多核ai处理器，用于接收原始数据并分组转发运算结果；
存储卡，用于存储图像/视频采集装置所拍摄的原始数据包以及目标检测的结果数据；
人机交互显示装置，用于实现终端操作。
10.根据权利要求9所述的目标对象重识别系统，其特征在于，所述图像/视频采集装置包括近景摄像头和远景摄像头。
技术总结