本技术属于图像处理领域，具体涉及一种基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法。
背景技术：
1、随着自动驾驶和智慧城市的兴起，目前的研究将注意力转向跨摄像头多目标跟踪。与单摄像头跟踪不同，多摄像头多目标(mcmt)跟踪强调摄像头间的关联，处理诸如摄像头位置、方向和重叠等复杂因素。在现实世界的多摄像头多目标车辆跟踪中，道路条件变得更加复杂，面临拥堵、交通事故和无关障碍等挑战。得益于相对成熟的多目标跟踪解决方案，许多研究通过单摄像头跟踪生成本地轨迹，随后通过聚类和后处理重新识别结果。然而，以时间和计算资源为代价的极高成本使得模型难以实现实时性能。为缓解这一问题，传统方法基于时空信息，减少了聚类候选项的数量。另一方面，通过摄像机校准获得的全局坐标和更复杂、高维度的嵌入被利用以提高准确性。然而，这并没有从根本上解决聚类所带来的重大负担。并且手工设计的先验信息，例如进出口区域难以移植到其他场景。
2、另一个是固定的摄像头位置导致目标大小随距离变化而变化。所有检测到的目标都被调整为384×384像素，导致图像分辨率不同。这个问题在跨摄像头和单摄像头场景中都存在，使得尺寸相似的目标更容易被鉴别，尺寸差异较大的则难以区分。
技术实现思路
1、本技术的目的在于提供一种基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，该方法通过帧级处理有效地提高了跨摄像头多目标跟踪的效率。
2、为实现上述目的，本技术所采取的技术方案为：
3、一种基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，所述基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，包括：
4、步骤1、根据获取的视频帧检测并裁剪出车辆图片，将车辆图片进行编码后与检测输出的检测框和置信度分数对齐；
5、步骤2、对所述车辆图片预处理后分别输入浅融合分支和深融合分支进行并行多尺度特征提取，并将两个分支提取的多尺度特征在第一个维度上进行拼接，得到车辆的深度外观特征；
6、步骤3、单摄像头多目标车辆跟踪，包括：
7、步骤3.1、获取摄像头内上一个时间步输出的历史轨迹池，所述历史轨迹池包括上一个时间步匹配成功的活跃轨迹和上一个时间步未匹配成功但仍在局部缓冲时间内的暂时丢失轨迹；
8、步骤3.2、首先使用深度外观特征距离进行匈牙利匹配，以总距离之和最小作为优化目标，将检测结果中的车辆和历史轨迹池中的轨迹一一对应，最后输出匹配成功的轨迹-车辆对、未匹配的轨迹以及未匹配的车辆；然后计算未匹配的轨迹与未匹配的车辆的位置距离，进行第二次匈牙利匹配，再次输出匹配成功的轨迹-车辆对、未匹配的轨迹以及未匹配的车辆；
9、步骤3.3、根据两次匹配成功的轨迹-车辆对，使用卡尔曼滤波进行轨迹更新和预测，形成新的轨迹更新历史轨迹池，同时更新匹配成功的轨迹的id列表，新增记录该轨迹的id；而未匹配的车辆被视为新进入该摄像头的车辆，初始化一个轨迹来记录该车辆，并为该轨迹初始化一个id和一个id列表；对于未匹配的轨迹，其连续未匹配时间加1，若连续未匹配时间超出了局部缓冲时间，将被视为车辆已经离开了当前摄像头，则将该轨迹移出历史轨迹池；
10、步骤4、跨摄像头多目标车辆跟踪，包括：
11、步骤4.1、取当前摄像头camx的历史轨迹池中的活跃轨迹，同时取上一摄像头camx-1中未超过全局缓冲时间的轨迹，计算两个摄像头中所取轨迹的深度外观特征距离，并以深度外观特征距离作为匈牙利匹配的代价矩阵，输出匹配成功的轨迹-轨迹对和未匹配的轨迹；
12、步骤4.2、根据匹配成功的轨迹-轨迹对，修改摄像头camx中匹配成功的轨迹的id列表的最新一位，使之与摄像头camx-1中与之匹配的轨迹的id保持一致，接着，选取摄像头camx中匹配成功的轨迹的id列表中出现最频繁的一个id作为该轨迹最新的id；对于摄像头camx-1中未匹配的轨迹，其连续未匹配时间加1，若连续未匹配时间超出了全局缓冲时间，将被视为车辆已经离开跟踪范围，更改该轨迹状态标识并不再参与下一时间步的跨摄像头匹配；对于摄像头camx中未匹配的轨迹，则继续与更前一个摄像头camx-2的中未超过全局缓冲时间的轨迹进行匹配，依次向前匹配直到摄像头camx中所有活跃轨迹均匹配成功或直到完成了与第一个摄像头cam1的匹配。
13、以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
14、作为优选，所述根据获取的视频帧检测并裁剪出车辆图片，将车辆图片进行编码后与检测输出的检测框和置信度对齐，包括：
15、取摄像头camx的当前视频帧it，通过移动窗口注意力检测器，输出当前视频帧it中所出现的车辆的检测框dn和置信度分数cn，删除置信度分数cn小于置信度阈值的低质量检测目标，将剩余的结果按照检测框范围在当前视频帧it上进行剪裁，得到不同尺寸的车辆图片xn，对车辆图片xn进行编码后与对应的检测框和置信度分数对齐。
16、作为优选，所述浅融合分支采用深度残差网络resnet-50，每次下采样特征的通道维度加深，宽高维度减小，最后得到该分支输出的浅融合特征。
17、作为优选，所述深融合分支采用基于神经网络架构搜索对交互模块进行搜索后得到的msinet网络；
18、每次下采样之前先复制输入的特征图f，分别记为特征图f1、f2，特征图f1经过1×1卷积和三个串联的深度3×3卷积层得到特征图f1′，而特征图f2经过1×1卷积和一个深度3×3卷积层得到特征图f2′，特征图f1′的感受野大小为特征图f2′的三倍，接着，msinet网络根据搜索结果选择对应的交互模块，将特征图f1′与特征图f2′进行交换、加权、注意力运算或保持不变输入到下一阶段；
19、将上一阶段的输出作为新的特征图f1、f2，并对新的特征图f1、f2执行与上一阶段相同的操作得到新的特征图f1′与f2′；
20、最后将新的特征图f1′与f2′相加得到特征图f′，将特征图f与特征图f′相加作为下采样的输入得到下采样后的特征图f″，将特征图f″输入一个全连接层，得到该分支输出的深融合特征。
21、作为优选，所述历史轨迹池内的每一条轨迹代表一个车辆目标，记录了历史帧中该车辆的所有检测框信息、连续未匹配时间、该车辆的深度外观特征、一个id以及一个id列表，id列表以列表形式记录每个时刻标识id是否有变化。
22、本技术提供的一种基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，与现有技术相比，具有以下有益效果：该方法是一个严格在线(无延迟在线)的多摄像头多目标跟踪方法，不需要道路和摄像头的先验知识，既可以逐帧处理数据也可以跟踪完整视频。通过创建标签匹配的多摄像头场景匹配策略，有效地解决了目标的遮挡或丢失问题。设计轻量级的并行多尺度特征提取器，优化了处理目标分辨率差异，提升了冲识别过程中外观特征的稳定性和鲁棒性。
1.一种基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，其特征在于，所述基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，包括：
2.根据权利要求1所述的基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，其特征在于，所述根据获取的视频帧检测并裁剪出车辆图片，将车辆图片进行编码后与检测输出的检测框和置信度对齐，包括：
3.根据权利要求1所述的基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，其特征在于，所述浅融合分支采用深度残差网络resnet-50，每次下采样特征的通道维度加深，宽高维度减小，最后得到该分支输出的浅融合特征。
4.根据权利要求1所述的基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，其特征在于，所述深融合分支采用基于神经网络架构搜索对交互模块进行搜索后得到的msinet网络；
5.根据权利要求1所述的基于深度学习的无延迟在线跨摄像头多目标车辆跟踪方法，其特征在于，所述历史轨迹池内的每一条轨迹代表一个车辆目标，记录了历史帧中该车辆的所有检测框信息、连续未匹配时间、该车辆的深度外观特征、一个id以及一个id列表，id列表以列表形式记录每个时刻标识id是否有变化。
