本发明属于无人集群协同目标检测,具体来说,涉及一种无人集群的轻量级多视角协同图像识别方法。
背景技术:
1、随着无人机技术的发展和普及,无人机集群已成为一个备受关注的领域。在该领域中,利用多个无人机获取的多视角图像实现高效准确的目标识别一直是一个重要挑战。对于某些应用场景,如军事侦察、边境监测和灾害救援,使用多视角图像识别方法可以显著提高准确性,有助于减少漏检和误报。
2、目前在深度学习领域,学者们通常使用基于体素、基于点集和基于视图的方法进行3d目标识别。基于体素的方法将物体表示为3d网格,并使用3d网络进行分析。而基于点集的方法则将物体表示为无序的点集,并使用点云进行预测。这两种方法也被称为基于模型的方法,它们利用3d卷积滤波器对3d形状进行卷积并直接生成3d表示。然而,由于计算成本的限制,它们的实际应用有些受限。相比之下,基于视图的方法将3d物体表示为多个2d视图,并使用2d卷积滤波器对这些视图进行卷积。这种方法不依赖于复杂的3d特征,易于捕捉输入视图,并且可以使用成熟先进的网络框架。在遮挡的情况下,来自不同视角的视图可以互补物体特征细节,从而获得出色的识别性能。
3、目前,尚未有学者将这些3d识别方法应用于无人机集群领域,这主要是由于多视角目标识别所需的较高计算资源和涉及到的复杂算法。这显然不适合我们将多视角图像识别方法应用于无人机集群的目标。
技术实现思路
1、本发明要解决的技术问题是:提供一种无人集群的轻量级多视角协同图像识别方法,在减少计算资源需求的同时实现高效准确的目标识别。
2、为解决上述技术问题,本发明实施例采用如下技术方案:
3、本发明实施例提供一种无人集群的轻量级多视角协同图像识别方法,包括以下步骤:
4、步骤10,构建多视角识别无人集群系统,所述多视角识别无人集群系统包括头节点无人机和多个叶节点无人机,多个叶节点无人机均与头节点无人机通信;多个叶节点无人机分布在识别区域的不同方位;
5、步骤20,叶节点无人机采集识别对象的单视角图像,并提取单视角图像特征,将单视角图像特征传输给头节点无人机;
6、步骤30,头节点无人机将所有叶节点无人机发送的单视角图像特征进行关联聚合,得到多视角图像特征;利用所述多视角图像特征进行识别,得到识别结果。
7、作为本发明实施例的进一步改进,所述步骤20中,提取单视角图像特征,具体包括:
8、将单视角图像输入改进的resnet18模型中,提取最后一个全连接层之前的特征作为单视角图像特征。
9、作为本发明实施例的进一步改进,所述改进的resnet18模型采用可分离卷积。
10、作为本发明实施例的进一步改进,所述步骤30中,头节点无人机将所有叶节点无人机发送的单视角图像特征进行关联聚合,得到多视角图像特征,具体包括:
11、步骤301,基于所有叶节点无人机的单视角图像特征,构建初始多视图;
12、步骤302,基于初始多视图中叶节点无人机之间的邻接关系,更新每个叶节点无人机的单视角图像特征,得到叶节点无人机的初更图像特征;
13、步骤303,基于初始多视图中叶节点无人机之间的远程关系,得到两两叶节点无人机的初更图像特征之间的关系特征,再融合叶节点无人机的初更图像特征,得到融合图像特征;
14、步骤304,对融合图像特征构建的图进行粗化,得到多视角图像特征。
15、作为本发明实施例的进一步改进,所述步骤302具体包括:
16、采用k近邻算法找到每个叶节点无人机的k个距离最近的叶节点无人机,得到稀疏邻接矩阵a∈m×m,m表示叶节点无人机的总数;
17、
18、式中,ai,j表示叶节点无人机i和叶节点无人机j之间的连接关系,ni,1,…,ni,k表示叶节点无人机i的k个最近相邻节点id的集合,nj,1,…,nj,k表示无人机j的k个最近相邻节点id的集合;
19、采用稀疏邻接矩阵a,利用式(2)更新每个叶节点无人机的单视角图像特征,得到叶节点无人机的初更图像特征:
20、
21、式中,f′i表示叶节点无人机i的初更图像特征,fj表示叶节点无人机j的单视角图像特征,σ表示激活函数,w表示权重矩阵。
22、作为本发明实施例的进一步改进,所述步骤303具体包括:
23、将两两叶节点无人机的初更图像特征进行拼接,通过关联模块输出得到每个叶节点无人机的关系特征;
24、将叶节点无人机的关系特征与叶节点无人机的初更图像特征进行拼接,通过融合模块输出得到融合图像特征。
25、作为本发明实施例的进一步改进,所述步骤304中,采用最远点采样算法对融合图像特征构建的图进行粗化。
26、与现有技术相比,本发明的技术方案具有以下有益效果:
27、本发明提供的一种无人集群的轻量级多视角协同图像识别方法,利用多个叶节点无人机分别在不同方位采集识别对象的单视角图像,各叶节点无人机分别采用轻量级模型提取单视角图像特征,减少计算资源;各叶节点无人机将单视角图像特征传输给节点无人机,而不是将单视角图像发送给头节点无人机,减少无人集群内的通信资源,降低通信成本;头节点无人机将叶节点无人机发送的单视角图像特征进行关联融合,得到多视角图像特征,从而利用多视角图像特征进行识别,提高识别准确率。
1.一种无人集群的轻量级多视角协同图像识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的无人集群的轻量级多视角协同图像识别方法,其特征在于,所述步骤20中,提取单视角图像特征,具体包括:
3.根据权利要求2所述的无人集群的轻量级多视角协同图像识别方法,其特征在于,所述改进的resnet18模型采用可分离卷积。
4.根据权利要求1所述的无人集群的轻量级多视角协同图像识别方法,其特征在于,所述步骤30中,头节点无人机将所有叶节点无人机发送的单视角图像特征进行关联聚合,得到多视角图像特征,具体包括:
5.根据权利要求4所述的无人集群的轻量级多视角协同图像识别方法,其特征在于,所述步骤302具体包括:
6.根据权利要求4所述的无人集群的轻量级多视角协同图像识别方法,其特征在于,所述步骤303具体包括:
7.根据权利要求4所述的无人集群的轻量级多视角协同图像识别方法,其特征在于,所述步骤304中,采用最远点采样算法对融合图像特征构建的图进行粗化。