一种多智能体协同感知方法、设备及存储介质

专利2025-05-15  17


本发明涉及协同感知,尤其涉及一种多智能体协同感知方法、设备及存储介质。


背景技术:

1、智能体是指能够感知环境、通过决策、动作来达成某种目标的实体,随着深度学习的发展,智能体在语义分割、深度估计和目标检测和跟踪等感知任务中得到了显著改善。但是单个智能体在较远的距离上,容易受到遮挡和传感器观测数据稀疏的影响,原因是单个智能体只能从有限的视觉感知环境。

2、协同感知通过构建多个智能体的系统,通过共享感知的信息来克服单个智能体的视觉限制。协同感知利用同一场景的多个视点的优势,不仅能够检测远处和遮挡的物体,而且提高了密集区域的检测精度,能够更全面准确地了解环境,从而更好地完成下游任务。

3、现有技术中的协同感知方案,通常假设了理想的感知和通信环境,然而实际应用时协同感知面临着一些复杂场景挑战,例如多源噪声干扰、感知差异等问题。在复杂感知场景中,多源噪声干扰对协同感知系统的性能影响非常大,例如车辆定位时的位姿噪声,检测快速移动物体时的运动模糊以及原始数据中的感知噪声,会导致位姿信息不准确等问题,协同感知系统可能会被误导,使得协同性能比单个智能体感知差。所以在实际应用中,这些噪声是不可忽视的,噪声会使得协同感知的准确性和鲁棒性变差。另外,现有的协同感知过程中智能体之间通信需要消耗大量通信带宽,协同效率较低。

4、因此,在协同感知过程中,如何克服噪声导致的负面影响以及提高协同效率,是亟需解决的问题。


技术实现思路

1、本发明提供一种多智能体协同感知方法、设备及存储介质,用以解决现有技术在协同感知过程中,存在未考虑噪声负面影响导致感知准确性、鲁棒性较差的缺陷以及协同效率较低的问题。

2、本发明提供一种多智能体协同感知方法,应用于中心智能体,包括:

3、获取第一原始点云数据;

4、根据所述第一原始点云数据,获取第一多尺度特征,所述第一多尺度特征包括多个尺度下提取的特征;

5、对所述第一多尺度特征进行挑选处理,以获取信息量值大于预设阈值的特征形成第一高信息量特征;

6、将所述第一高信息量特征广播至各个协同智能体,以获取各个所述协同智能体反馈的第二高信息量特征,所述第二高信息量特征由所述协同智能体将所述第一高信息量特征与自身的第二原始点云数据进行第一融合处理以及挑选处理获得;

7、将所述第一高信息量特征与全部所述第二高信息量特征进行第二融合处理,获取融合协同特征;

8、根据所述融合协同特征,生成检测结果信息。

9、根据本发明提供的一种多智能体协同感知方法,在所述根据所述融合协同特征,生成检测结果信息之前,还包括:

10、获取历史点云数据以及历史运动特征;

11、根据所述历史点云数据、所述历史运动特征以及所述第一原始点云数据,获取当前运动特征;

12、根据所述当前运动特征,对所述融合协同特征进行处理以降低运动模糊。

13、根据本发明提供的一种多智能体协同感知方法,所述根据所述历史点云数据、所述历史运动特征以及所述第一原始点云数据,获取当前运动特征,包括:

14、将所述历史点云数据转换至当前坐标系并生成历史鸟瞰特征图;

15、根据所述第一原始点云数据,生成当前鸟瞰特征图;

16、根据所述历史鸟瞰特征图以及所述当前鸟瞰特征图,生成上下文信息;

17、对所述上下文信息进行第一卷积处理,获取空间位移信息;

18、对所述空间位移信息以及所述历史鸟瞰特征图进行第二卷积处理,获取位置点移动特征;

19、将所述位置点移动特征与所述历史运动特征进行特征通道拼接处理,形成运动拼接特征;

20、对所述运动拼接特征进行通道空间注意力处理以及归一化处理,获取更新门信息,所述更新门信息表征各个位置对应特征被保留的概率;

21、根据所述更新门信息、所述历史运动特征以及所述位置点移动特征,获取所述当前运动特征。

22、根据本发明提供的一种多智能体协同感知方法,所述对所述第一多尺度特征进行挑选处理,以获取信息量值大于预设阈值的特征形成第一高信息量特征,包括:

23、将所述第一多尺度特征展平并连接形成第一特征序列;

24、对所述第一特征序列进行特征维度池化处理,生成语义置信序列,所述语义置信序列表征特征的语义信息量值;

25、根据预设的选择函数对所述语义置信序列进行处理,形成挑选序列,所述挑选序列表征语义信息量值大于预设阈值的特征所在序列位置;

26、根据所述第一特征序列与所述挑选序列,生成所述第一高信息量特征。

27、根据本发明提供的一种多智能体协同感知方法,所述第一高信息量特征包括多个尺度下的特征,所述第二高信息量特征包括与所述第一高信息量特征对应尺度下的特征;所述将所述第一高信息量特征与全部所述第二高信息量特征进行第二融合处理,获取融合协同特征,包括:

28、根据所述第一高信息量特征以及所述第二高信息量特征,将相同尺度下的特征进行堆叠,获取多尺度聚合特征;

29、对所述多尺度聚合特征进行最大池化处理,获取最大池化多尺度特征,对所述多尺度聚合特征进行平均池化处理,获取平均池化多尺度特征;

30、将所述最大池化多尺度特征与所述平均池化多尺度特征融合,获取多尺度融合特征;

31、对所述多尺度融合特征中各个尺度下的特征进行采样,转换为相同尺度下的特征并进行拼接,形成所述融合协同特征。

32、本发明还提供一种多智能体协同感知方法,应用于协同智能体,包括:

33、获取中心智能体的中心位姿数据;

34、根据所述中心位姿数据,生成转换矩阵;

35、获取第二原始点云数据;

36、根据所述转换矩阵,将所述第二原始点云数据转换至所述中心智能体的坐标系下,形成协同感知数据;

37、根据所述协同感知数据,获取第二多尺度特征;

38、获取中心智能体的第一高信息量特征;

39、将所述第一高信息量特征以及所述第二多尺度特征进行第一融合处理,获取多尺度协同特征;

40、对所述多尺度协同特征进行挑选处理,以获取信息量值大于预设阈值的特征形成第二高信息量特征;

41、将所述第二高信息量特征发送至所述中心智能体,以使得所述中心智能体将所述第一高信息量特征与所述第二高信息量特征进行第二融合处理,获取融合协同特征,生成检测结果信息。

42、根据本发明提供的一种多智能体协同感知方法,所述将所述第一高信息量特征以及所述第二多尺度特征进行第一融合处理,获取多尺度协同特征,包括:

43、将所述第一高信息量特征与所述第二多尺度特征进行取最大值融合,获取第三多尺度特征;

44、对所述第三多尺度特征中不同尺度的特征进行金字塔采样,获取与尺度对应的第四多尺度特征;

45、将多个所述第四多尺度特征中对应相同尺度的特征进行融合,获取第五多尺度特征;

46、将所述第三多尺度特征与所述第五多尺度特征进行融合,获取第六多尺度特征;

47、对所述第六多尺度特征进行多尺度可变自注意力特征融合处理,获取所述多尺度协同特征。

48、根据本发明提供的一种多智能体协同感知方法,所述对所述第六多尺度特征进行多尺度可变自注意力特征融合处理,获取所述多尺度协同特征,包括:

49、将所述第六多尺度特征展平并连接形成第二特征序列;

50、根据所述第二特征序列,获取采样偏移量序列、注意力权重序列以及注意力值序列;

51、将所述采样偏移量序列、所述注意力权重序列以及所述注意力值序列融合,获取所述多尺度协同特征。

52、本发明还提供一种多智能体协同感知方法,应用于协同感知系统,所述协同感知系统包括多个智能体,包括:

53、从多个所述智能体中随机选择其中一个所述智能体作为中心智能体,其余所述智能体作为协同智能体;

54、所述中心智能体执行上述应用于中心智能体的一种多智能体协同感知方法,所述协同智能体执行上述应用于协同智能体的一种多智能体协同感知方法。

55、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述应用于中心智能体的一种多智能体协同感知方法或者上述应用于协同智能体的一种多智能体协同感知方法。

56、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述应用于中心智能体的一种多智能体协同感知方法或者上述应用于协同智能体的一种多智能体协同感知方法。

57、本发明提供的一种多智能体协同感知方法、设备及存储介质,至少具有以下有益效果:中心智能体根据自身的第一原始点云数据,从多个尺度下提取特征形成第一多尺度特征,进而从多个尺度层次的特征中筛选出信息量值大于预设阈值的特征,形成第一高信息量特征。中心智能体将第一高信息量特征共享给各个协同智能体,以获取协同智能体生成的第二高信息量特征,第二高信息量特征是由第一高信息量特征与自身的第二原始点云数据进行第一融合处理并且同样经过挑选处理后生成。中心智能体将第一高信息量特征与全部第二高信息量特征进行第二融合处理,获取融合协同特征,进而生成检测结果信息,达到协同感知的效果。以此,第一高信息量特征与第二高信息量特征,通过挑选获得的高信息量值的特征,能够降低噪声导致的感知偏差影响,同时降低通信带宽消耗,有利于提高协同效率。另外利用第一融合处理以及第二融合处理的双阶段融合,在不同阶段对传递的高信息量值的特征进行融合,降低协同感知过程中位姿噪声导致的影响。


技术特征:

1.一种多智能体协同感知方法,其特征在于,应用于中心智能体,包括:

2.根据权利要求1所述的一种多智能体协同感知方法,其特征在于,在所述根据所述融合协同特征,生成检测结果信息之前,还包括:

3.根据权利要求2所述的一种多智能体协同感知方法,其特征在于,所述根据所述历史点云数据、所述历史运动特征以及所述第一原始点云数据,获取当前运动特征,包括:

4.根据权利要求1所述的一种多智能体协同感知方法,其特征在于,所述对所述第一多尺度特征进行挑选处理,以获取信息量值大于预设阈值的特征形成第一高信息量特征,包括:

5.根据权利要求1所述的一种多智能体协同感知方法,其特征在于,所述第一高信息量特征包括多个尺度下的特征,所述第二高信息量特征包括与所述第一高信息量特征对应尺度下的特征;所述将所述第一高信息量特征与全部所述第二高信息量特征进行第二融合处理,获取融合协同特征,包括:

6.一种多智能体协同感知方法,其特征在于,应用于协同智能体,包括:

7.根据权利要求6所述的一种多智能体协同感知方法,其特征在于,所述将所述第一高信息量特征以及所述第二多尺度特征进行第一融合处理,获取多尺度协同特征,包括:

8.根据权利要求7所述的一种多智能体协同感知方法,其特征在于,所述对所述第六多尺度特征进行多尺度可变自注意力特征融合处理,获取所述多尺度协同特征,包括:

9.一种多智能体协同感知方法,其特征在于,应用于协同感知系统,所述协同感知系统包括多个智能体,包括:

10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一权利要求所述的一种多智能体协同感知方法或者如权利要求6至8任一权利要求所述的一种多智能体协同感知方法。

11.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一权利要求所述的一种多智能体协同感知方法或者如权利要求6至8任一权利要求所述的一种多智能体协同感知方法。


技术总结
本发明提供一种多智能体协同感知方法、设备及存储介质,涉及协同感知技术领域,所述方法包括:获取第一原始点云数据;根据第一原始点云数据,获取第一多尺度特征;对第一多尺度特征进行挑选处理,获取第一高信息量特征;将第一高信息量特征广播至各个协同智能体,获取第二高信息量特征;将第一高信息量特征与全部第二高信息量特征进行第二融合处理,获取融合协同特征;根据融合协同特征,生成检测结果信息。通过挑选获得的高信息量值的特征,降低噪声导致的感知偏差影响,同时降低通信带宽消耗提高协同效率。利用第一融合处理以及第二融合处理的双阶段融合,在不同阶段对传递的高信息量值的特征进行融合,降低协同感知过程中位姿噪声的影响。

技术研发人员:刘瑜,李徵,洪诗昕,李劭辉,姜智卓,李耀文,何友
受保护的技术使用者:清华大学深圳国际研究生院
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/index.php/read-1819790.html

最新回复(0)