一种具身智能推土机器人自主施工方法及系统

专利2026-06-30  10


本发明属于机器人智慧施工领域,更具体地,涉及一种具身智能推土机器人自主施工方法及系统。


背景技术:

1、近年来,传统建造行业深入推进信息化与工业化的融合建设,工程机械智慧施工相关技术不仅能降低工程机械的施工风险,提升施工效率,还能节省成本,解决用工难等问题,有着广阔的应用前景。

2、推土机作为基础设施建设与各类工程项目中不可或缺的重型装备,其主要职责在于执行挖掘、装载、运输和排弃土石方等关键施工任务,在基础建设、公路修建、铁路工程、水利设施建设、矿山开发以及城市化进程中的多个领域发挥着重要作用。随着机器人技术在工程机械领域的深度融合应用,智能推土机器人有望显著提升施工效率与精度。

3、然而,在复杂多变且充满不确定性因素的施工现场环境中,传统机器人技术面临严峻挑战,例如,推土机器人对未知且崎岖不平的复杂施工地形中的适应性较差,并且难以应对非结构化作业环境下各种突发状况。这些问题直接导致推土机器人在自主施工过程中效率低下、作业质量较差,并可能存在施工作业安全潜在隐患。


技术实现思路

1、针对现有技术的以上缺陷或改进需求,本发明提供了一种具身智能推土机器人自主施工方法及系统,其目的在于,实现具身智能推土机器人在复杂施工环境下精准、高效地自主施工。

2、为实现上述目的,按照本发明的一方面,提出了一种具身智能推土机器人自主施工方法,包括如下步骤:

3、s1、根据施工方案生成文本单元,根据现场环境信息生成视觉目标单元;基于文本单元和视觉目标单元,通过图文交错的方式形成作业指令;

4、s2、将作业指令输入到经过预训练的运动规划大模型中,生成作业规划结果;

5、s3、具身智能推土机器人按照生成的作业规划结果进行施工,在施工的同时观测机器人状态信息,并将机器人状态信息输入到经过预训练的状态检测模型中,经过预训练的状态检测模型基于机器人状态信息,输出调整策略,调整策略包括继续作业、重新规划作业、终止作业;

6、当调整策略为继续作业时,继续按当前作业规划结果进行施工;当调整策略为重新规划作业时,回到步骤s1,实时感知现场环境信息,生成新的视觉目标单元,更新作业指令,从而更新作业规划结果;当调整策略为终止作业时,结束施工。

7、作为进一步优选的,步骤s2中,所述运动规划大模型为基于transformer架构的文本-视觉大模型。

8、作为进一步优选的,步骤s2中,对运动规划大模型进行预训练,包括:

9、构建离线的运动规划数据集:将具身智能推土机器人的一次铲土、运土、卸土、回程作为一个作业循环;获取具身智能推土机器人在不同作业场景和区域下的作业数据,并将作业数据按单个作业循环进行拆分,得到多个作业实例;随机组合各作业实例,对数据进行扩增,得到多组作业指令-作业规划数据,从而形成离线的运动规划数据集;

10、通过离线的运动规划数据集对运动规划大模型进行训练,得到经过预训练的运动规划大模型。

11、作为进一步优选的,步骤s1中,基于文本单元和视觉目标单元,通过图文交错的方式形成作业指令,具体为:文本单元为施工方案中的作业信息,以文本格式表示;视觉目标单元为施工场地内的目标物体,以图像形式表示;进而将文本单元和视觉目标单元组合形成作业指令。

12、作为进一步优选的,步骤s1中,根据施工方案,通过预训练好的t5模型生成文本单元;根据现场环境信息,通过预训练好的视觉大模型sam生成视觉目标单元。

13、作为进一步优选的,步骤s3中,状态检测模型的构建方法为:

14、基于transformer搭建文本-视觉大模型作为教师模型,然后通过知识蒸馏,降低教师模型的参数数量,将得到的学生模型作为状态检测模型。

15、作为进一步优选的,步骤s3中,在进行知识蒸馏的过程中,采用的损失函数 为:

16、

17、其中, 和分别表示学生模型和教师模型的隐藏层,表示一种可学习的线性变换,mse表示均方误差损失。

18、作为进一步优选的,步骤s3中,机器人状态信息包括机器人位置、机器人偏转方向以及机器人推土铲位置。

19、作为进一步优选的,在具身智能推土机器人完成施工后,获取有效的作业指令-作业规划数据,并将其加入运动规划数据集,进而对运动规划大模型进行再次训练更新;所述有效的作业指令-作业规划数据指没有中途终止作业的数据。

20、按照本发明的另一方面,提供了一种具身智能推土机器人自主施工系统,包括处理器,所述处理器用于执行上述具身智能推土机器人自主施工方法。

21、总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:

22、1.本发明具身智能机器人在接受获取到施工方案和环境信息后,通过图文交错的方式形成作业指令,可有效结合图像丰富语义信息优势以及文本的精确描述特点,确保作业指令准确与高效的传递,进而提升推土机器人对施工方案和环境的理解能力。随后,通过预训练的运动规划大模型生成作业规划结果,再通过环境交互的方式更新作业规划结果。本发明可提升具身智能机器人的自主施工能力和适应性,满足高度复杂施工环境下精准、高效、安全的自主施工需要。

23、2.具身智能推土机器人在复杂多变施工场景中执行精细化作业工序所面临的挑战,如动态环境适应性、未知场景理解和复杂任务处理等难题,以及大型工程机械因操作不当可能引发的重大安全风险问题。本发明利用多模态的大模型技术,推土机器人能够在充分领会和解析施工计划的基础上,实现对多种不同场景、多重任务及变化环境条件下的自主施工活动的高度适应与有效管理,使得作业的精度、效率与安全性均得到显著提升。

24、3.施工场景是动态多变的,因此面向施工场景大模型的训练依靠大量数据才能达到好的效果,仅通过人工采集的方式难以获取大量的作业规划数据,将会导致运动规划大模型对于复杂场景的泛化性能不佳。本发明将采集的数据按单次作业循环实例化后,通过随机组合的方式,对模型训练的数据进行有效扩增,增加了数据量的同时,也提高了数据的复杂性。

25、4.推土机器人在施工环境中可能会遭受多种干扰问题,例如施工现场的震动问题等,此外,也会面临多种突发状况,例如场地塌陷、物体坠落等等。具身智能机器人需要具备及时、有效的环境交互能力,根据现场实际情况和作业完成情况重新更改作业规划的结果,以保障作业质量与作业安全。因此,本发明利用轻量化的文本-视觉大模型,输出相应的状态调整策略,以有效增强了推土机器人在面对复杂多变且易受外界干扰条件下的适应性和决策能力,从而有力保障了其能够在各种情况下自主、稳健地完成各类施工任务。



技术特征:

1.一种具身智能推土机器人自主施工方法,其特征在于,包括如下步骤:

2.如权利要求1所述的具身智能推土机器人自主施工方法,其特征在于,步骤s2中,所述运动规划大模型为基于transformer架构的文本-视觉大模型。

3.如权利要求1所述的具身智能推土机器人自主施工方法,其特征在于,步骤s2中,对运动规划大模型进行预训练,包括:

4.如权利要求1所述的具身智能推土机器人自主施工方法,其特征在于,步骤s1中,基于文本单元和视觉目标单元,通过图文交错的方式形成作业指令,具体为:文本单元为施工方案中的作业信息,以文本格式表示;视觉目标单元为施工场地内的目标物体,以图像形式表示;进而将文本单元和视觉目标单元组合形成作业指令。

5.如权利要求1所述的具身智能推土机器人自主施工方法,其特征在于,步骤s1中,根据施工方案,通过预训练好的t5模型生成文本单元;根据现场环境信息,通过预训练好的视觉大模型sam生成视觉目标单元。

6.如权利要求1所述的具身智能推土机器人自主施工方法,其特征在于,步骤s3中,状态检测模型的构建方法为:

7.如权利要求6所述的具身智能推土机器人自主施工方法,其特征在于,步骤s3中,在进行知识蒸馏的过程中,采用的损失函数为:

8.如权利要求1所述的具身智能推土机器人自主施工方法,其特征在于,步骤s3中,机器人状态信息包括机器人位置、机器人偏转方向以及机器人推土铲位置。

9.如权利要求1-8任一项所述的具身智能推土机器人自主施工方法,其特征在于,在具身智能推土机器人完成施工后,获取有效的作业指令-作业规划数据,并将其加入运动规划数据集,进而对运动规划大模型进行再次训练更新;所述有效的作业指令-作业规划数据指没有中途终止作业的数据。

10.一种具身智能推土机器人自主施工系统,其特征在于,包括处理器,所述处理器用于执行如权利要求1-9任一项所述的具身智能推土机器人自主施工方法。


技术总结
本发明属于机器人智慧施工领域,并具体公开了一种具身智能推土机器人自主施工方法及系统,其包括:根据施工方案生成文本单元,根据现场环境信息生成视觉目标单元,进而通过图文交错的方式形成作业指令;将作业指令输入到经过预训练的运动规划大模型中,生成作业规划结果;具身智能推土机器人按照作业规划结果进行施工,同时观测机器人状态信息,将机器人状态信息输入到经过预训练的状态检测模型中,经过预训练的状态检测模型基于机器人状态信息,输出调整策略,包括继续作业、重新规划作业、终止作业。本发明可提升具身智能机器人的自主施工能力,解决具身智能推土机器人对复杂多变、信息未知的非结构化土方施工环境下适应性不足的问题。

技术研发人员:周诚,王宇向,尤轲,鲁亚楠,窦全礼,姜雨田,武占刚,张如伟,黄亚军
受保护的技术使用者:华中科技大学
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1830808.html

最新回复(0)