基于视觉识别的钢卷智能吊装系统及方法与流程

专利2026-07-10  8


本发明涉及智能吊装,特别是涉及一种基于视觉识别的钢卷智能吊装系统及方法。


背景技术:

1、起重机作为各工业领域中重要的吊运机械,在工程应用中具有极其重要的地位。门式起重机是桥式起重机的变形,其轮廓像是门形框架,一般由机械单元、电气单元和金属结构单元组成。门式起重机的自动化改造除了智能控制大车与小车的运动轨迹,还要对吊具进行自动化改造。传统钢卷吊运的作业采用夹钳吊具,这种作业方式存在的问题是:(1)传统吊具虽然具有开关限位检测功能,但多数夹钳不具备视觉辅助定位功能,起吊过程中会损坏吊具,增加生产成本;(2)钢卷夹取及吊装过程中,传统吊具需要操作人员实时观察钢卷位置,同时考虑吊装过程中障碍物和地面人员位置等,往往效率比较低下且长时间工作易发生安全事故。

2、现有的钢卷吊装设备和技术虽然在一定程度上实现了自动化,但仍存在诸多不足。例如,中国授权专利cn105947892a公开了一种用于钢卷吊运智能化夹钳控制设备。存在的问题是虽然能够实现钢卷的自动抓取,但其设备中的电动机、接触器和限位开关等元件需要外部控制,缺乏自动化控制功能;该设备的限位开关和防撞限位只能提供基本的安全保护,可能无法满足特殊情况下的安全需求,如缺乏碰撞检测和自动停止功能。

3、中国授权专利cn219341510u公开了一种利用红外装置对起重机实施避障操作的系统。存在的问题是红外避障装置可能会受到温度变化的影响,造成误报警;并且敏感度需要根据工况进行调整,否则可能无法100%探测到所有障碍物,特别是对于某些材料或形状的障碍物。

4、中国授权专利cn107553490a公开了一种基于深度学习的单目视觉避障方法。存在的问题是单目视觉只能从一张图像中获取到2d的信息,无法直接获取到场景中物体的深度信息。这种缺乏深度信息可能导致难以准确地估计物体与机器人之间的距离,从而影响对障碍物进行有效避障的决策。如果训练数据只包含特定类型的场景或障碍物,模型可能无法准确地适应其他环境或未见过的障碍物。

5、所以本发明提供一种新的方案来解决此问题。


技术实现思路

1、本技术的主要目的在于提供一种基于视觉识别的钢卷智能吊装系统及方法,旨在通过先进的视觉识别技术,实现对钢卷位置的精确识别、自动抓取和避障操作,从而提高吊装作业的效率和安全性。

2、为实现上述目的,本技术提供基于视觉识别的钢卷智能吊装系统,包括:

3、环境信息采集装置,用于采集吊装环境中的关键信息;

4、上位机,用于根据环境信息规划钢卷搬运路径与运行速度,并生成起重机大车和小车的自主安全运行轨迹;以及

5、下位机,用于接收上位机发送的路径点并控制变频器,以驱动大车、小车电机按照规划轨迹完成物料搬运任务。

6、优选的,所述环境信息采集装置包括:

7、钢卷信息识别模块,用于采集钢卷信息,并将采集数据上传至所述上位机中进行比对;

8、吊钩状态监测模块,用于实时监测吊钩的位置、状态和开合程度;

9、图像采集模块,用于捕捉吊装路径上的障碍物和环境细节,提供立体视觉信息以辅助避障决策。

10、优选的,所述钢卷信息识别模块包括设置在所述起重机吊钩上的ccd相机,所述ccd相机用于识别待吊装钢卷上的二维码,并测量待吊装钢卷的尺寸。

11、优选的,所述吊钩状态监测模块包括:

12、激光测距仪,用于测量所述吊钩的升降高度;

13、编码器,用于测量所述吊钩的开合程度;以及

14、多个限位传感器,用于检测与限定钢卷在所述吊钩内的安全边界。

15、优选的,所述图像采集模块包括一个或多个双目相机,用于采集吊装路径上的图像数据,并上传至所述上位机中进行分析处理。

16、优选的,所述图像采集模块还包括激光雷达,所述激光雷达用于对吊装路径上的障碍物进行辅助定位。

17、优选的,所述下位机为plc模块。

18、基于视觉识别的钢卷智能吊装方法,包括如下步骤:

19、s1、下位机在接收到上位机下发的吊装指令后,控制起重机的大车和小车向目标移动;

20、s2、在大车和小车移动过程中执行避障操作;

21、s3、钢卷信息识别模块监测到目标后,利用ccd相机进行钢卷识别和测距,根据图像中线与钢卷中线的偏差信息,动态调整大车和小车位置,直至吊钩对准钢卷正上方;

22、s4、下位控制吊钩伸长并完成开合动作,进行钢卷的抓取和起吊。

23、优选的,所述步骤s2的具体操作步骤如下:

24、s21、深度学习模型训练:

25、收集起重机吊装路径上的障碍物图片,形成图像集,并对图像集进行预处理,提取目标信息;

26、标注图像集中的障碍物区域,形成深度学习的训练数据;

27、输入图像集至神经网络进行训练,输出障碍物框和背景框,并对模型进行轻量化改进;

28、s22、障碍物特征提取:

29、对图像采集模块采集到的图像数据和所述图像集进行resize处理;

30、使用sift算法提取特征点,并通过ransac算法筛选出匹配度高的特征点,进行障碍物识别;

31、s23、避障决策:

32、利用双目相机三角定位原理,计算障碍物的二维像素坐标点的深度信息;

33、根据深度信息计算相机坐标系下的三维坐标,并转换为工厂环境中的三维坐标;

34、设定最小安全距离,采用激光雷达对双目相机的测距结果进行修订;

35、根据计算结果进行动态避障。

36、优选的,所述步骤s23中需要获取障碍物中心点的具体坐标及障碍物的外轮廓宽度,其操作流程如下:

37、a)障碍物中心点坐标计算:

38、根据双目相机三角定位原理,求出障碍物二维像素坐标点的深度信息;

39、

40、其中:为双目相机焦距;为双目相机的镜头投影中心连线的距离;为特征匹配时获取的视差;

41、根据深度信息计算双目相机坐标系下的三维坐标:

42、

43、其中:、均为双目相机的内参;

44、根据双目相机坐标系下的三维坐标计算工厂环境中的三维坐标:

45、

46、其中:为三个方向旋转矩阵的乘积,为平移矩阵;

47、绕x轴的旋转矩阵;

48、绕y轴的旋转矩阵;

49、绕z轴的旋转矩阵;

50、b)障碍物外轮廓宽度计算:

51、设定障碍物中心点在相机坐标系下的三维坐标;

52、像素坐标系下障碍物左边框中点所对应的三维坐标;

53、障碍物的实际宽度:。

54、本技术实施例提出的基于视觉识别的钢卷智能吊装系统及方法,通过深度学习和机器视觉技术实现了对钢卷的精准定位与自动抓取,同时智能识别并规避障碍物,确保了作业的高效率和安全性。本技术方法能够动态调整吊装路径,实现实时避障,显著提高了吊装作业的自动化水平和安全性,综合利用多传感器数据,配合交互式用户界面,操作人员可以直观监控作业状态,进行有效的交互控制和实时调整,极大提升了整个吊装流程的智能化水平和操作便捷性,有效地解决了传统吊装作业中存在的效率低下和安全隐患问题,为智能工厂的物料运输提供了一种创新的解决方案。


技术特征:

1.基于视觉识别的钢卷智能吊装系统,其特征在于,包括:

2.根据权利要求1所述基于视觉识别的钢卷智能吊装系统,其特征在于,所述环境信息采集装置包括:

3.根据权利要求2所述基于视觉识别的钢卷智能吊装系统,其特征在于,所述钢卷信息识别模块包括设置在所述起重机吊钩上的ccd相机,所述ccd相机用于识别待吊装钢卷上的二维码,并测量待吊装钢卷的尺寸。

4.根据权利要求3所述基于视觉识别的钢卷智能吊装系统,其特征在于,所述吊钩状态监测模块包括:

5.根据权利要求4所述基于视觉识别的钢卷智能吊装系统,其特征在于,所述图像采集模块包括一个或多个双目相机,用于采集吊装路径上的图像数据,并上传至所述上位机中进行分析处理。

6.根据权利要求5所述基于视觉识别的钢卷智能吊装系统,其特征在于,所述图像采集模块还包括激光雷达,所述激光雷达用于对吊装路径上的障碍物进行辅助定位。

7.根据权利要求1-6任一所述基于视觉识别的钢卷智能吊装系统,其特征在于,所述下位机为plc模块。

8.基于视觉识别的钢卷智能吊装方法,其特征在于,包括如下步骤:

9.根据权利要求8所述基于视觉识别的钢卷智能吊装方法,其特征在于,所述步骤s2的具体操作步骤如下:

10.根据权利要求9所述基于视觉识别的钢卷智能吊装方法,其特征在于,所述步骤s23中需要获取障碍物中心点的具体坐标及障碍物的外轮廓宽度,其操作流程如下:


技术总结
本申请公开了一种基于视觉识别的钢卷智能吊装系统及方法,包括:环境信息采集装置,用于采集吊装环境中的关键信息;上位机,用于根据环境信息规划钢卷搬运路径与运行速度,并生成起重机大车和小车的自主安全运行轨迹;以及下位机,用于接收上位机发送的路径点并控制变频器,以驱动大车、小车电机按照规划轨迹完成物料搬运任务。本申请通过深度学习和机器视觉技术实现了对钢卷的精准定位与自动抓取,同时智能识别并规避障碍物,确保了作业的高效率和安全性。综合利用多传感器数据,配合交互式用户界面,操作人员可以直观监控作业状态,进行有效的交互控制和实时调整,极大提升了整个吊装流程的智能化水平和操作便捷性。

技术研发人员:马子领,上官林建,周宗帅,李冰,任海涛,姬宏贇
受保护的技术使用者:河南省矿山起重机有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1831317.html

最新回复(0)