本技术属于起重机，涉及一种俯视视角的起重机主副吊钩起落运动识别方法和系统。
背景技术：
1、工程机械的智能化正在大步往前迈进，而移动式起重机的智能化正是其中重要的一员；移动式起重机智能化主要是向着更少人，更安全，更高效的方向发展；起重机吊钩操作过程容易因为距离太远人眼不好判断从而错误操作吊钩，有可能带来安全和效率低下的问题。
2、申请号为cn202110453750.4的中国专利提出一种起重机吊钩定位及防摇装置，属于智能起重机技术领域。包括：固定安装在桥门式起重机横梁上的单目相机和控制单元，粘贴在吊钩上表面的aruco二维码；控制单元还连接控制吊钩运动的小车或电葫芦，控制单元接收单目相机实时拍摄的图像，进行吊钩姿态结算，吊钩姿态包括吊钩欧拉角、吊钩绳长、吊钩速度和加速度，当吊钩姿态超出安全阈值时，控制单元启动防摇摆功能，输出控制指令给小车或电葫芦，使得吊钩运动状态恢复到安全作业参数范围内。
3、现有的技术偏向使用双目相机来实现吊钩位姿识别，或者依赖外部的二维码来实现；通过orb特征点的方法做双目相机的匹配；使用双目相机会带来成本的上升，使用外部的二维码容易造成损耗，降低系统的稳定性，使用orb特征点的匹配容易带来匹配失败的问题。另外，现有方法中吊钩只有一个吊钩，没有主吊钩和副吊钩之分。
技术实现思路
1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
2、为了解决相关技术中存在的问题，本公开实施例提供了俯视视角的起重机主副吊钩起落运动识别方法和系统，用以解决现有技术中起重机吊钩操作过程中对主副吊钩的俯视视角下，识别精度不高的问题。
3、在一些实施例中，提供了一种俯视视角的起重机主副吊钩起落运动识别方法，其特征在于，应用于起重机主副吊钩起落运动识别系统，所述系统包括单目相机、车载屏幕和控制模块，所述方法包括：
4、接收主副钩俯视视角图像，主副钩俯视视角图像包括主吊钩和副吊钩；其中，主吊钩为长方形，副吊钩为圆形；
5、识别主吊钩和副吊钩；
6、基于识别到的主吊钩，计算出主吊钩检测周长和主吊钩中心；
7、分析出主吊钩位置变化率和主吊钩周长变化率；
8、基于识别到的主吊钩，计算出主吊钩检测周长和主吊钩中心；
9、分析出副吊钩位置变化率和副吊钩周长变化率；
10、基于主吊钩位置变化率、主吊钩周长变化率、副吊钩位置变化率和副吊钩周长变化率，来识别主吊钩移动和副吊钩移动。
11、优选的，识别主吊钩和副吊钩，包括：
12、建立主副钩检测模型，来检测主吊钩检测框位置和四个关键点，检测副吊钩的检测框位置；所述主副钩检测模型通过基于yolov5的网络结构，修改了yolov5模型末端的detection层，由于特征点检测的引入将输出的基本通道数设计为15个；即每个锚点下包含检测框的宽、高、二维位置、置信度占据5个通道，四个二维特征点占据8个通道，还有主吊钩和副吊钩两类占据2个通道；同时修改了该模型训练时的损失函数引入特征点误差即平滑l1损失函数。
13、优选的，计算出主吊钩检测周长，包括：
14、识别到主吊钩的四个角点，将对应角点组成的长方形，作为主吊钩检测框；
15、计算出主吊钩检测框的周长，作为主吊钩检测周长。
16、优选的，计算出主吊钩中心，包括：
17、将四个角点的二维坐标求和，求解平均值，获得主吊钩在单目相机像素坐标系下的中心位置p1，作为主吊钩中心。
18、优选的，计算出副吊钩检测周长，包括：
19、识别副吊钩所在圆形，将对应圆形所在的正方形，作为副吊钩检测框；
20、计算出副吊钩检测框的周长，作为副吊钩检测周长。
21、优选的，计算出副吊钩中心，包括：
22、将副吊钩检测框的中心位置p2，作为副吊钩中心。
23、优选的，检测周长来分析位置变化率和周长变化率，是通过卡尔曼滤波器来计算，
24、卡尔曼滤波器的状态预测转移方程如下：
25、
26、本方法的卡尔曼滤波器的状态观测方程如下：
27、
28、其中为卡尔曼滤波第n帧的更新状态中的吊钩位置，卡尔曼滤波第n帧的更新状态中的吊钩的周长，为卡尔曼滤波第n帧的更新状态中吊钩在单目相机像素坐标系x轴方向的位置变化率，为卡尔曼滤波第n帧的更新状态中吊钩在单目相机像素坐标系y轴方向的位置变化率，为卡尔曼滤波第n帧的更新状态中吊钩在单目相机像素坐标系中周长变化率；其中为卡尔曼滤波预测第n+1帧状态中的吊钩位置，卡尔曼滤波预测第n+1帧状态中的吊钩的周长，为卡尔曼滤波预测第n+1帧状态中吊钩在单目相机像素坐标系x轴方向的位置变化率，为卡尔曼滤波预测第n+1帧状态中吊钩在单目相机像素坐标系y轴方向的位置变化率，为卡尔曼滤波预测第n+1帧状态中吊钩在单目相机像素坐标系中周长变化率，dt为单目相机前后两帧图像的时间间隔。其中为卡尔曼滤波器中第n+1帧通过主副钩检测模型检测吊钩位置的测量观测，为卡尔曼滤波器中第n+1帧通过主副钩检测模型检测吊钩周长的测量观测。
29、优选的，识别主吊钩移动，包括：
30、通过卡尔曼滤波器，得到在单目相机像素坐标系的主吊钩位置变化率v1和主吊钩周长变化率v2；
31、配置在单目相机像素坐标系的位置变化率阈值u1和周长变化率的阈值u2；
32、当主吊钩在单目相机像素坐标系的位置变化率v1大于位置变化率阈值u1并且周长变化率v2大于周长变化率的阈值u2时则判断得到主钩在做起钩的操作，或者当主吊钩在单目相机像素坐标系的位置变化率v1小于位置变化率阈值-u1并且周长变化率v2小于周长变化率的阈值-u2时则判断得到主吊钩在做落钩的操作。
33、优选的，识别副吊钩移动，包括：
34、通过卡尔曼滤波器，得到在单目相机像素坐标系的副吊钩位置变化率v3和副吊钩周长变化率v4；
35、配置在单目相机像素坐标系的位置变化率阈值u3和周长变化率的阈值u4；
36、当副吊钩在单目相机像素坐标系的位置变化率v3大于位置变化率阈值u3并且周长变化率v4大于周长变化率的阈值u4时则判断得到主钩在做起钩的操作，或者当副吊钩在单目相机像素坐标系的位置变化率v1小于位置变化率阈值-u1并且周长变化率v2小于周长变化率的阈值-u2时则判断得到副吊钩在做落钩的操作。
37、一些实施例中，提供一种起重机主副吊钩起落运动识别系统，执行上述的方法，包括：单目相机、车载屏幕和控制模块。
38、本公开实施例提供的一种俯视视角的起重机主副吊钩起落运动识别方法和系统，可以实现以下技术效果：
39、本公开实施例能够自适应重力的单目相机垂直俯视向下获取主吊钩和副吊钩的俯视图像，降低方法的成本，使用基于yolov5修改的模型检测主吊钩特征点和副吊钩的目标检测，能够提高检测的稳定性，通过卡尔曼滤波的方式判断主吊钩和副吊钩的运动状态即判断吊钩是落钩或者升钩的运动状态还是静止不动状态，能够更加精准地估计主吊钩和副吊钩的运动状态。
40、以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本技术。
1.一种俯视视角的起重机主副吊钩起落运动识别方法，其特征在于，应用于起重机主副吊钩起落运动识别系统，所述系统包括单目相机、车载屏幕和控制模块，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，识别主吊钩和副吊钩，包括：
3.根据权利要求1所述的方法，其特征在于，计算出主吊钩检测周长，包括：
4.根据权利要求3所述的方法，其特征在于，计算出主吊钩中心，包括：
5.根据权利要求1所述的方法，其特征在于，计算出副吊钩检测周长，包括：
6.根据权利要求5所述的方法，其特征在于，计算出副吊钩中心，包括：
7.根据权利要求1所述的方法，其特征在于，检测周长来分析位置变化率和周长变化率，是通过卡尔曼滤波器来计算，
8.根据权利要求7所述的方法，其特征在于，识别主吊钩移动，包括：
9.根据权利要求7所述的方法，其特征在于，识别副吊钩移动，包括：
10.一种起重机主副吊钩起落运动识别系统，其特征在于，所述系统执行如权利要求1至9中任一项所述的方法，包括：单目相机、车载屏幕和控制模块。
