本发明属于农业采摘设备，涉及一种视觉引导智能轻量扁平化番茄采摘机器人，尤其涉及该采摘机器人及控制方法。
背景技术：
1、番茄果肉甜美，在全球范围内被广泛种植。但是，由于番茄采摘是阶段性工作，在采收期往往面临劳动力短缺的问题，因此，为了应对不断增长的番茄产量和不断减少的农业劳动力不相匹配的风险，推动番茄收获工作由人工采摘向机器人自主采摘转变十分必要，能够提高采摘效率，促进现代农业的发展。
2、同时，采摘机构是完成采摘作业的基础性构件，它的好坏决定采摘机器人采摘性能。目前应用较多的是关节型机械臂，它能够到达空间任意位置有限，且关节型机械臂体积和重量都比较大，控制难度大，采摘运动速度低，制造成本高昂。番茄植株以层次结构生长且生长高度较高，关节型机械臂需要采用升降式的设备加以辅助才能进行采摘，进一步加大设备的造价及控制难度。
3、因此需要一款能够稳定采摘，应用于非结构化的农业环境的采摘机器人。本发明设计的一种视觉引导智能轻量扁平化番茄采摘机器人，采用柔索牵引的形式驱动末端执行器并实现视觉引导采摘，取代了传统关节型机械臂的刚性驱动，具有工作空间大、响应速度快、惯性小，造价低廉等特点，使得该机器人能够灵活适应非结构化的农业环境的番茄采摘工作。
技术实现思路
1、本发明为克服上述现有技术的不足之处，提供了一种视觉引导智能轻量扁平化番茄采摘机器人及控制方法，其特点是通过番茄果实图像进行点云数据融合得到番茄果实三维坐标点，进行视觉引导识别和定位番茄，驱动四根柔索及末端执行器进行番茄果实的采摘，并实现机器人在番茄果园内的自主定位导航。
2、本发明采用以下技术方案实现：一种视觉引导智能轻量扁平化番茄采摘机器人，其包括：
3、主体框架,其主体框架是用铝型材搭建采摘机器人的框架，可根据番茄植株及番茄果园的大小进行铝型材尺寸的定制；
4、柔索驱动装置，其包括电机驱动联轴器上的卷轮，卷动柔索，实现末端执行机构的平面运动；
5、柔索组，其包括是四根柔索的同一端分别固定在伺服电缸固定架的四角上，另一端则绕过四个定滑轮缠绕在对应的卷轮上；
6、末端执行机构，其包括伺服电缸、柔性机械手，伺服电缸实现空间中的z轴的运动，柔性机械手连接在伺服电缸的末端，用于抓取果实；
7、底部可移动平台,其包括橡胶履带底盘总成及激光雷达；
8、相机模块，其用于视觉引导识别番茄果实的采摘三维坐标；
9、控制系统，其用于通过相机模块反馈的番茄果实的采摘三维坐标，驱动相应的电机转动，使柔索组中的四根柔索收放相应的长度，实现末端执行机构的平面运动到番茄所在的平面坐标，再驱动伺服电缸进行z轴方向移动到番茄所在的z轴坐标，最后驱动柔性机械手实现番茄的抓取。
10、作为上述方案的进一步改进，所述主体框架还包括两根立梁铝型材与两根横梁铝型材依次直角相连接以构成一个矩形框架；两根下梁铝型材的中点与矩形框架中的一根横梁铝型材的末端相连接；两根斜梁铝型材的末端分别与立梁铝型材的中点和下梁铝型材的末端相连接；四个定滑轮分别安装在矩形框架的四角上。
11、作为上述方案的进一步改进，柔索驱动装置还包括驱动电机、联轴器、卷轮机构、卷轮固定板；其中卷轮机构包括轴承、卷轮以及固定支架；联轴器与驱动电机末端以及卷轮的一端相连，卷轮两端分别安装在轴承上；驱动电机以及固定支架安装在卷轮固定板上；四个柔索驱动装置分别固定在矩形框架的对应位置。
12、作为上述方案的进一步改进，所述末端执行机构还包括伺服电缸的中部与伺服电缸固定架相连接；柔性机械手由驱动电机及两个柔性夹爪组成；柔性机械手的驱动电机通过固定板与伺服电缸的前端轴相连接；伺服电缸控制柔性机械手在空间z轴方向的移动；柔性机械手的驱动电机控制其夹爪的闭合以实现番茄果实的采摘；
13、作为上述方案的进一步改进，所述相机模块固定在伺服电缸与柔性机械手相连接的固定板上；相机模块实时拍摄目标番茄的位置及柔性机械手的位置；利用深度学习算法模型识别图像中的番茄，通过建立规一化后的图像像素坐标系和采摘机器人的基坐标系的坐标转换矩阵关系分离出目标番茄的点云簇，求出分离出的点云簇的均值坐标，根据均值坐标描述目标番茄的空间位置。
14、进一步地，所述的控制系统包括电机控制器、主控制器；所述主控制器通过计算相机模块实时反馈的目标番茄三维坐标点及柔性机械手的相对位姿，得出四个柔索驱动装置的电机的相应转动步数及速度，再通过所述电机控制器驱动电机转动相应的步数及速度，同时电机控制器实时获取四个驱动电机编码器反馈的相应转动步数及速度给所述主控制器，所述主控制器通过编码器反馈的数值与当前相机模块得到的柔性机械手的空间位姿信息相比对，并对各个电机的步数及速度进行实时调整。
15、进一步地，四根柔索末端与伺服固定架四角相连接处均包括力传感器，实时检测四根柔索的张紧力反馈给所述主控制器；主控制器实时通过所述电机控制器调整驱动电机的步数及速度，对四根柔索进行力分配优化。
16、进一步地,该机器人根据番茄采摘路径最短的原则将番茄的采摘路径规划问题转化为单旅行商问题，利用遗传算法进行单旅行商问题的求解，通过算法的迭代计算，实现最优的番茄采摘顺序的规划。
17、进一步地,所述底部可移动平台中的激光雷达在行进过程中对番茄果园内的场景进行三维扫描后通过主控制器实现对场景的三维重建，构建增量式的全局环境地图，基于得到的全局环境地图，橡胶履带底盘总成在番茄果园内自动运行时，根据激光雷达当前所在位置扫描生成三张局部轮廓地图与全局环境地图对比得到目前底部可移动平台在全局地图中的位置，实现底部可移动平台的定位导航。
18、进一步地，本发明还提供一种控制方法，其应用于上述任意所述的视觉引导智能轻量扁平化番茄采摘机器人中，其包括如下步骤：
19、步骤一:控制系统自检及初始化，各个驱动电机及力传感器复位；人工手动操作底部可移动平台中的橡胶履带底盘总成从番茄果园内的起始点开始移动,激光雷达对周边环境进行扫描并返回起始点得到增量式的全局环境地图；
20、步骤二:采摘机器人的相机模块拍摄并记录当前柔性机械手初始位置为基础参考坐标点，建立机器人坐标系；
21、步骤三:采摘机器人的末端执行器从当前初始位置开始遍历整个采摘区域，相机模块采集目标番茄图像，所述主控制器进行目标番茄果实深度图处理及采摘关键点定位，得出采集图像中的番茄采摘关键点的三维坐标；
22、步骤四:主控制器得到相机反馈的番茄采摘关键点的三维坐标，进行番茄果实的采摘顺序规划，并将各个采摘的顺序指令发送给柔索驱动装置的驱动电机、伺服电缸及柔性机械手的驱动电机，控制四根柔索在矩形框架中的平面x,y轴方向运动、伺服电缸在空间中z轴的运动以及柔性机械手的采摘动作；
23、步骤五:相机模块实时拍摄并记录柔性机械手的运动位置；
24、步骤六:主控制器通过柔索驱动装置的驱动电机的编码器及伺服电缸驱动电机的编码器反馈的电机步数及速度，计算出当前柔性机械手的运动位置与相机反馈的实时柔性机械手的运动位置相对比，驱使驱动电机的步数及速度微调，进行柔性机械手实时位置的调整。
25、步骤七：采摘机器人的末端执行器回到初始位置，并再次遍历整个采摘区域，相机模块采集目标番茄图像，并反馈至主控制器，检测采摘区域内的番茄是否采摘完毕，否则主控制器将未采摘的目标番茄的三维坐标点，继续进行采摘顺序规划，并将采摘指令发送给柔索驱动装置及末端执行器。
26、步骤八：至此当前区域内的采摘工作完成，末端执行器回到初始位置，底部可移动平台定位导航至番茄果园内下一个可采摘区域。
27、相较于现有的农业采摘机器人，本发明的视觉引导智能轻量扁平化番茄采摘机器人具有以下有益效果：
28、本发明设计的一种视觉引导智能轻量扁平化番茄采摘机器人，采用柔索牵引的形式驱动末端执行器并实现视觉引导采摘，取代了传统关节型机械臂的刚性驱动，具有工作空间大、响应速度快、惯性小，造价低廉等特点，使得该机器人能够灵活适应非结构化的农业环境的番茄采摘工作。
29、本发明通过番茄果实图像进行点云数据融合得到番茄果实三维坐标点，进行视觉引导识别和定位番茄，驱动四根柔索及末端执行器进行番茄果实的采摘，并实现机器人在番茄果园内的自主定位导航。
1.一种视觉引导智能轻量扁平化番茄采摘机器人，其特征在于，包括:主体框架(1)、柔索驱动装置(2)、柔索组(7)、末端执行机构、底部可移动平台(6)、相机模块(3)以及控制系统；
2.根据权利要求1所述的采摘机器人，其特征在于，所述主体框架(1)还包括两根立梁铝型材(101)与两根横梁铝型材(102)依次直角相连接以构成一个矩形框架；两根下梁铝型材(103)的中点与矩形框架下方的一根横梁铝型材(102)的两端相连接；两根斜梁铝型材(104)的末端分别与两根立梁铝型材(101)的中点和两根下梁铝型材(103)的末端相连接；四个定滑轮(5)分别安装在矩形框架的四角上，对柔索起导向作用。
3.根据权利要求1所述的采摘机器人，其特征在于，柔索驱动装置(2)还包括驱动电机(201)、联轴器(202)、卷轮机构、卷轮固定板(203)；其中卷轮机构包括轴承(204)、卷轮(205)以及轴承固定支架(206)；联轴器(202)与驱动电机(201)的驱动轴以及卷轮(205)的一端相连，卷轮(205)两端分别安装在轴承(204)上，轴承由轴承固定支架(206)固定；驱动电机(201)以及轴承固定支架(206)安装在卷轮固定板(203)上；四个柔索驱动装置(2)分别固定在矩形框架的对应位置。
4.根据权利要求1所述的一种采摘机器人，其特征在于，所述末端执行机构还包括伺服电缸(8)的中部与伺服电缸固定架(9)相连接；柔性机械手(4)由驱动电机(401)及两个柔性夹爪组成；柔性机械手(4)的驱动电机(401)后端与伺服电缸(8)的主杆末端相连接；伺服电缸(8)控制柔性机械手(4)在空间z轴方向的移动；柔性机械手(4)的驱动电机(401)控制其夹爪的闭合以实现番茄果实的采摘。
5.根据权利要求1所述的一种采摘机器人，其特征在于，所述相机模块(3)固定在柔性机械手(4)上；相机模块(3)实时拍摄目标番茄的位置及柔性机械手(4)的位置；利用深度学习算法模型识别图像中的番茄，通过建立规一化后的图像像素坐标系和采摘机器人的基坐标系的坐标转换矩阵关系分离出目标番茄的点云簇，求出分离出的点云簇的均值坐标，根据均值坐标描述目标番茄的空间位置。
6.根据权利要求1所述的一种采摘机器人，其特征在于，所述的控制系统包括电机控制器、主控制器；所述主控制器通过计算相机模块(3)实时反馈的目标番茄三维坐标点及柔性机械手(4)的相对位姿，得出伺服电缸(8)的z轴运动参数和四个柔索驱动装置(2)的x,y平面运动参数，即驱动电机(201)的相应转动步数及速度，再通过所述电机控制器驱动电机(201)转动相应的步数及速度，同时电机控制器实时获取四个驱动电机(201)编码器反馈的相应转动步数及速度到所述主控制器，所述主控制器通过编码器反馈的数值与当前相机模块(3)得到的柔性机械手(4)的空间位姿信息相比对，并对各个驱动电机的步数及速度进行实时调整。
7.根据权利要求1所述的一种采摘机器人，其特征在于，四根柔索末端与伺服固定架(9)四角相连接处均包括力传感器，实时检测四根柔索的张紧力反馈给所述主控制器；主控制器实时通过所述电机控制器调整驱动电机(201)的步数及速度，对四根柔索进行力分配优化。
8.根据权利要求1所述的一种采摘机器人，其特征在于，所述底部可移动平台(6)中的激光雷达(602)在行进过程中对番茄果园内的场景进行三维扫描后通过主控制器实现对场景的三维重建，构建增量式的全局环境地图，基于得到的全局环境地图，橡胶履带底盘总成(601)在番茄果园内自动运行时，根据激光雷达(602)当前所在位置扫描生成三张局部轮廓地图与全局环境地图对比得到目前底部可移动平台(6)在全局地图中的位置，实现底部可移动平台(6)的定位导航。
9.根据权利要求1-8中任意一项所述的一种视觉引导智能轻量扁平化番茄采摘机器人的控制方法，其特征在于，按如下步骤进行：
