本发明涉及机器人控制领域,特别是涉及基于多特征融合及注意力权重避障的消毒机器人设计方法。
背景技术:
医院是现代社会进步的产物,是人类创伤的庇护所,是现代社会的重要组成成分之一,其主要职能是对患者实施救护和护理患者,最大可能的减轻或者治愈患者的病痛。近些年来,随着我国人口老龄化的趋势进一步加剧,老龄患者越来越多,使得医疗服务的负担越来越大,如何改善医疗服务质量,提高医院工作的效率已经成为关乎民生的重大问题。
本发明的主要目标为代替医务工作者进行一些医院的基础工作,减轻医务工作者的负担,减少医务工作者被病人传播病毒的风险,定位为医疗服务机器人。医院医生人数少病患多,其工作量繁重,感染风险大。机器人可以提高工作效能,在医患比例较低的情况下提供高效精准的科学医疗服务,减轻了医护工作量负担,节省医疗物资投入,同时提高了患者的诊治效率,缩短了治疗周期,更降低了医护人员的传染几率,保障了医疗团队的安全与稳定。针对以上情况我们做出了如下创新。
技术实现要素:
为解决上述问题,本发明提出了基于多特征融合及注意力权重避障的消毒机器人设计方法,通过机器人可提高工作效能,在医患比例较低的情况下提供高效精准的科学医疗服务,减轻了医护工作量负担,节省医疗物资投入。为达此目的,本发明提供基于多特征融合及注意力权重避障的消毒机器人设计方法,具体步骤如下,其特征在于:
步骤1,设计消毒机器人硬件设施:在机器人上装设病人的心率、血氧采集设备和ccd传感器,通过无线通讯技术,将病人数据和工作路况数据实时传输至数据库,并可在上位机软件中进行检索;
步骤2,设计机器人转向方式:为解决工作空间狭小,容易出现死区的问题,本发明采用麦克纳姆轮实现机器人的转向;
步骤3,构建地图模型:采用定位标签的方式实现地图模型的构建,即在每个病房、拐弯处粘贴rfid定位标签,使用定位标签构建二维的坐标系,以出发点中心,计算其他各点的相对坐标,以此构建医院的二维地图模型;
步骤4,机器人自主避障控制:将ccd传感器检测的数据集分别提取轮廓特征和颜色特征,并检测轮廓和颜色特征的显著性值,通过注意力权重融合后作为输入来训练svm行人分类器模型,机器人通过行人检测器来判断前方是否存在行人,从而控制机器人的避障形为;
步骤5,机器人在工作运行区间中监测病人的身体指标,并对医院特定场所进行消杀,在机器人上方安装紫外线消毒灯让机器人能够进行一定的消杀功能。
进一步,步骤1中设计消毒机器人硬件设施的过程可以表示为:
本发明在消毒机器人上装设病人的心率、血氧采集设备和ccd传感器,通过无线通讯技术,实现将病人的这些数据实时导入数据库,可以直接在上位机软件中直接进行查看检索,同时行人检测器可根据ccd传感器采集的图像实现行人避障功能。当机器人检测到病人的身体数据出现异常时,仪器会发出警报,也会向后台程序的观测人员发出警报,让病人能够第一时间得到救助。
进一步,步骤2中设计机器人转向方式的过程可以表示如下:
市场上现有很多医疗服务机器人体型较为庞大,行走较为缓慢,并且转向时多数采用差速转向法,需要较大的空间。因此在特定工作环境下比如医院这种工作空间较为狭小的地方,容易出现死角,转向不便等问题。为了应对这些问题,我们的服务机器人采用最新的麦克纳姆轮,能够实现无死角的转向以及平移,在狭小的工作环境下也可以很好的完成工作任务。
进一步,步骤3中,构建地图模型的过程可以表示如下:
自走式机器人在医院中运动时,需要依据一定的地图模型实现路线的规划。本发明采用定位标签的方式实现地图模型的构建,即在每个病房、拐弯处粘贴rfid定位标签,使用定位标签构建二维的坐标系,以出发点中心,计算其他各点的相对坐标,以此构建医院的二维地图模型。
进一步,步骤4中,机器人自主避障控制的过程可以表示如下:
考虑到医院中病床医疗器械和行人等障碍较多,我们在规划机器人路径时采用行人识别算法以及相应的避障功能,结合ccd传感器的数据特征融合,实现路径规划以及避障功能。
步骤4.1,通过ccd传感器采集机器人行走路线的数据图像,组成训练数据图像集;
步骤4.2,提取数据图像的轮廓特征和颜色特征:
将采集的图像数据做二值化处理,计算图像质心(xk,yk),并计算图像二值数据至质心的距离di:
其中,(xi,yi)i=1,2,…,n是二值图像数据;
将原始图像数据集中的rgb颜色通过颜色空间转化到hsv空间中,对hsv分量进行非均匀量化,并根据下式提取图像的颜色特征gi:
gi=qsqvh qvs v(2)
其中,h是颜色空间中的色调,s是颜色空间中的饱和度,v是颜色空间中的亮度,qs、qv分别是s和v的量化级数;
步骤4.3,分别提取轮廓特征和颜色特征的显著性检测值:
ci=cos(ri)(4)
qi=cos-1(si)(6)
式中,ai是通过步骤2.2检测的轮廓特征和颜色特征矩阵,
步骤4.4,先把提取的显著性检测值集合qi通过1×1的卷积层进行降维,再通过tanh激活函数得到特征映射m,,再通过卷积层和sigmoid激活函数对m进行归一化操作生成注意力权重б,最后通过下式将轮廓特征和颜色特征的显著性检测值融合后获得特征输出qi’:
qi'=σ×qi(7)
步骤4.5,将训练数据集提取的特征输出qi’作为行人检测模型的输入,行人目标的标签作为输出训练svm分类模型,并获得训练完成的svm行人检测模型;
步骤4.6,ccd传感器实时检测工作路段的行人图像数据,并经过步骤4.2至步骤4.4后,将特征输出qi’输入到行人检测模型中,获得行人检测结果,如果检测到行人则启动机器人自动避障控制操作。
本发明基于多特征融合及注意力权重避障的消毒机器人设计方法,有益效果:本发明的技术效果在于:
1.本发明在消毒机器人的基础上采用最新的麦克纳姆轮,解决了狭小空间容易出现死角,转向不便等问题;
2.本发明可代替医务工作者进行一些医院的基础工作,例如:监测病人身体指标、对医院特定场所进行消杀等;
3.本发明通过特征显著性监测及注意力加权将轮廓特征和颜色特征融合,提高了行人检测模型的准确率。
附图说明
图1为本发明的系统硬件总体结构图;
图2为本发明的电机驱动板实物图;
图3为本发明的nb-iot模组的硬件接口电路;
图4为本发明的数据采集系统运行框图;
图5为本发明的数据通信系统图;
图6为本发明的运动系统运行流程图;
图7为本发明的机器人消毒任务流程图
具体实施方式
下面结合附图1系统硬件总体结构图与具体实施方式对本发明作进一步详细描述:
本发明中主控制器用于采集各传感器数据与驱动各执行器,完成本系统数据监测与机器人运动控制的功能。主控芯片采用stm32f103系列和stm32l4系列低功耗处理器。stm32l4作为测量系统的控制芯片,使用huaweiliteos轻量级物联网操作系统,实现数据的测量以及与华为物联网云平台的通信,华为物联网云平台通过行人检测模型检测行驶路线是否存在行人,并发送避障指令至stm32f103中,stm32f103用来识别定位信息以及控制机器人的运动。
步骤1,设计消毒机器人硬件设施:在机器人上装设病人的心率、血氧采集设备和ccd传感器,通过无线通讯技术,将病人数据和工作路况数据实时传输至数据库,并可在上位机软件中进行检索;
步骤1中设计消毒机器人硬件设施的过程可以表示为:
本发明中使用墨比斯科技的stm32f103电机驱动板作为运动系统的主控制器,该系统板搭载了stm32f103rct6微处理器,电机驱动板实物图如图2所示。同时在消毒机器人上装设病人的心率、血氧采集设备和ccd传感器,通过无线通讯技术,实现将病人的这些数据实时导入数据库,可以直接在上位机软件中直接进行查看检索,同时行人检测器可根据ccd传感器采集的图像实现行人避障功能。当机器人检测到病人的身体数据出现异常时,仪器会发出警报,也会向后台程序的观测人员发出警报,让病人能够第一时间得到救助。
本次设计中,机器人需要nb-iot模组对接到华为物联网云端,使用的是上海移远通信公司的nb-iot模组。nb-iot构建于蜂窝网络,只消耗大约180khz的带宽,可直接部署于gsm网络、umts网络或lte网络,以降低部署成本、实现平滑升级,nb-iot模组的硬件接口电路如图3所示。
步骤2,设计机器人转向方式:为解决工作空间狭小,容易出现死区的问题,本发明采用麦克纳姆轮实现机器人的转向,
步骤2中设计机器人转向方式的过程可以表示如下:
市场上现有很多医疗服务机器人体型较为庞大,行走较为缓慢,并且转向时多数采用差速转向法,需要较大的空间。因此在特定工作环境下比如医院这种工作空间较为狭小的地方,容易出现死角,转向不便等问题。为了应对这些问题,我们的服务机器人采用最新的麦克纳姆轮,能够实现无死角的转向以及平移,在狭小的工作环境下也可以很好的完成工作任务。
步骤3,构建地图模型:采用定位标签的方式实现地图模型的构建,即在每个病房、拐弯处粘贴rfid定位标签,使用定位标签构建二维的坐标系,以出发点中心,计算其他各点的相对坐标,以此构建医院的二维地图模型;
步骤3中,构建地图模型的过程可以表示如下:
自走式机器人在医院中运动时,需要依据一定的地图模型实现路线的规划。本发明采用定位标签的方式实现地图模型的构建,使用rc522感应模块读取地面上的rfid标签,即在每个病房、拐弯处粘贴rfid定位标签,使用定位标签构建二维的坐标系,以出发点中心,计算其他各点的相对坐标,以此构建医院的二维地图模型。
步骤4,机器人自主避障控制:将ccd传感器检测的数据集分别提取轮廓特征和颜色特征,并检测轮廓和颜色特征的显著性值,通过注意力权重融合后作为输入来训练svm行人检测器模型,机器人通过行人检测器来判断前方是否存在行人,从而控制机器人的避障形为;
步骤4中,机器人自主避障控制的过程可以表示如下:
考虑到医院中病床医疗器械和行人等障碍较多,我们在规划机器人路径时采用行人识别算法以及相应的避障功能,结合ccd传感器的数据特征融合,实现路径规划以及避障功能。
步骤4.1,通过ccd传感器采集机器人行走路线的数据图像,组成训练数据图像集;
步骤4.2,提取数据图像的轮廓特征和颜色特征:
将采集的图像数据做二值化处理,计算图像质心(xk,yk),并计算图像二值数据至质心的距离di:
其中,(xi,yi)i=1,2,…,n是二值图像数据;
将原始图像数据集中的rgb颜色通过颜色空间转化到hsv空间中,对hsv分量进行非均匀量化,并根据下式提取图像的颜色特征gi:
gi=qsqvh qvs v(2)
其中,h是颜色空间中的色调,s是颜色空间中的饱和度,v是颜色空间中的亮度,qs、qv分别是s和v的量化级数;
步骤4.3,分别提取轮廓特征和颜色特征的显著性检测值:
ci=cos(ri)(4)
qi=cos-1(si)(6)
式中,ai是通过步骤2.2检测的轮廓特征和颜色特征矩阵,ai=[di,gi],
步骤4.4,先把提取的显著性检测值集合qi通过1×1的卷积层进行降维,再通过tanh激活函数得到特征映射m,,再通过卷积层和sigmoid激活函数对m进行归一化操作生成注意力权重б,最后通过下式将轮廓特征和颜色特征的显著性检测值融合后获得特征输出qi’:
qi'=σ×qi(7)
步骤4.5,将训练数据集提取的特征输出qi’作为行人检测模型的输入,行人目标的标签作为输出训练svm分类模型,并获得训练完成的svm行人检测模型;
步骤4.6,ccd传感器实时检测工作路段的行人图像数据,并经过步骤4.2至步骤4.4后,将特征输出qi’输入到行人检测模型中,获得行人检测结果,如果检测到行人则启动机器人自动避障控制操作。
步骤5,机器人在工作运行区间中监测病人的身体指标,并对医院特定场所进行消杀,在机器人上方安装紫外线消毒灯让机器人能够进行一定的消杀功能。
本发明使用传感器获取病人的身体指标数据,经过mcu处理后通过nb-iot模组上报到华为物联网云平台,如果病人的身体指标数据超出了医务工作者所设定的阈值范围,则发出报警信号提醒医务人员密切注意此病人的身体情况,该系统的运行框图如图4所示。数据通信系统包含两部分,一部分是stm32l4通过nb-iot接入华为物联网;另一部分是通过串口与运动系统通信,接收上位机发出的控制指令并转发给运动系统,数据通信系统结构框图如下图5所示。运动系统使用stm32f103控制器,通过4个编码器接口控制四个直流电机来实现机器人基本的运动;底盘部分装载rfid射频卡读取设备,用于读取固定在地面上的rfid标签;机器人前方装载超声波传感器,实现避障功能。运动系统的运行流程如图6所示。机器人上电后,首先进行设备初始化工作,主要是一些传感器、驱动电机等外设的初始化。初始化任务完成后,机器人等待上位机发来的任务指令,如果是控制机器人运动的指令则通过串口交付给运动系统。运动系统收到指令后开始进行路径规划并到达目的地,机器人消毒任务流程图如图7所示。
1.基于多特征融合及注意力权重避障的消毒机器人设计方法,具体步骤如下,其特征在于:
步骤1,设计消毒机器人硬件设施:在机器人上装设病人的心率、血氧采集设备和ccd传感器,通过无线通讯技术,将病人数据和工作路况数据实时传输至数据库,并可在上位机软件中进行检索;
步骤2,设计机器人转向方式:为解决工作空间狭小,容易出现死区的问题,本发明采用麦克纳姆轮实现机器人的转向;
步骤3,构建地图模型:采用定位标签的方式实现地图模型的构建,即在每个病房、拐弯处粘贴rfid定位标签,使用定位标签构建二维的坐标系,以出发点中心,计算其他各点的相对坐标,以此构建医院的二维地图模型;
步骤4,机器人自主避障控制:将ccd传感器检测的数据集分别提取轮廓特征和颜色特征,并检测轮廓和颜色特征的显著性值,通过注意力权重融合后作为输入来训练svm行人检测器模型,机器人通过行人检测器来判断前方是否存在行人,从而控制机器人的避障形为;
步骤5,机器人在工作运行区间中监测病人的身体指标,并对医院特定场所进行消杀,在机器人上方安装紫外线消毒灯让机器人能够进行一定的消杀功能。
2.根据权利要求1所述的基于多特征融合及注意力权重避障的消毒机器人设计方法,其特征在于:步骤1中设计消毒机器人硬件设施的过程可以表示为:
本发明在消毒机器人上装设病人的心率、血氧采集设备和ccd传感器,通过无线通讯技术,实现将病人的这些数据实时导入数据库,可以直接在上位机软件中直接进行查看检索,同时行人检测器可根据ccd传感器采集的图像实现行人避障功能;当机器人检测到病人的身体数据出现异常时,仪器会发出警报,也会向后台程序的观测人员发出警报,让病人能够第一时间得到救助。
3.根据权利要求1所述的基于多特征融合及注意力权重避障的消毒机器人设计方法,其特征在于:骤3中,构建地图模型的过程可以表示如下:
自走式机器人在医院中运动时,需要依据一定的地图模型实现路线的规划;本发明采用定位标签的方式实现地图模型的构建,即在每个病房、拐弯处粘贴rfid定位标签,使用定位标签构建二维的坐标系,以出发点中心,计算其他各点的相对坐标,以此构建医院的二维地图模型。
4.根据权利要求1所述的基于多特征融合及注意力权重避障的消毒机器人设计方法,其特征在于:步骤4中,机器人自主避障控制的过程可以表示如下:
考虑到医院中病床医疗器械和行人等障碍较多,本发明在规划机器人路径时采用行人识别算法以及相应的避障功能,结合ccd传感器的数据特征融合,实现路径规划以及避障功能;
步骤4.1,通过ccd传感器采集机器人行走路线的数据图像,组成训练数据图像集;
步骤4.2,提取数据图像的轮廓特征和颜色特征:
将采集的图像数据做二值化处理,计算图像质心(xk,yk),并计算图像二值数据至质心的距离di:
其中,(xi,yi)i=1,2,…,n是二值图像数据;
将原始图像数据集中的rgb颜色通过颜色空间转化到hsv空间中,对hsv分量进行非均匀量化,并根据下式提取图像的颜色特征gi:
gi=qsqvh qvs v(2)
其中,h是颜色空间中的色调,s是颜色空间中的饱和度,v是颜色空间中的亮度,qs、qv分别是s和v的量化级数;
步骤4.3,分别提取轮廓特征和颜色特征的显著性检测值:
ci=cos(ri)(4)
qi=cos-1(si)(6)
式中,ai是通过步骤2.2检测的轮廓特征和颜色特征矩阵,ai=[di,gi],
步骤4.4,先把提取的显著性检测值集合qi通过1×1的卷积层进行降维,再通过tanh激活函数得到特征映射m,,再通过卷积层和sigmoid激活函数对m进行归一化操作生成注意力权重б,最后通过下式将轮廓特征和颜色特征的显著性检测值融合后获得特征输出qi’:
qi'=σ×qi(7)
步骤4.5,将训练数据集提取的特征输出qi’作为行人检测模型的输入,行人目标的标签作为输出训练svm分类模型,并获得训练完成的svm行人检测模型;
步骤4.6,ccd传感器实时检测工作路段的行人图像数据,并经过步骤2.2至步骤2.4后,将特征输出qi’输入到行人检测模型中,获得行人检测结果,如果检测到行人则启动机器人自动避障控制操作。
技术总结