一种基于单目视觉的助餐机器人控制方法与流程

1.本发明涉及机器人设计和控制领域，是基于单目视觉和机器人控制和设计技术的一种发明。本发明主要应用于服务型助餐机器人，实现机器人对食物的盛取和运送。


背景技术：

2.20世纪90年代以来，中国的老龄化进程加快，老年人口高龄化趋势日益明显，解决人口老龄化问题，不能仅仅局限于降低老龄人口在全国人口中的比例，更要重视老年人的生活水平，提高其生活质量，为改善其生活出一份力。
3.针对老年人设计的助餐机器人有很大的市场需求。助餐机器人能增强老人的自我照顾能力，减少其心理压力，减轻子女负担。考虑经济因素，助餐机器人应经济实惠；考虑其文化程度，助餐机器人应该操作简单。


技术实现要素：

4.本发明设计了一种基于单目视觉的助餐机器人，该发明基于人脸特征点检测技术、机器人控制技术和机械设计学，解决上述背景技术中提到的经济问题和操作问题。
5.该系统包括：单目摄像头、带有勺筷一体化末端的机械臂、视觉控制开发板、交互按钮和脚踏板等。
6.该发明采用单目视觉进行人脸特征点检测，从而获取嘴部位置和人脸距离，实现精准送餐。
7.该发明采用勺筷一体化末端设计，方便取食中餐中多种多样的食物而无需更换餐具。
8.该发明采用多套人机交互方式，可以通过按钮控制、脚踏板控制、语音控制、面部识别控制实现对送餐启停的操控，兼具便携性和可靠性。
9.本发明在具备高识别精度的同时，其硬件成本低廉；人机交互方式多种多样，操作简单，方便老人使用；送餐精度高，安全性好。
附图说明
10.图1为本发明的系统架构图。
11.图2为控制系统流程图。
12.图3为勺筷一体化末端执行机构。
13.图4为l型固定凹槽。
14.图5为机构整体构造。
具体实施方式
15.下面结合附图和实施例对本发明进行详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
16.本发明提供一种设计方案，勺筷一体化末端机构设计：本发明设计一种张合式的半勺取餐机构，其取食效果满足要求，同时自由度仅为1。张合式取餐机构通过直流减速电机驱动特制的丝杠螺母机构实现功能。在特制方型螺母的左上部位和右下部位镶嵌圆柱销，圆柱销的另一端嵌入固定半勺的l型机构的槽道内，l型固定机构的旋转轴固定在底板上，丝杠驱动螺母前后运动，可实现两个半勺机构的张合运动。该设计将勺子和筷子的功能融为一体。
17.本发明提供一种技术方案，助餐机器人识别使用者嘴部位置：本项目在采用人脸识别算法的基础上，增加了人脸68个特征点检测模块完成以上功能。人脸68特征点检测的数据集通常采用ibug数据集，其中包含了人脸照片和68 个特征点的数据，使用这些数据进行神经网络深度学习后可以得到人脸68特征点检测模型，本文中所使用的人脸68特征点检测方法即基于此模型实现的。在获取到脸部特征点后，提取嘴部坐标点结合测得的人脸距离可以精确的到嘴部位置。
18.本发明的面部测距方法是基于相似三角形的测距方式实现的。对于投影在摄像头主平面上的宽度为w的物体，当其距离摄像头主平面垂直距离为d时，通过测量拍摄图像中物体的像素宽度p，可以得到公式：f＝(p
×
d)/w。其中f为相机焦距。通过测量得到f之后，即可通过f和w的值推算出目标物体平面距离摄像头主平面的垂直距离d。依据国家颁布标准成年人头面部尺寸报告，从中挑选最小额宽作为我们的头部宽度基准值，结合脸部特征点检测，计算出镜头到人脸的距离。
19.本发明在使用时，机械臂停留在一个预设好的位置，等待取餐或选菜指令。当检测到对应的按键触发、脚踏板触发以及“选菜”语音信号时，餐盘底部舵机带动餐盘进行旋转，由于本发明机械臂仅在同一个取食区域取餐，餐盘旋转就能达到选菜的目的。当检测到对应取餐的按键触发、脚踏板触发、“开始取餐”语音信号以及使用者张嘴时，机械臂开始运动到取食位置，并根据当前位置所盛菜品形状，直流电机驱动勺筷一体化末端机构进行舀取或夹取。同时，单目摄像头开始检测使用者嘴部位置并测距，机械臂取餐后根据嘴部位置信息精准地送到使用者嘴边。本发明还设有单次用餐时间，超时后自动返回待取餐位置，使用者也可通过对应的按键和脚踏板控制机械臂提前返回。本发明设有急停按钮，在任何时刻都可以根据需要终止取餐送餐进程。


技术特征：
1.基于单目视觉的助餐机器人控制方法，其特征在于：该方法基于单目视觉识别嘴部信息、人机交互方式。该系统包括：底座、机械臂、勺筷一体化末端机构、单目摄像头。2.根据权利要求1所述的基于单目视觉的助餐机器人控制方法，其特征在于：使用单目相机识别嘴部，从成人面部特征中挑选最小额宽作为我们的头部宽度基准值，并根据相似三角形原理进行测距，计算出人脸距离得到嘴部的空间位置信息。3.根据权利要求1所述的人机交互方式，其特征在于：系统检测脚踏板触发，执行对应的选菜和取餐动作；基于对嘴部信息的识别，通过嘴部上下特征点的距离判断使用者是否张嘴，如果在待取餐时张嘴，就执行取餐操作。4.根据权利要求1所述的勺筷一体化末端机构，其特征在于：直流减速电机驱动特制的方型螺母，当其直线运动时，镶嵌上的两个圆柱销带动两个半勺进行张合运动。

技术总结
本发明设计了一种基于单目视觉的助餐机器人。该发明采用单目视觉进行人脸特征点检测，从而获取嘴部位置和人脸距离，实现精准送餐。该发明采用多套人机交互方式，可以通过按钮控制、脚踏板控制、语音控制、面部识别控制实现对送餐启停的操控，兼具便携性和可靠性。本发明在具备高识别精度的同时，其硬件成本低廉；人机交互方式多种多样，操作简单，方便老人使用；送餐精度高，安全性好。安全性好。安全性好。


技术研发人员：陈殿生 赵学毅 曾宪超 王宇清 谢友鹏 张皓淳
受保护的技术使用者：北京航空航天大学
技术研发日：2021.07.29
技术公布日：2021/11/4