一种自动垃圾分类系统和方法与流程

1.本发明涉及垃圾分类技术领域，具体涉及一种自动垃圾分类系统和方法。


背景技术：

2.随着人们环保意识的不断提高、发达国家在垃圾分类处理上的成功经验、以及国家的重视，分类垃圾桶应运而生。分类垃圾桶一般为并排设置的至少两个相互隔离的垃圾桶，如可回收垃圾桶和不可回收垃圾桶。用户可以将纸类、塑料、玻璃、织物和瓶罐等适宜回收和资源利用的垃圾放入可回收垃圾桶，将剩饭等其它垃圾放入不可回收垃圾桶。对于一些无法根据判断进行分类或分类错误导致未将对应垃圾放入正确垃圾桶的情况常有发生，为了解决分类错误的问题除了人工分拣外还可以通过摄像头对垃圾进行识别进而配合机械手实现机器自动分拣。
3.在使用机器进行自动分拣的过程中，还存在很多尚未解决的问题，例如公开号为cn110861854a的智能垃圾分类装置，其中仅采用单个摄像头，其仅能获取准备分类的垃圾在垃圾桶水平截面中的二维坐标，而无法获取三维坐标，并判断机械手要伸出的长度。


技术实现要素：

4.本发明的目的是针对现有技术提出了一种能够判断垃圾所在位置三维坐标，进而能够更换准确定位垃圾位置的制动垃圾分类系统。
5.具体的，一种自动垃圾分类系统，其特征在于，所述自动垃圾分类系统包括垃圾分拣容器、主控制器、子控制器、机械手模块、侧方位摄像头和俯视摄像头模块；
6.所述垃圾分拣容器包括处理仓和至少两种垃圾桶，所述处理仓用于容纳待分拣的垃圾，所述垃圾桶用于容纳分拣后的各类型可回收垃圾；
7.所述机械手模块包括机械手，所述机械手设置在所述处理仓顶部，能够在所述处理仓和各垃圾桶的空间中移动；
8.所述侧方位摄像头设置在处理仓侧壁中部，用于检测所述机械手位置的z轴坐标；
9.所述俯视摄像头模块包括两个可调焦摄像头，两个所述可调焦摄像头分别设置在所述处理仓顶部不相邻的位置；
10.所述主控制器包括逻辑控制模块和神经网络模块；所述逻辑控制模块用于控制垃圾分类流程；
11.所述子控制器与逻辑控制模块和机械手连接，用于接收所述逻辑控制模块的指令，并依据指令控制机械手移动；
12.所述神经网络模块与逻辑控制模块连接，所述神经网络模块包括双通道2d目标检测网络、三维机械手电机控制数据回归网络和物体识别网络；所述双通道2d目标检测网络用于识别垃圾类型及粗略定位；所述物体识别网络用于识别机械手抓取的垃圾类型；所述三维机械手电机控制数据回归网络包括独热编码器、控制数据全连接层和控制数据回归层，所述三维机械手电机控制数据回归网络用于输出机械手电机控制数据；
13.所述独热编码器设置在所述控制数据全连接层和控制数据回归层前，所述独热编码器具有预设数量的切片，对待编码的参数乘以预设数量后取整数，将得到的整数对应的比特设为1，其余比特设为0，生成独热向量。
14.更进一步地，所述机械手模块包括压力传感器和短焦摄像头；
15.所述压力传感器与所述逻辑控制模块连接，用于感应所述机械手是否触碰到目标
16.所述短焦摄像头设置在所述机械手底部，用于在所述机械手靠回去目标后近距离图像采集目标图像。
17.更进一步地，所述机械手模块包括二维码；
18.所述二维码设置在所述机械手顶部和侧面，用于为所述可调焦摄像头和侧方位摄像头获取所述机械手三维坐标和控制参数。
19.更进一步地，所述双通道2d目标检测网络包含两个单通道图像区域建议网络，任一所述可调焦摄像头获取的图像分别对应一个单通道图像区域建议网络，所述单通道图像区域建议网络包含区域建议模块、卷积层、全连接层和回归层。
20.更进一步地，所述双通道2d目标检测网络对所述处理仓中可分拣垃圾标记先验框，并最终选取置信度高于80％的先验框。
21.更进一步地，获取所述置信度高于80％的先验框的左上和右下顶点坐标；依据所述顶点坐标中横坐标或纵坐标由小至大的顺序对所述置信度高于80％的先验框进行排序。
22.更进一步地，两个所述可调焦摄像头分别对所述置信度高于80％的先验框重新对焦，并分别获取焦距参数。
23.还提供了一种自动垃圾分类方法，其特征在于，所述自动垃圾分类方法包括以下步骤：
24.步骤1：自动采集垃圾样本数据，并通过样本数据对神经网络进行训练及校准机械手控制参数；
25.步骤2：通过训练后的神经网络数据对垃圾进行逐个识别，并进行分类分拣。
26.更进一步地，在步骤1中，还包括以下步骤：
27.步骤11，将用于采集的垃圾样本放置在处理仓内，并启动并初始化自动垃圾分类系统；
28.步骤12，主控制器向子控制器发送采集数据的命令，然后子控制器控制机械手回归到初始位置，并开始遍历处理仓区域；
29.步骤13，当机械手碰触到一个物体时，压力传感器的反馈信号会激活子控制器的中断处理函数；
30.步骤14，主控制器的中断处理函数控制机械手上的短焦摄像头拍摄图像，并通过基于物体识别网络识别物体的类型；
31.步骤15，主控制器的中断处理函数控制两个可调焦摄像头自动调焦以识别清晰的机械手上二维码图像，并拍摄此时处理仓中图像；
32.步骤16，主控制器的中断处理函数在数据库中保存数据集；
33.步骤17，重复执行步骤12
‑
17，直到采集到预期数量的数据集；
34.所述数据集包括垃圾样本类型、两个可调焦摄像头的拍摄图像、两个可调焦摄像头的拍摄焦距数据和机械手编码电机的位置数据。
35.更进一步地，在步骤2中，还包括以下步骤：
36.步骤21，启动并初始化自动垃圾分类系统进行垃圾分类流程；
37.步骤22，主控制器控制两个可调焦摄像头自动调焦拍摄清晰的处理仓中图像；
38.步骤23，将两个处理仓中图像输入2d目标检测网络，获取先验框及坐标；对先验框重新对焦，获取焦距数据。将坐标与焦距数据输入三维机械手电机控制数据回归网络，获取目标的机械手电机控制参数；
39.步骤24，依据机械手电机控制参数抓取目标，并由短焦摄像头拍摄物体的近距离图像，并通过物体识别网络识别垃圾类型；
40.步骤25，主控制器将垃圾类型数据发送至子控制器，子控制器控制机械手抓住此垃圾，并移动至指定的垃圾桶；
41.步骤26，子控制器控制机械手回到初始位置；
42.步骤27，重复执行步骤22
‑
27，直到仓内所有可分拣垃圾分类完毕；
43.步骤28，清理处理仓中其余垃圾。
44.本发明的有益效果包括：
45.本发明实现了对处理仓中堆积的垃圾中可回收垃圾进行识别和自动分拣，提高了可回收垃圾分拣效率和可回收物利用率，对节能和环保具有深远意义。
46.本发明通过视觉神经网络对两个设置在不同位置的可调焦摄像头采集处理仓中相同目标垃圾获取的二维坐标、图像和焦距进行机器学习，从而分析该目标垃圾在处理仓内的三维坐标和类型，进而实现了通过机械手对垃圾进行分拣。
47.本发明采用独热编码对目标垃圾的坐标和焦距进行处理，并提出了新的编码形式，能够有效克服独热编码无法对浮点数进行编码的缺陷，提高了独热编码使用范围。
48.本发明同时还提出了垃圾分拣系统中神经网络自动对垃圾舱内的可分拣垃圾进行自主训练的方法，该方法不在需要人工为神经网络提供训练用图像，由垃圾分类系统自行采集训练所需信息，降低了神经网络控制人员的工作量。
附图说明
49.图1是本发明实施例提供的一种自动垃圾分类系统的结构示意图；
50.图2是本发明实施例提供的一种自动垃圾分类系统中神经网络的流程示意图；
51.图3是本发明实施例提供的一种自动垃圾分类方法的流程示意图。
具体实施方式
52.下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。
53.如附图1所示，一种自动垃圾分类系统，该自动垃圾分类系统包括垃圾分拣容器、主控制器、子控制器、机械手模块、侧方位摄像头和俯视摄像头模块。
54.其中，垃圾分拣容器包括处理仓、电控倾倒门和至少两种垃圾桶；垃圾处理仓用于容纳待分拣的垃圾；多种垃圾桶分别用于容纳分拣后的各类型可回收垃圾；电控倾倒门设置在垃圾处理仓底部，当指定类型的垃圾经机械手分拣完毕后，通过开启电控倾倒门，使剩余的垃圾滑落进入无法回收垃圾存储空间。
55.机械手模块包括机械手、光电距离传感器、压力传感器、短焦摄像头和二维码；机械手设置在处理仓顶部，能够在处理仓和各垃圾桶的空间中移动；光电距离传感器与逻辑控制模块连接，用于检测机械手与样品之间的大致距离；压力传感器与逻辑控制模块连接，用于感应机械手是否触碰到样品；短焦摄像头设置在机械手底部，并与逻辑控制模块连接，用于在机械手靠近样品时获取样品的近距离图像；二维码设置在机械手顶部和侧面，用于为可调焦摄像头和侧方位摄像头进行自动对焦获取处理仓中图像,以及辅助校准机械手三维坐标和控制参数。
56.侧方位摄像头设置在处理仓侧壁中部，用于检测机械手侧面的二维码以获取机械手位置的z轴坐标。
57.子控制器分别与逻辑控制模块、机械手和电控倾倒门连接，用于接收逻辑控制模块的指令，并依据指令控制机械手移动以及开闭电控倾倒门。
58.俯视摄像头模块包括两个可调焦摄像头，分别设置在处理仓顶部不相邻的位置，用于从不同拍摄位置通过自动调焦的方式拍摄清晰的处理仓内图像，在自动调焦时优选近焦；两个可调焦摄像头拍摄的图像与两个可调焦摄像头拍摄时的焦距数据发送至逻辑控制模块。
59.主控制器包括逻辑控制模块和神经网络模块。逻辑控制模块用于控制自动垃圾分类系统进行样本采集或样本分析流程，并在流程中各阶段控制其他设备执行预设的动作。
60.神经网络模块与逻辑控制模块连接，包括双通道2d目标检测网络、三维机械手电机控制数据回归网络和物体识别网络；双通道2d目标检测网络用于定位能够分拣的垃圾；三维机械手电机控制数据回归网络用于对粗略定位的垃圾进行精确测量将二维坐标转换为三维坐标；物体识别网络用于机械手抓取垃圾后通过短焦摄像头确定垃圾类型。
61.其中，双通道2d目标检测网络包含两个单通道图像区域建议网络。单通道图像区域建议网络包含区域建议模块、卷积层、全连接层、回归层；卷积层与全连接层均使用relu激活函数，回归层使用softmax激活函数。每个单通道图像区域建议网络分别对应一个可调焦摄像头拍摄的图片，通过对应的可调焦摄像头拍摄的图片分别生成可分拣垃圾对应的参数。
62.如附图2所示，在一种实施方式中，双通道2d目标检测网络用于从处理仓的全景图像中初步识别出可分拣垃圾及其对应的坐标；首先，区域建议模块按照预设程序创建很多的先验框，然后将所有先验框中图像向量拷贝进独立内存空间，然后进行归一化与padding处理，使得每个先验框对应的图像向量具有相同的大小和形状；其次，将这些向量送入卷积层进行特征提取，然后通过全连接层与回归层得到每个先验框对应的图像分类与置信度；最后，选取置信度高于80％的先验框，输出其先验框左上和右下两个顶点的二维坐标。
63.三维机械手电机控制数据回归网络包括独热编码层、控制数据全连接层和控制数据回归层，三维机械手电机控制数据回归网络通过对两个不同位置进行拍摄的可调焦摄像头获取的图片中同一目标在不同角度获取的不同坐标和焦距进行分析，进而生成该目标的三维坐标；其中，控制数据全连接层使用relu激活函数，控制数据回归层使用softmax激活函数。独热编码层包括4组独热编码器和向量拼接器，分别对应两个可调焦摄像头的聚焦和两个可调焦摄像头中先验框的坐标，向量拼接器将独热编码器编码后的向量进行收尾相接的拼接；控制数据全连接层通过输入拼接后的向量，通过机器学习将两个可调焦摄像头采
集的二维坐标转换和焦距参数转换为目标在处理仓中的三维坐标，进一步由三维坐标生成对应的机械手电机控制数据，并由控制数据回归层输出机械手电机控制数据。
64.机械手抓取目标后通过短焦摄像头获取目标图像，通过物体识别网络识别目标种类，并将目标投入对应的垃圾桶内。
65.在一种实施方式中，首先，依据处理仓全景图像中各先验框横坐标或纵坐标由小至大的顺序对各先验框进行排序；其次，各先验框分别由两个可调焦摄像头分别对其进行再次对焦拍摄，每个可调焦摄像头获取先验框重新对焦后的焦距参数；再次，分别将两个可调焦摄像头获取的焦距参数和顶点坐标进行独热编码，并将编码后的参数依据第一可调焦摄像头的焦距、顶点坐标、第二可调焦摄像头的焦距和顶点坐标的顺序进行向量拼接生成拼接向量；最后，将拼接向量输入全连接层，并由回归层输出目标对应的机械手电机控制数据，将此数据与物体类型数据通过通讯总线发送至子控制器即可实现垃圾分类。
66.由于在使用2个二维坐标与2个焦距信息生成三维坐标的过程中，训练时经常遇到梯度爆炸或者梯度消失，这是由于归一化后输入数据信号强度差异引起的。现有的归一化手段将目标检测出的二维坐标值除以图像分辨率，得到0～1之间的小数；将焦距信息除以焦距阈值得到0～1之间的小数。因此，数据输入进全连接层时，物体的二维坐标位置严重影响全连接层对其三维坐标的预测。例如，位于左上角的物体经常被全连接层预测三维坐标接近全0，而位于右下角的物体经常被全连接层预测三维坐标接近阈值。训练时候，当数据集中左上角的物体偏多时则梯度消失，而右下角的物体偏多时则梯度爆炸。
67.本发明神经网络模块还包括独热编码器，独热编码器设置在三维机械手电机控制数据回归网络前，通过独热编码技术将输入全连接层的参数进行独热编码。现有的独热编码技术通常用于编码文本信息或者地区(非连续的)信息，无法应用于浮点数编码，而本发明需要让二维坐标与焦距信息的浮点数也可以独热编码，因此，本发明采用了量化精度为512的独热编码器。
68.具体的，在对焦距和顶点坐标进行编码时，采用的是一个0到1的浮点数；对于焦距参数，可调焦摄像头硬件定义的焦距最短时输出0，焦距最大时输出1，因此由调焦摄像头硬件输出的焦距参数即为0
‑
1的浮点数；对于坐标参数，定义可调焦摄像头拍摄的全景图片长与宽均为1，根据坐标点的x坐标和y坐标位置生成0
‑
1之间的浮点数。将各浮点数分为512个切片，将要编码的数乘以512再取整数，就能得到它所在的编码区域。例如0.1*512＝51.2，那么就在第51区，从0到49比特的参数全部设为0，第50比特的参数设为1，第51到第511比特的参数也全部设为0。每1/512是一个档，根据小数的值选择档位，生成独热向量。将两个可调焦摄像头对应的左上顶点坐标x1、y1、右下顶点坐标x2、y24个浮点数进行独热编码，焦距参数进行独热编码，共4组编码结果拼接，最终得到一个1*5120维的向量，此方法可以缓解因物体二维坐标的数值大小引起全连接层的误差。
69.由于随着机器人的长期使用，机械手电机会发生老化，因此电机控制精度也在不断降低。这个时候，机械手根据神经网络回归层得到的控制数据往往不能使其移动到正确位置，因此在机械手移动后通过机械手进行小幅度摆动，并通过压力传感器进行搜索，最终通过压力传感器辅助机械手成功定位。将定位成功时机械手编码电机反馈的位置数据、二维码定位数据与回归层生成的控制数据计算偏差、产生梯度进行反向传播，使得回归层优化，在下一次控制机械手时能够更加准确。
70.如附图3所示，本发明还包括一种自动垃圾分类方法，该分类方法包括以下步骤：
71.步骤1：自动采集垃圾样本数据，并通过样本数据对神经网络进行训练及校准机械手控制参数；
72.步骤2：通过训练后的神经网络数据对垃圾进行逐个识别，并进行分类分拣。
73.具体的，在步骤1中还包括以下步骤：
74.步骤11，将用于采集的垃圾样本放置在处理仓内，并启动并初始化自动垃圾分类系统进行样本采集流程。
75.步骤12，主控制器向子控制器发送采集数据的命令，然后子控制器控制机械手回归到初始位置，并开始遍历处理仓区域。机械手上的光电距离传感器可以获取物体的大致距离，用于确定机械手对物体的搜索域。
76.步骤13，当机械手碰触到一个物体时，压力传感器的反馈信号会激活子控制器的中断处理函数。此中断处理函数会控制机械手的高度上升，并且上升的过程中使机械手在一个微小范围内摆动，以找到临界触碰高度。当此中断处理函数完成时，控制机械手停止动作，并且通过通讯总线引发主控制器的中断处理函数。
77.步骤14，主控制器的中断处理函数控制机械手上的短焦摄像头拍摄图像，并通过基于物体识别网络识别物体的类型。
78.步骤15，主控制器的中断处理函数控制两个可调焦摄像头自动调焦以识别清晰的机械手上二维码图像，并拍摄此时处理仓中图像。
79.步骤16，主控制器的中断处理函数在数据库中保存：此物体类型、两个可调焦摄像头的拍摄图像、两个可调焦摄像头的拍摄焦距数据和机械手编码电机的位置数据。其中，机械手编码电机的位置采用用传统算法识别二维码的两个二维位置，通过顶部的可调焦摄像头获取x,y坐标，通过侧方位摄像头获取y,z坐标，然后整合成三维坐标(x,y,z)
80.步骤17，重复执行步骤12
‑
17，直到采集到预期数量的数据集。
81.具体的，根据步骤17所采集到的数据集，x＝{两个可调焦摄像头的拍摄图像；两个可调焦摄像头的拍摄焦距数据}；y＝{由识别二维码生成的三维坐标}，先将x输入双通道2d目标检测网络，在生成结果中选取最左侧的物体，得到2个二维坐标，然后把2个二维坐标和对应两个摄像头的焦距数据一起输入三维机械手电机控制数据回归网络，在3d坐标回归层得到f(x)，使用交叉熵损失函数计算f(x)相对于y的误差，并计算此误差与网络参数的梯度，通过梯度下降法优化网络。
82.根据步骤17所采集到的数据集，x’＝{由识别二维码生成的三维坐标}，y’＝{机械手编码电机位置数据}。将x’输入上述“基于深度学习的三维机械手电机控制数据回归网络”中的浮点数独热编码层中，通过前向传播到机械手电机控制数据回归层，得到g(x’)。使用交叉熵损失函数计算g(x’)相对于y’的误差，并计算此误差与网络前向传播部分的参数的梯度，通过梯度下降法优化网络。
83.同时，将编码层到回归层部分从“基于深度学习的三维机械手电机控制数据回归网络”中拆分，部署到子控制器，实现硬件加速。
84.在步骤2中还包括以下步骤：
85.步骤21，启动并初始化自动垃圾分类系统进行垃圾分类流程；
86.步骤22，主控制器控制两个可调焦摄像头自动调焦拍摄清晰的处理仓中图像，在
自动调焦时优选近焦；并保存两个可调焦摄像头的拍摄图像与两个可调焦摄像头的拍摄焦距数据；
87.步骤23，将保存的两个可调焦摄像头的图像输入2d目标检测网络，在生成结果中选取最左侧的物体，得到两个2d坐标。控制可调焦摄像头重新对焦，然后保存焦距数据。将两个2d坐标与2个焦距数据输入基于深度学习的三维机械手电机控制数据回归网络，获取一个物体关联机械手电机控制参数的位置数据；
88.步骤24，主控制器将位置数据发送至子控制器，子控制器控制机械手移动到指定位置，主控制器控制机械手上的短焦摄像头拍摄物体的近距离图像，并通过基于深度学习的分类网络识别垃圾类型；
89.步骤25，主控制器通过通讯总线将垃圾类型数据发送至子控制器，子控制器控制机械手抓住此垃圾，并移动至指定的垃圾桶，然后控制垃圾桶盖子开启，待垃圾进入后关闭；
90.步骤26，子控制器控制机械手回到初始位置；
91.步骤27，重复执行步骤22
‑
27，直到仓内所有可分拣垃圾分类完毕；
92.步骤28，主控制器通过通讯总线将打开电控倾倒门的命令发送到子控制器，子控制器控制电控倾倒门打开，5秒后关闭。
93.本发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图公开内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变换或更改的设计，都落入本发明保护的范围。