本发明涉及垃圾分类领域，尤其涉及基于图像变化检测的垃圾溯源方法、装置。
背景技术：
如今，垃圾分类开始普及，但垃圾分类的执行却存在一定的难度，主要反映在多数人不主动进行垃圾分类，或者不主动根据垃圾桶对应的垃圾类型投放垃圾。
为了督促人们执行垃圾分类，提出的应对方案包括有派遣专人在垃圾桶旁监督，但该方案十分耗费人力，并且实际效果不佳。因此又提出了垃圾溯源方案，利用电子系统，将垃圾与投放垃圾的人进行关联，以此实现垃圾溯源，但存在的问题是，通过电子系统难以准确的实现人与垃圾之间的关联，常常容易出现关联错误等情形。
其中具体的原因在于，现有技术中通常采用图像识别模型对单张垃圾图像进行识别或分类，就垃圾图像识别结果而言，由于垃圾的外观形状多种多样，没有显著的特征，是难以通过单张图像识别得到其中垃圾图像的部分，通常会将其他不相关的图像部分作为垃圾图像，因此该方案在实际中可行性不强；就垃圾图像分类结果而言，首先面临上述关于垃圾图像识别的问题，识别确定的图像部分中可能不存在所要投放的垃圾，其次，由于垃圾的种类繁多，生活中各种各样的物品都有被作为垃圾的可能，对于需要海量数据训练的模型而言，精准识别每一种垃圾种类，再进行垃圾类型对应，在实际中同样可行性不强。例如专利cn2019106902859公开的技术方案，获取包含待识别垃圾的待识别垃圾图像，输入分类模型进行垃圾类型分类，根据类型结果进行后续关联。其中存在的问题包括：（1）鲜有用户会主动按照特定姿势或角度进行图像拍摄，获取的待识别垃圾图像受到清晰度较低、模糊、拍摄位置以及光线变化等干扰，对图像识别和分类本身就是一种极大的挑战，实际可行性不强；（2）上述垃圾图像识别问题；（3）上述垃圾图像分类问题。
技术实现要素：
发明目的：本发明提供一种基于图像变化检测的垃圾溯源方法、装置，旨在建立人与垃圾之间准确的关联关系，实现垃圾有效溯源。
技术方案：本发明提供一种基于图像变化检测的垃圾溯源方法，包括：
垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；
应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：
特征提取器分别提取原始图像和变化图像的初始特征图；初始特征图输入注意力模块，输出相应的注意力特征图，所述注意力模块包括嵌有基本时空注意力模块的金字塔时空注意力模块；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像；
将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
具体的，用户向放置特定类型垃圾的垃圾桶发出启动请求，设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
具体的，采用全卷积网络unet对初始特征图进行图像分割；当特征提取器为全卷积网络unet时，原始图像和变化图像分别经过unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络unet通过对抗学习进行训练。
具体的，将初始特征图划分为不同尺寸的子特征图，将各幅子特征图输入基本时空注意力模块，对各个基本时空注意力模块的输出进行拼接，拼接后的特征图经过卷积层还原为与初始特征图相同的通道数和尺寸，再与初始特征图相加，得到注意力特征图。
具体的，计算注意力特征图之间像素级的欧氏距离图，通过设定的阈值计算欧式距离图之中大于阈值的图像部分，将变化图像中对应的部分作为区别部分。
具体的，在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
本发明还提供一种基于图像变化检测的垃圾溯源装置，包括：图像获取单元、变化检测单元和溯源单元，其中：
所述图像获取单元，用于垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；
所述变化检测单元，用于应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：
特征提取器分别提取原始图像和变化图像的初始特征图；初始特征图输入注意力模块，输出相应的注意力特征图，所述注意力模块包括嵌有基本时空注意力模块的金字塔时空注意力模块；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像；
所述溯源单元，用于将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
具体的，所述图像获取单元，用于用户向放置特定类型垃圾的垃圾桶发出启动请求，控制设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
具体的，所述变化检测单元，用于在初始特征图输入注意力模块之前，采用全卷积网络unet对初始特征图进行图像分割；当特征提取器为全卷积网络unet时，原始图像和变化图像分别经过unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络unet通过对抗学习进行训练。
具体的，所述溯源单元，用于在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
有益效果：与现有技术相比，本发明具有如下显著优点：采用注意力模块构建的图像变化检测模型，以及图像特征提取过程中的针对噪音干扰的优化过程，进一步避免了拍摄位置、光线以及垃圾袋形状发生变化等因素的干扰，可以准确有效识别新增垃圾图像，为后续的垃圾类型识别和垃圾溯源提供基础。
附图说明
图1为本发明实施例提供的垃圾溯源方法的流程示意图；
图2为本发明实施例提供的金字塔时空注意力模块的结构示意图；
图3为本发明实施例提供的图像变化检测模型的结构示意图;
图4为本发明实施例提供的优化的图像变化检测模型的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
参阅图1，其为本发明实施例提供的垃圾溯源方法的流程示意图，其中包括具体流程步骤。
步骤1，垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像。
本发明实施例中，用户向放置特定类型垃圾的垃圾桶发出启动请求，设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
在具体实施中，用户进入垃圾投放区域后，用户可以利用多种方式进行身份的确认和识别，包括通过rfid进行身份确认，或者通过智能移动设备上的应用程序与垃圾桶的监管平台建立通信等方式。在确认用户身份之后，用户可以根据自己所要投放的垃圾的类型，确定对应的垃圾桶（例如可回收物、有害垃圾和厨余垃圾等），向用于放置相应类型垃圾的垃圾桶发出启动请求。对应的垃圾桶在接收到启动请求之后，设置于垃圾桶桶盖内侧的图像获取装置（摄像装置等）和补光装置开始进行工作，获取在未投放新垃圾之前垃圾桶内的垃圾情况，即原始图像。
在具体实施中，在获取原始图像之后，可以开启垃圾桶的桶盖，此时用户可以投放垃圾。在用户完成垃圾投放之后，垃圾桶的桶盖关闭，桶盖内侧的图像获取装置和补光装置再次进行工作，获取在投放新垃圾之后垃圾桶内的垃圾情况，即变化图像。
步骤2，应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像。
在具体实施中，垃圾溯源的应用场景下，对于图像识别存在的问题和挑战包括：摄像头前后拍摄的两张照片容易受到闪光灯的影响，光线上存在差异；摄像头拍摄的位置会因为桶盖的移动，拍摄位置发生变化；垃圾桶中存在塑料袋，塑料袋在受到外部因素影响后容易产生形状上的变化；实际只需关注用户投放的垃圾，其他不相关因素的变化并不关注。因此，在存在以上问题的情况下，现有技术中的解决方案，实际上的应用效果比较差。
为了解决以上存在的诸多问题，本发明实施例中提出应用包括时空注意力模块的图像变化检测模型。变化检测数据（输入变化检测模型的两张图像）是由时间维度和空间维度的光谱向量组成的，开发不同时空位置之间的关系可以提升变化检测方法的效果，因此提出了时空自注意力机制。由于变化物体（新增垃圾）可能具有不同的大小，从一个合适的范围内提取特征可以更好地表示一定尺度的对象，因此将输入的图像分割成了多尺度的子区域，并在每个子区域中引入了自注意力机制，对从不同大小区域提取得到的特征结合，获得不同尺度的特征，进一步提升识别结果准确度。
基于自注意力时空变化模型，对图像信息边缘、光照、关注物体变化具有一定的鲁棒性，对外部环境引起的误配差异或误差有很好的兼容，十分契合本发明实施例的应用场景，垃圾投放前后拍摄的两张照片，虽然可能存在一定的光线变化、拍摄位置变化以及垃圾袋外形变化等干扰因素的影响，但由于实际应用场景下（在垃圾桶内进行图像拍摄）的外界条件相对稳定，以上干扰因素的影响程度有限，结合自注意力时空变化模型，可以进一步克服以上干扰因素的影响，准确识别其中的新增垃圾图像。
参阅图2和图3（图3中的注意力模块部分和图2中的相应部分一致，故略去其中的文字说明），分别为本发明实施例提供的金字塔时空注意力模块的结构示意图，和本发明实施例提供的图像变化检测模型的结构示意图。
本发明实施例中，图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：特征提取器分别提取原始图像（i(1)）和变化图像（i(2)）的初始特征图（x(1)和x(2)）后，输入嵌有基本时空注意力模块（basicspatial–temporalattentionmodule，bam）的金字塔时空注意力模块（pyramidspatial–temporalattentionmodule，pam）中，输出相应的注意力特征图；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像。
在具体实施中，变化检测数据是由时间维度和空间维度的光谱向量组成的，开发不同时空位置之间的关系可以提升变化检测的效果，由于变化物体可能具有不同的大小，从一个合适的范围内提取特征可以更好地表示一定尺寸的对象，由此提出了时空自注意力机制。可以通过从不同尺寸的区域提取得到的特征进行结合，以获得不同尺寸的特征。因此将图像分割成了多尺寸的子区域，并在每个子区域中引入自注意力机制。
在具体实施中，bam计算两张特征图中任意两个位置之间的时空注意力权重，并通过时空中所有位置特征的加权和计算每个位置的响应。pam可以将bam嵌入，得到金字塔结构以产生多尺寸的注意力表示。
本发明实施例中，特征提取器可以采用resnet18（residualnetwork，resnet），并去掉全局池化和全连接层。原始的resnet是为图像分类任务设计的，在网络最后的全局池化和全连接层将特征图映射到1000维的向量（分类类别数），而变化检测任务是密集的分类任务，需要将每个像素点分类成和原图尺寸相同的类别结果图。cnn的高级特征语义准确但位置粗糙，低级特征细节精细但缺乏语义信息。因此，可以将高级语义信息和低级空间信息融合起来，以产生更精细的表示。
本发明实施例中，参阅图4（图4中的图像变化检测模型部分和图2、图3中的相应部分一致，故略去其中的文字说明），可以采用全卷积网络unet对初始特征图进行图像分割；当特征提取器为全卷积网络unet时，原始图像和变化图像分别经过unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络unet通过对抗学习进行训练。
在具体实施中，在实际的环境下，得到的图像存在偏暗或者偏亮的情况，对于图片的区别识别会造成一定的影响，因此可以在特征提取之后对进行增强处理。采用全卷积网络，特别是unet，unet通过对抗学习的训练之后可以增强物体分割后的清晰度，实现对初始特征图的图像分割和图像增强，将unet作为特征提取器，或者在特征提取器提取得到初始特征图后应用unet，以便于后续注意力模块的处理，提升最终识别结果的准确度。unet通常应用于医学领域的图像分割，应用于垃圾的图像分割效果也十分出色。
本发明实施例中，注意力模块的工作流程包括：将初始特征图划分为不同尺寸的子特征图，将各幅子特征图输入基本时空注意力模块，对各个基本时空注意力模块的输出进行拼接，拼接后的特征图经过卷积层还原为与初始特征图相同的通道数和尺寸，再与初始特征图相加，得到注意力特征图。
在具体实施中，在bam中，特征图（可以是已经经过全卷积网络unet）首先通过三个不同的1×1卷积层，分别得到三个特征q、k和v，分别表示查询、键和值。然后分别改变k和q的尺寸，对k还进行转置，将转置后的k与q相乘，对乘积结果进行softmax操作，将softmax结果与改变尺寸后的v相乘得到y，再将y改变成与原图相同的尺寸，最后将输入的特征图与特征图y相加，得到最终的特征图。
在具体实施中，pam可以有4个分支，将特征图划分为不同尺寸的子区域，并在每个子区域中应用bam，将4个分支的输出进行拼接，拼接结果经过1×1卷积层得到特征图y，y与输入的特征图x相加，得到最终的注意力特征图（z(1)和z(2)）。
在c×h×w中，c是图的通道数，h和w分别是图的高和宽。
本发明实施例中，原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，包括：计算注意力特征图之间像素级的欧氏距离图p，通过设定的阈值计算欧式距离图之中大于阈值的图像部分，将变化图像中对应的部分作为区别部分。
在具体实施中，欧氏距离大于预先设定的阈值，表明该部分产生了变化，可以确定是新投放的垃圾。在训练阶段，度量模块可以应用损失函数。
在具体实施中，图像变化检测模型在训练阶段，可以使用打上标签的图像作为训练集进行训练，其中训练图像可以根据垃圾桶的垃圾类型确定范围，在缩小训练范围的情况下，可以显著提高变化检测结果的准确度。
在具体实施中，图像变化检测模型整体上是经过优化的stanet（stanet，spatial–temporalattentionneuralnetwork）。
在具体实施中，现有技术中的识别算法（例如cv2.findcontours，算法本身比对像素点之间的差异，两张图像对外部的拍摄环境要求比较高，容易受到光线和拍摄角度影响）应用在垃圾图像识别中，识别准确率通过数据测算大概是30%，本发明中的变化检测算法识别准确率是70%以上。准确识别图像中的新增垃圾图像部分，并与使用用户建立准确的关联关系，由此建立的垃圾溯源机制，避免将错误的垃圾图像或者不准确的垃圾图像与用户进行关联。
本发明实施例中，在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
在具体实施中，新增垃圾图像是新投放的垃圾的图像部分。在确定新增垃圾图像后，如果新投放垃圾不是由垃圾袋包装，或者包装垃圾袋是透明的，还可以对其进行图像识别分类，可以确定新投放的垃圾的类型，进而判断与垃圾桶的垃圾类型是否对应，也包括新投放的垃圾中是否存在部分垃圾的类型与垃圾桶的垃圾类型不对应。
在具体实施中，对新增垃圾图像进行图像识别和分类的优势在于，由于确定了垃圾类型，因此分类识别对象的范围可以缩小，有效降低前期训练的复杂度、提升识别结果的准确度，同时新增垃圾图像不包括其他干扰图像识别的因素，完全展现的是所要识别的对象，由此也可以大大提升识别结果的准确度。
在具体实施中，在用户违反垃圾分类规则进行垃圾投放时，可以通过智能移动设备的应用程序对用户发出提醒，并且通知监管平台，实现溯源。
步骤3，将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
在具体实施中，在已经确认了用户身份后，可以通过将用户所有投放的垃圾与用户建立关联关系，可以是将新增垃圾图像与使用用户建立关联关系，也可以是在对新增垃圾图像进行图像识别后，将识别结果与使用用户建立关联关系，由此在排查垃圾或者监管时，准确追踪到垃圾投放人，实现垃圾溯源和有效监管。
本发明还提供一种基于图像变化检测的垃圾溯源装置，包括：图像获取单元、变化检测单元和溯源单元，其中：
所述图像获取单元，用于垃圾桶的桶盖开启之前，于垃圾桶内获取垃圾的原始图像，垃圾桶的桶盖关闭之后，于垃圾桶内获取垃圾的变化图像；
所述变化检测单元，用于应用图像变化检测模型，识别原始图像和变化图像之间存在的区别部分，作为新增垃圾图像；图像变化检测模型包括：特征提取器、注意力模块和度量模块，其中：
特征提取器分别提取原始图像和变化图像的初始特征图；初始特征图输入注意力模块，输出相应的注意力特征图，所述注意力模块包括嵌有基本时空注意力模块的金字塔时空注意力模块；度量模块将原始图像的注意力特征图和变化图像的注意力特征图进行比对，识别其中的区别部分，作为新增垃圾图像；
所述溯源单元，用于将新增垃圾图像与启动垃圾桶的使用用户建立关联关系。
本发明实施例中，所述图像获取单元，用于用户向放置特定类型垃圾的垃圾桶发出启动请求，控制设置于垃圾桶桶盖内侧的图像获取装置和补光装置工作，获取所述原始图像。
本发明实施例中，所述变化检测单元，用于在初始特征图输入注意力模块之前，采用全卷积网络unet对初始特征图进行图像分割；当特征提取器为全卷积网络unet时，原始图像和变化图像分别经过unet得到对应的初始特征图后，输入注意力模块；所述全卷积网络unet通过对抗学习进行训练。
本发明实施例中，所述变化检测单元，用于将初始特征图划分为不同尺寸的子特征图，将各幅子特征图输入基本时空注意力模块，对各个基本时空注意力模块的输出进行拼接，拼接后的特征图经过卷积层还原为与初始特征图相同的通道数和尺寸，再与初始特征图相加，得到注意力特征图。
本发明实施例中，所述变化检测单元，用于计算注意力特征图之间像素级的欧氏距离图，通过设定的阈值计算欧式距离图之中大于阈值的图像部分，将变化图像中对应的部分作为区别部分。
本发明实施例中，所述溯源单元，用于在垃圾桶对应的垃圾类型范围内，对新增垃圾图像进行图像识别；将识别结果与启动垃圾桶的使用用户建立关联关系；若新增垃圾的类型不在垃圾桶对应的垃圾类型范围内，则对所述使用用户发出提醒，并通知监管平台。
