本发明涉及图像处理技术领域，具体地，涉及一种适用于河道的漂浮物识别方法与系统、设备、介质。
背景技术：
随着我国城市化进程的加快，环境保护的形式日益严峻，水资源的保护是环境保护的重要组成部分，如今水环境污染的问题日益突出，已成为制约社会可持续发展的“瓶颈”，如何有效预防，及时发现，高效处理水环境污染已成为一个亟待解决的问题。河道治理是水系保护的重要部分，尤其是环城河道，以及景区河道，漂浮物不仅影响着市容环境，对河流的生态环境也有很强的破坏作用。河道漂浮物的监测与发现是解决很多水污染问题的前提，如何高效的监测到河道漂浮物也在近年来引起了广泛的关注。
现有的河道漂浮物的识别主要是依赖于人工巡检和现场勘察，需要投入大量的人力物力，而且效率很低，计算机图像识别技术具有精准、快速、可量化的特点，相比于传统方法具有极大的优势。将计算机技术与河道治理结合起来，是未来智能河务的趋势，这不仅可以大大的节约人力资源成本，也可以极大的提高河道治理的效率，做到24小时的实时监控，进而创造巨大的经济效益。
河道环境的复杂性使得一般的图像识别技术在此领域的误差很大，影响因素主要有水雾、河面反光、河面倒影，同时，自然环境下河面周围的背景大多非常复杂，如何从复杂的环境中识别出河道区域，也是本问题的一大难点。
经过检索，专利文献cn212030522u公开了一种基于机器学习的河道漂浮物分析装置，包括运动载体和主控室，其特征在于所述运动载体的内壁两侧分别固定安装有驱动电机，且驱动电机的输出轴固定安装有位于运动载体外侧的驱动轮。该现有技术是通过在运动载体上设有取景装置，从而在检测河道时，可先通过取景装置使得影像被记录，并通过数据交换模块使得图像处理模块处理后的图像和定位模块提供的位置反馈至主控室，之后，经过该区域的检测设备会通过再次进行取景，同时通过定位模块提供的位置与主控室储存后的影像进行对比，并通过图像处理模块可将一些体积适中的物体进行圈出，进而方便对比。不足之处在于需要对二次取景的图片进行对比，定位分析，将图像中的体积适中的物体进行圈出，进而确定河面漂浮物的，工序比较长，效率不高，并且可能会造成误判。
专利文献cn111997604a公开了一种单期河道边界的识别方法，该现有技术是对单期河道的识别，利用了曲线重采样，曲线相似度计算，去顶单井位置等步骤，最终判断河道的边界，目的在于消除因个人技术原因造成的解释差异。但是不足之处在于无法对河道的漂浮物进行识别。
专利文献cn112203072a公开了一种基于深度学习的航拍图像水体提取方法与系统，该现有技术主要是将真彩合成的rgb图像转换得到色调图和灰度图，根据水体特征指数，灰度共生矩阵色调图等得到水体特征矩阵，将原始图像和得到的特征矩阵输入语义提取编码器，得到特征图，最终解码器提取水体特征，并输出水体的分割图，不足之处在于利用粒子群算法对软件划分模块，同时根据模块的耦合性和内聚性来用一定的算法评估模块划分的合理性，具有应用上的局限性。
因此，亟需研发一种能够提高漂浮物识别的准确率的方法和系统。
技术实现要素：
针对现有技术中的缺陷，本发明的目的是提供一种适用于河道的漂浮物识别方法与系统、设备、介质，能够提高漂浮物识别的准确率，排除干扰。
根据本发明提供的一种适用于河道的漂浮物识别方法，包括如下步骤：
步骤s1：采集待监测区域的图像，对采集的图像进行预处理；
步骤s2：利用生长区域的识别算法对预处理后的图像进行语义划分，提取待监测区域的特征值，确定待监测区域的轮廓；
步骤s3：确定好待监测区域的轮廓后，对待监测区域的漂浮物进行分类，利用标准图像数据集对神经网络进行识别训练，识别出漂浮物。
优选地，步骤s1中预处理过程包括利用均值滤波消除图片噪声、利用颜色空间转换消除倒影的影响以及利用sobel算子提取图像边缘信息。
优选地，利用均值滤波消除图片噪声的计算公式，选取3*3的窗口进行计算，如下：
其中，i为计算像素点的x坐标，j为计算像素点的y坐标，h为计算像素的步长，j h为y轴变化的过程，i 1为选中像素的下一行的x坐标，i-1为选中像素的上一行的x坐标。
优选地，利用颜色空间转换消除倒影的影响是将图像的rgb空间转换为his空间，转换公式如下：
i＝(r g b)/3
其中，θ是转换过程中的中间变量，r是rgb颜色空间中代表红色分量(red)的值，g是rgb颜色空间中代表绿色分量(green)的值，b是rgb颜色空间中代表蓝色分量(blue)的值，h是指色调值，s是指色饱和度，i是指亮度。
优选地，利用sobel算子提取图像边缘信息是对得到的his空间中的h值做基于sobel算子的边缘提取，采用垂直方向和水平方向平方根的方式确定图像边缘值。
优选地，步骤s2包括如下步骤：
步骤s2.1：在经过预处理的图像上随机选取n个点作为区域生长的种子像素；
步骤s2.2：根据选取的n个种子节点向周围扩展，计算周围像素点的灰度值与种子节点的灰度值的差值δe，当差值δe≤设定阈值时，将扩展到的像素点位归于种子节点的生长区域内；
步骤s2.3：如果存在点位的集合s，s内的所有点位均不属于该图像中的所有生长区域，则在s集合内重新选择种子点位，再次产生生长区域；
步骤s2.4：重复步骤s2.2和步骤s2.3，直到所有的像素点都归入到指定的种子节点产生的生长区域中；
步骤s2.5：合并生长区域；
步骤s2.6：根据灰度值范围确定待监测区域的生长区域。
优选地，步骤s3包括如下步骤：
步骤s3.1：对常见的待监测区域的漂浮物进行分类；
步骤s3.2：选取多个数据集的图像整合成本次训练的数据集；
步骤s3.3：根据整合的数据集对神经网络进行训练；
步骤s3.4：从图像采集源提取图像信息，将经过预处理后的图像进行识别，识别出漂浮物。
根据本发明提供的一种适用于河道的漂浮物识别系统，包括：
模块m1：采集待监测区域的图像，对采集的图像进行预处理；
模块m2：利用生长区域的识别算法对预处理后的图像进行语义划分，提取待监测区域的特征值，确定待监测区域的轮廓；
模块m3：确定好待监测区域的轮廓后，对待监测区域的漂浮物进行分类，利用标准图像数据集对神经网络进行识别训练，识别出漂浮物。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种适用于河道的漂浮物识别设备，包括上述的适用于河道的漂浮物识别系统或上述的存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过利用生长区域的识别算法对预处理后的图像进行语义划分，能够有效识别复杂背景下的待监测区域。
2、本发明对待监测区域的漂浮物进行分类学习，能够快速监测到待监测区域的漂浮物的存在。
3、本发明通过利用his颜色空间去除水面倒影，能够排除倒影干扰。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中适用于河道的漂浮物识别方法的步骤流程图；
图2为本发明中适用于河道的漂浮物识别方法的预处理流程图；
图3为本发明中cnn神经网络框架图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供了一种适用于河道的漂浮物识别方法，包括如下步骤：
步骤s1：采集待监测区域的图像，对采集的图像进行预处理；预处理过程包括利用均值滤波消除图片噪声、利用颜色空间转换消除倒影的影响以及利用sobel算子提取图像边缘信息。
利用均值滤波消除图片噪声，设置3*3的窗口，计算均值，去除高斯噪声，计算公式如下：
其中，i为计算像素点的x坐标，j为计算像素点的y坐标，h为计算像素的步长，j h为y轴变化的过程，i 1为选中像素的下一行的x坐标，i-1为选中像素的上一行的x坐标。
利用颜色空间转换消除倒影的影响是将图像的rgb空间转换为his空间，转换公式如下：
i＝(r g b)/3
其中，θ是转换过程中的中间变量，r是rgb颜色空间中代表红色分量(red)的值，g是rgb颜色空间中代表绿色分量(green)的值，b是rgb颜色空间中代表蓝色分量(blue)的值，h是指色调值，s是指色饱和度，i是指亮度。
本发明中待监测区域可以是很多地方，以河面为例，河面倒影本质上是河面受光影变化影响的结果，h值对光影的变化的反应最弱，因此本发明采用h方差值来消除倒影的影响。
利用sobel算子提取图像边缘信息是对得到的his空间中的h值做基于sobel算子的边缘提取，采用垂直方向和水平方向平方根的方式确定图像边缘值。具体如下：
本发明采用图像的像素中值对图像进行二值化处理，假设像素中值为c：
对得到的his空间中的h值做基于sobel算子的边缘提取，得到图像中的边缘信息，采用垂直方向和水平方向平方根的方式来确定边缘值。
偏x方向的sobel边缘检测算子为：
偏y方向的sobel边缘检测算子为：
那么，
步骤s2：利用生长区域的识别算法对预处理后的图像进行语义划分，提取待监测区域的特征值，确定待监测区域的轮廓。因为复杂的图像背景和岸边环境容易给漂浮物的识别带来极大的干扰，如何准确的定位河道的水体区域是漂浮物识别的重点，步骤s1中已经通过颜色空间转换消除了倒影的影响，步骤s2采用基于区域生长的算法来识别出水体区域。
步骤s2.1：在经过预处理的图像上随机选取n个点作为区域生长的种子像素。
步骤s2.2：由各个种子节点向周围扩展，计算周围像素点的灰度值与种子点的灰度值的差值δe；假设种子点位为z，扩展到的点位为k，设定一定的阈值t1，当δe<＝t1时，将该k归于z的生长区域内。
步骤s2.3：如果存在点位的集合s，s内的所有点位均不属于该图像中的所有生长区域，则在s集合内重新选择种子点位，再次产生生长区域。
步骤s2.4：重复2.2和2.3，直到所有的像素点都归入到指定的种子点产生的生长区域中。
步骤s2.5：生长区域的合并。计算图像中各个生长区域的灰度均值，当两个生长区域的生长均值小于指定的阈值t2，将两个生长区域合并为一个。
步骤s2.6：不同的生长区域有着不通的灰度值范围，根据图像处理的经验，河面的灰度值范围为130-145，故可以代表确定河面的生长在区域。
步骤s3：确定好待监测区域的轮廓后，对待监测区域的漂浮物进行分类，利用标准图像数据集对神经网络进行识别训练，识别出漂浮物。
本步骤s3使用cnn神经网络对漂浮物进行识别，具体包括以下步骤：
步骤s3.1：对常见的河道漂浮物进行分类，分为：绿色植物，绿色微生物，生活垃圾，废弃船只碎片；
步骤s3.2：由于单一的数据集很难包含全的漂浮物类型，本专利选取多个数据集的图片，整合成本次训练的数据集；
步骤s3.3：构建cnn神经网络的卷积层，池化层，全连接层和输出结果层，根据训练集对神经网络进行训练；
步骤s3.4：从河道监控视频中的提取出图片信息，将经过预处理后的图片输入到3.3产生的cnn网络中，进行识别。
本发明可以在不同的应用场景使用。本发明可以在环保部门的管理平台中，利用本发明对监控区域内的河道漂浮物进行识别，快速定位漂浮物的位置分类，确定打捞和清理方案。
本发明还可以在处理无人机拍摄的视频的过程中，定时截取视频中的图片，分析该图片是否发现了河道漂浮物通知相关管理部门，并对漂浮物的发现的时间，地点等基本信息进行存储，为后续河道漂浮物的预测提供材料。
本发明的重点在于对整个漂浮物识别的算法设计层面，特别是对复杂的河面背景的去除方面，用了颜色空间转换、区域生长的方法，最终采用神经网络对漂浮物进行识别。并且，河道识别利用了sobel边缘检测算法和基于生长区域的水体识别方法，利用随机点位作为初始的种子点位，而后通过区域合并消除初始种子点的随机性带来的不确定情况，从而将整个河面分割为一个整体。
本发明中功能模块的划分是一个前提，是以功能点为界限分割的，模块既可以是传统结构化系统中的有顺序执行语句组成的基础块，也可以表示面向对象软件系统中的对象，甚至是完成相对独立功能的组件。模块作为软件修复的最小单元，他们之间具有各种耦合关系，对某个模块的变更可能会影响到其他模块正常工作，通过模块之间的联系计算软件修复的风险变更。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
1.一种适用于河道的漂浮物识别方法，其特征在于，包括如下步骤：
步骤s1：采集待监测区域的图像，对采集的图像进行预处理；
步骤s2：利用生长区域的识别算法对预处理后的图像进行语义划分，提取待监测区域的特征值，确定待监测区域的轮廓；
步骤s3：确定好待监测区域的轮廓后，对待监测区域的漂浮物进行分类，利用标准图像数据集对神经网络进行识别训练，识别出漂浮物。
2.根据权利要求1所述的适用于河道的漂浮物识别方法，其特征在于，所述步骤s1中预处理过程包括利用均值滤波消除图片噪声、利用颜色空间转换消除倒影的影响以及利用sobel算子提取图像边缘信息。
3.根据权利要求2所述的适用于河道的漂浮物识别方法，其特征在于，利用均值滤波消除图片噪声的计算公式如下：
其中，i为计算像素点的x坐标，j为计算像素点的y坐标，h为计算像素的步长，j h为y轴变化的过程，i 1为选中像素的下一行的x坐标，i-1为选中像素的上一行的x坐标。
4.根据权利要求2所述的适用于河道的漂浮物识别方法，其特征在于，利用颜色空间转换消除倒影的影响是将图像的rgb空间转换为his空间，转换公式如下：
i＝(r g b)/3
其中，θ是转换过程中的中间变量，r是rgb颜色空间中代表红色分量的值，g是rgb颜色空间中代表绿色分量的值，b是rgb颜色空间中代表蓝色分量的值，h是指色调值，s是指色饱和度，i是指亮度。
5.根据权利要求4所述的适用于河道的漂浮物识别方法，其特征在于，利用sobel算子提取图像边缘信息是对得到的his空间中的h值做基于sobel算子的边缘提取，采用垂直方向和水平方向平方根的方式确定图像边缘值。
6.根据权利要求1所述的适用于河道的漂浮物识别方法，其特征在于，所述步骤s2包括如下步骤：
步骤s2.1：在经过预处理的图像上随机选取n个点作为区域生长的种子像素；
步骤s2.2：根据选取的n个种子节点向周围扩展，计算周围像素点的灰度值与种子节点的灰度值的差值δe，当差值δe≤设定阈值时，将扩展到的像素点位归于种子节点的生长区域内；
步骤s2.3：如果存在点位的集合s，s内的所有点位均不属于该图像中的所有生长区域，则在s集合内重新选择种子点位，再次产生生长区域；
步骤s2.4：重复步骤s2.2和步骤s2.3，直到所有的像素点都归入到指定的种子节点产生的生长区域中；
步骤s2.5：合并生长区域；
步骤s2.6：根据灰度值范围确定待监测区域的生长区域。
7.根据权利要求1所述的适用于河道的漂浮物识别方法，其特征在于，所述步骤s3包括如下步骤：
步骤s3.1：对常见的待监测区域的漂浮物进行分类；
步骤s3.2：选取多个数据集的图像整合成本次训练的数据集；
步骤s3.3：根据整合的数据集对神经网络进行训练；
步骤s3.4：从图像采集源提取图像信息，将经过预处理后的图像进行识别，识别出漂浮物。
8.一种适用于河道的漂浮物识别系统，其特征在于，包括：
模块m1：采集待监测区域的图像，对采集的图像进行预处理；
模块m2：利用生长区域的识别算法对预处理后的图像进行语义划分，提取待监测区域的特征值，确定待监测区域的轮廓；
模块m3：确定好待监测区域的轮廓后，对待监测区域的漂浮物进行分类，利用标准图像数据集对神经网络进行识别训练，识别出漂浮物。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种适用于河道的漂浮物识别设备，其特征在于，包括权利要求8所述的适用于河道的漂浮物识别系统或权利要求9所述的存储有计算机程序的计算机可读存储介质。
技术总结