工业环境下基于改进的CenterNet网络目标检测方法与流程

专利2022-05-09  31


本发明涉及人工智能领域,具体涉及目标检测领域,特别涉及工业环境下基于改进的centernet网络目标检测方法。



背景技术:

目标检测是计算机视觉技术中重要研究方向之一。在现代工业生产中,目标检测技术有着非常广阔的应用前景。实际的生产生活中,工业目标检测目前大部分依靠人眼识别,也有许多通过模板匹配的方法来进行检测,但是人工检测成本和误检率高,模板匹配难于适应复杂照明和多分类小目标的任务场景。早期目标检测算法的工作原理是通过拼接强分类器从而达到区分的效果,它的缺点是无法检测到人物等一些系列非刚性目标。基于此问题,有学者提出了hog svm结构,这种结构算法在早期针对道路检测以及过往行人检测的方向取得了较大的成功,但在工业的使用环境下始终无法达到要求的实时性与准确性。

随着深度学习技术的飞速发展,基于深度神经网络的目标检测可分为anchor-based类型的检测算法和anchor-free类型的检测算法,基于anchor-based的检测算法会在训练前先聚类数据集中的anchor,然后再进行特征提取,之后再进行分类和回归,这样会消耗大量时间。

centernet是一种全新的基于anchor-free的深度神经网络识别算法,相比深度学习中rcnn和yolo系列需要生成anchor后再进行分类与回归,其通过自有的结构,并不会生成anchor,这样可以减少训练和推理预测时间,但是对于小目标以及对物体邻近时所进行的特征检测效果较差。



技术实现要素:

本发明的目的在于针对现有技术的缺陷和不足,提供一种检测成本低、精度高、普适性好的工业环境下的目标检测方法。

为实现上述目的,本发明采用基于改进的centernet网络目标检测方法的技术方案包括以下步骤:

步骤s1:采集包含待检测目标的若干图像;

步骤s2:构建centernet网络的训练数据集;

步骤s3:对centernet网络进行改进,包括利用resnet-50代替resnet-18的深度残差神经网络;

步骤s4:利用所述训练数据集对centernet网络进行训练,获得目标检测模型;

步骤s5:利用所述目标检测模型对工业环境中的待检测目标进行检测,获取目标的位置信息和分类信息。

其中,所述步骤s2构建centernet网络的训练数据集包括添加待检测目标的若干图像和通过数据增强添加的若干图像,数据增强包括随机裁剪、翻转、平移。步骤s2所述构建训练数据集还包括添加每一幅图像对应的标注信息,所述标注信息包括:图像中是否包含待检测目标,待检测目标的位置信息和分类信息。

其中,所述步骤s3中的resnet-50深度残差神经网络包含1个输入卷积层,一个最大池化层和4个convblock残差块和12个identityblock残差块,convblock是一个包含3层卷积层的用于改变输入输出维度的残差块,其第一部分包括用于改变输入维度的1×1卷积层;第二部分包括用于特征提取的3×3卷积层;第三部分包括用于改变输出维度的1×1卷积层;第四部分包括用于改变图片输入维度,然后跳跃连接到输出的1×1卷积层;identityblock是一个包含3层卷积层的用于连续串联网络的残差块,其第一部分包括用于改变输入维度的1×1卷积层;第二部分包括用于特征提取的3×3卷积层;第三部分包括用于改变输出维度的1×1卷积层;第四部分是输入图片跳跃连接到输出。输入的工业目标样本图片首先经过一次卷积,获得下采样2倍的特征图;接着经过一次最大池化,此处并不进行下采样;然后经过由1层convblock和2层identityblock组成的深度残差块卷积,再次下采样2倍;再经过由1层convblock和3层identityblock组成的深度残差块卷积,此处对特征图下采样2倍;再经过由1层convblock和5层identityblock组成的深度残差块卷积,此处对特征图下采样2倍;最后经过由1层convblock和2层identityblock组成的深度残差块卷积,此处对特征图下采样2倍;最终resnet-50可以得到一个下采样32倍的特征图,相较于原本的resnet-18网络,提高了模型的泛化能力、提取特征的能力和检测精度,且由于使用了convblock和identityblock卷积结构,convblock和identityblock卷积结构先降低维度,再用一层3×3卷积层提取特征,与现有技术resnet-18深度残差神经网络在不降低维度,且使用两层3×3卷积层提取特征对比,在同样深度下减少了神经网络的参数量,从而提升了网络的训练速度。

其中,所述步骤s3对centernet网络进行改进,还包括在神经网络的颈部特征提取部分增加了一层转置卷积层。下采样32倍的特征图输入转置卷积层中,通过增加的转置卷积层可以获得上采样16倍的高分辨率特征图。

其中,步骤s5利用所述目标检测模型对工业环境中的待检测目标进行检测,在获得高分辨率特征图后,将高分辨率特征图送入神经网络预测部分的预测头中,预测头中三个部分,分别是热力图损失,中心点偏置损失和中心点的宽高损失。总的损失函数为,其中是热力图损失,是中心点偏置损失,是中心点宽高损失,分别为各个不同损失函数的权重。

其中,所述步骤s3对centernet网络进行改进,还包括在神经网络的预测部分增加nms非极大值抑制的方法,使得在步骤s5中神经网络对待检测目标进行预测时,可以去除多余的局部框,获得优质的检测框。由于centernet网络确立中心点是非常重要的,对于大目标而言,会存在许多的局部信息,所以此时对于同一个大目标的中心点比较难确定,使用最大池化的方法无法去除局部框,这样在最后的检测结果中就会留下多余的局部框,不仅会使得检测结果不准确,还会使得检测的整体时间增加,所以此处考虑添加nms非极大值抑制的方法来去除多余的局部框,获得优质的检测框。

其中,所述标注信息由软件labelimg进行标注。

本发明与现有技术相比,其有益效果为:1)采用层数更深的深度残差网络作为算法主体网络,增强了算法对检测物的特征提取的能力,在保证检测速度的同时,提高了检测精度,且由于使用了convblock和identityblock卷积结构,convblock和identityblock卷积结构先降低维度,再用一层3×3卷积层提取特征,与现有技术resnet-18深度残差神经网络在不降低维度,且使用两层3×3卷积层提取特征对比,在同样深度下减少了神经网络的参数量,从而提升了网络的训练速度;2)改进centernet网络的特征提取部分,增加了一层转置卷积层,能获得分辨率比之前高一倍的高分辨率特征图,提高了目标检测能力,特别是增强了对工业环境下的多目标和小目标物体的检测识别能力;3)通过在神经网络预测部分增加了nms非极大值抑制方法,提取优质的检测框,进一步提升了centernet网络对检测物的标签分类能力和精度;4)本发明适用范围广、精度高、普适性好。

附图说明

图1为实例中工业环境下基于改进的centernet算法的目标检测流程图;

图2为实施例中骨干网络convblock结构示意图;

图3为实施例中骨干网络identityblock结构示意图;

图4为实施例中改进的centernet网络模型结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进一步详细说明。应当理解,此处描述的具体实施例仅用于解释本申请,并不用于限定本申请。

在本实施例中,结合图1,提供了一种工业环境下基于改进的centernet网络的目标检测方法,所述方法包括以下步骤:

步骤s1:采集包含待检测目标的若干图像;

步骤s2:构建centernet网络的训练数据集;

步骤s3:对centernet网络进行改进,包括利用resnet-50代替resnet-18的深度残差神经网络,在深度残差神经网络的颈部特征提取部分增加一层转置卷积层,在深度残差神经网络的预测部分增加nms非极大值抑制的方法;

步骤s4:利用所述训练数据集对centernet网络进行训练,获得目标检测模型;

步骤s5:利用所述目标检测模型对工业环境中的待检测目标进行检测,获取目标的位置信息和分类信息。

进一步地,在本实施例中,所述步骤s2构建centernet网络训练数据集包括添加待检测目标的若干图像和通过数据增强添加的若干图像,数据增强包括随机裁剪、翻转、平移。步骤s2所述构建训练数据集还包括添加每一幅图像对应的标注信息,所述标注信息包括:图像中是否包含待检测目标,待检测目标的位置信息和分类信息。标注信息可以由软件labelimg进行标注,能够形成centernet网络训练适用格式的标注文件。

进一步地,在本实施例中,结合图2~4,所述步骤s3对centernet网络进行改进中,resnet-50深度残差神经网络包含1个输入卷积层,1个最大池化层和4个convblock残差块和12个identityblock残差块,convblock是一个包含3层卷积层的用于改变输入输出维度的残差块,其第一部分包括用于改变输入维度的1×1卷积层;第二部分包括用于特征提取的3×3卷积层;第三部分包括用于改变输出维度的1×1卷积层;第四部分包括用于改变图片输入维度,然后跳跃连接到输出的1×1卷积层,通过人为设置,使得第三部分的1×1卷积层的输出维度相比convblock残差块输入维度变小,从而实现降低维度的目的;identityblock是一个包含3层卷积层的用于连续串联网络的残差块,其第一部分包括用于改变输入维度的1×1卷积层;第二部分包括用于特征提取的3×3卷积层;第三部分包括用于改变输出维度的1×1卷积层,其中第三部分的1×1卷积层的输出维度相比identityblock残差块输入维度不变,第四部分是输入图片跳跃连接到输出。输入的工业目标样本图片首先经过一次卷积,获得下采样2倍的特征图;接着经过一次最大池化,此处不进行下采样;然后经过由1层convblock和2层identityblock组成的深度残差块卷积,再次下采样2倍;再经过由1层convblock和3层identityblock组成的深度残差块卷积,此处对特征图下采样2倍;再经过由1层convblock和5层identityblock组成的深度残差块卷积,此处对特征图下采样2倍;最后经过由1层convblock和2层identityblock组成的深度残差块卷积,此处对特征图下采样2倍;最终resnet-50可以得到一个下采样32倍的特征图,相较于原本的resnet-18网络,提高了模型的泛化能力、提取特征的能力和检测精度,且由于使用了convblock和identityblock卷积结构,convblock和identityblock卷积结构先降低维度,再用一层3×3卷积层提取特征,与现有技术resnet-18深度残差神经网络在不降低维度,且使用两层3×3卷积层提取特征对比,在同样深度下减少了神经网络的参数量,从而提升了网络的训练速度。

进一步地,在本实施例中,结合图4,所述步骤s3对centernet网络进行改进,在神经网络的颈部特征提取部分增加了一层转置卷积层,即在原有三层转置卷积层后再增加了一层转置卷积层,下采样32倍后的特征图输入转置卷积层中,通过增加的转置卷积层可以获得上采样16倍后的高分辨率特征图。

进一步地,在本实施例中,在获得高分辨率特征图后,将高分辨率特征图送入深度残差神经网络预测部分的预测头中,预测头中包括三个部分,分别是热力图损失,中心点偏置损失和中心点的宽高损失。总的损失函数为

其中是热力图预测损失:

其中是正样本数量,是超参数,此处分别取2和4。是指在处检测到类的真实值,类是检测目标的种类数量,是指在处检测到类的预测值。

是中心点偏置损失:

其中是正样本数量,是模型为每个目标的中心点预测的偏差。是真实中心点,是缩放倍数,是真实目标中心点下采样并向下取整的值。

是中心点宽高损失:

是正样本数量,是每个对象,是每个真实中心点宽和高,是预测的中心点宽和高。

分别为各个不同损失函数的权重,分别取值为1和0.1。

进一步地,在本实施例中,步骤s5中神经网络对待检测目标进行预测时,通过在神经网络的预测部分增加了nms非极大值抑制的方法,可以去除多余的局部框,获得优质的检测框。由于centernet网络确立中心点是非常重要的,对于大目标而言,会存在许多的局部信息,所以此时对于同一个大目标的中心点比较难确定,使用最大池化的方法无法去除局部框,这样在最后的检测结果中就会留下多余的局部框,不仅会使得检测结果不准确,还会使得检测的整体时间增加,所以此处考虑添加nms非极大值抑制的方法来去除多余的局部框,获得优质的检测框。

本发明采用层数更深的深度残差网络resnet-50作为算法主体网络,增强了算法对检测物的特征提取能力,在保证检测速度的同时,提高了检测精度;改进centernet网络的特征提取部分,增加了一层转置卷积层,能获得分辨率比之前高一倍的高分辨率特征图,提高了目标检测能力,特别是增强了对工业环境下的多目标和小目标物体的检测识别能力;通过在神经网络预测部分增加nms非极大值抑制方法,提取优质的检测框,进一步提升了检测算法对检测物的标签分类能力和精度。综上,本发明的算法检测精度更高,适用范围广,普适性好。

以上显示和描述了本发明的基本原理和主要特征以及本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

转载请注明原文地址:https://doc.8miu.com/read-250191.html

最新回复(0)