本发明涉及图像识别的,尤其涉及一种基于训练数据的增强方法。
背景技术:
1、随着机器学习和深度学习技术的快速发展,越来越多的应用场景开始涉及到这些领域。然而,在实际应用中,往往面临着训练数据不足的问题。导致模型的泛化能力较差,从而影响到模型在实际应用中的表现。为了解决训练数据不足的问题,研究人员提出了数据增强(data augmentation)的方法。数据增强是一种通过对原始训练数据进行变换,从而生成新的训练样本的方法。这种方法可以有效地扩展训练数据集,提高模型的泛化能力,从而提高模型在实际应用中的表现。数据增强方法可以分为两类:一类是基于领域知识的数据增强方法,另一类是基于生成模型的数据增强方法。
2、基于领域知识的数据增强方法,这类方法主要利用领域知识对原始数据进行变换,从而生成新的训练样本。例如,在图像分类任务中,我们可以通过旋转、翻转、缩放等操作对原始图像进行转换,从而生成新的训练样本。基于生成模型的数据增强方法,这类方法主要利用生成模型(如生成对抗网络、变分自编码器等)生成新的训练样本。这类方法的优点是可以生成与原始数据分布相似的新样本,从的泛化能力。
3、数据增强与模型泛化能力的关系,数据增强可以有效地扩展训练数据集,从而提高模型的泛化能力。具体来说,数据增强可以降低模型的方差,减少过拟合的风险。同时,数据增强还型的偏差,使模型更加关注于数据的本质特征,从而提高模型的泛化能力。
4、卷积神经网络在图像识别领域具有广泛的应用,模型训练好以后,当测试图像的对比度和亮度较低时,会导致过拟合现象。增加特殊情况的训练数据可以提高模型的鲁棒性,但是特殊情况数据的增加导致模型训练的难度加大,收敛性变差。本文提出对输入图像数据进行预处理,提高输入图像的对比度和亮度,从而提高训练好模型的识别准确性。但是,图像对比度和亮度的提高如何影响后续模型的识别准确率,需要有一个处理标准,因此传统的图像评价标准不适用。
技术实现思路
1、本发明提供了一种基于训练数据的增强方法,从训练数据出发,通过统计训练数据的相关特征,获得输入图像校准系数,处理后的图像可以明显提高后续模型的识别准确率。
2、一种基于训练数据的增强方法,包括如下步骤:
3、步骤1:统计训练数据的平均对比度和亮度。将训练图像转化为灰度图像,分别求出每个训练图片中每个像素点与周围像素点灰度值差的平方值作为当前像素点对比度值,从而求出整个图片的平均对比度值,然后统计所有训练图片的平均对比度。统计每个训练图片中亮度最大的10%数据的平均值作为该图片的亮度值,然后统计所有训练图片的平均亮度值。
4、步骤2:根据步骤1统计结果求出训练图片对比度和灰度的直方图分布图。
5、步骤3:找出对比度和灰度概率最大的图片,选出其中一张图片作为样本。
6、步骤4:通过固定对比度,逐步减少亮度,观察经过模型后的推理结果,直至结果错误时,确定亮度阈值。
7、步骤5:按照步骤4的过程,通过固定亮度,逐步减少对比度,观察经过模型后的推理结果,直至结果错误时,确定对比度阈值。
8、步骤6:用步骤4、步骤5的亮度阈值和对比度阈值构建阈值判断器,当输入图片的对比度或者亮度低于阈值时,需要进入预处理网络;当输入图片的对比度和亮度均高于阈值时,直接进入后续卷积神经网络。
9、步骤7:进入预处理网络的图片,根据其平均对比度和步骤1求得的训练图片平均对比度值,确定对比度增强系数;根据其最大亮度和步骤1求得的平均亮度,确定亮度增强系数。
10、步骤8:根据步骤7结果,分别用3x3,5x5,7x7三个卷积核处理输入图片,然后将卷积结果分别相加得到处理后图片。
11、采用本发明的技术方案与现有技术相比,具有如下优点:
12、(1)针对低亮度和低对比度图片的增强,可以显著提高后续卷积神经网络的识别正确率。
13、(2)通过阈值判别器,可以区分输入图片,从而节省计算资源,提高整体系统的处理速度。
14、(3)基于训练图片的数据处理,客观给出了图片处理的目标,提升了后续卷积神经网络的识别正确性。
1.一种基于训练数据的增强方法,其特征在于包括如下步骤:
2.根据权利要求1所述的基于训练数据的增强方法,其特征在于上述步骤3:以直方统计图中处于平均对比度和平均亮度概率最大的图片为采样图i进行阈值采样;具体步骤如下:
3.根据权利要求1所述的基于训练数据的增强方法,其特征在于上述步骤5:预处理模块实现过程如下:
4.根据权利要求1所述的基于训练数据的增强方法,其特征在于上述步骤6:将增强后的图片从hsv空间变换到rgb空间,送入下一级卷积神经网络。