本发明涉及知识蒸馏,尤其涉及基于知识增强的特征编辑重建蒸馏方法。
背景技术:
1、近年来,卷积神经网络(convolutional neural networks,cnns)在计算机视觉领域的图像分类、目标检测和语义分割等方向得到了广泛应用和深入研究。然而,基于深度学习的方法在实际应用中仍然存在一些问题。首先,大而深的深度神经网络模型对运算的实时性要求很高,即使借助gpu加速,仍然无法满足许多应用场景的实时性需求。其次,这些应用模型在使用深度卷积神经网络进行特征提取和处理时,会带来庞大的内存计算开销和内存占用,增加了存储和计算成本。这导致这些深度模型难以在移动设备或嵌入式平台上部署运行,限制了其推广。
2、现有的知识蒸馏方法都是让学生模型尽可能地去模仿教师模型对应特征层的输出,并不能充分利用教师模型特征层中蕴含的暗知识,而且没有解决好教师无法教出好学生的问题。
技术实现思路
1、本发明的目的在于提供基于知识增强的特征编辑重建蒸馏方法,旨在解决现有的知识蒸馏方法导致教师模型和学生模型之间的表征能力差距较大的问题。
2、为实现上述目的,本发明提供了基于知识增强的特征编辑重建蒸馏方法,包括以下步骤:
3、引入基于注意力引导的双向特征融合知识增强模块,通过空间注意力和通道注意力对教师特征进行自下而上和自上而下的多尺度特征融合;
4、通过特征编辑重建模块将教师的部分特征作为先验知识融合到学生特征中,并删除学生特征的边缘、轮廓等细节信息,实现特征编辑;
5、使学生模型通过卷积块来恢复特征信息,进行特征重建。
6、其中,所述引入基于注意力引导的双向特征融合知识增强模块,通过空间注意力和通道注意力对教师特征进行自下而上和自上而下的多尺度特征融合,包括:
7、生成中间特征;
8、基于所述中间特征进行通道对齐再进行上采集后通过通道注意力引导融合生成特征。
9、其中,所述生成中间特征,包括:
10、从教师主干网络中提取教师特征;
11、对所述教师特征进行下采集后通过空间注意力引导融合生成中间特征。
12、其中,所述通过特征编辑重建模块将教师的部分特征作为先验知识融合到学生特征中,并删除学生特征的边缘、轮廓等细节信息,实现特征编辑,包括:
13、获取融合特征;
14、通过二值化掩膜对所述学生特征进行处理,得到特征编辑重建模块的输出特征。
15、其中,所述获取融合特征,包括:
16、获取知识增强模块的输出特征和学生网络的提取特征图;
17、通过二值化随机掩膜选择先验知识;
18、生成互补掩膜;
19、将所述提取特征图和所述输出特征通过各自的掩膜处理后进行融合,得到融合特征。
20、本发明的基于知识增强的特征编辑重建蒸馏方法,包括以下步骤:引入基于注意力引导的双向特征融合知识增强模块,通过空间注意力和通道注意力对教师特征进行自下而上和自上而下的多尺度特征融合;通过特征编辑重建模块将教师的部分特征作为先验知识融合到学生特征中,并删除学生特征的边缘、轮廓等细节信息,实现特征编辑;使学生模型通过一个由简单的卷积块来恢复特征信息,进行特征重建,通过知识增强模块利用空间注意力和通道注意力对教师特征进行自下而上和自上而下的多尺度特征融合,使学生网络可以跨层级学习到更加丰富的空间信息和语义信息;通过在特征编辑重建模块中引入教师部分特征作为先验知识,缩小了教师和学生模型之间的表征能力差距,降低了学生网络学习的难度。本发明提出的方法简单有效,能够同时适用于单阶段和两阶段以及无锚框检测器,在通用目标检测数据集和工业缺陷检测领域数据集上均有较好的效果,从而解决了现有的目标检测的知识蒸馏方法只在对应特征层之间进行蒸馏导致蒸馏的性能会受到限制的问题。
1.基于知识增强的特征编辑重建蒸馏方法,其特征在于,包括以下步骤:
2.如权利要求1所述的基于知识增强的特征编辑重建蒸馏方法,其特征在于,
3.如权利要求2所述的基于知识增强的特征编辑重建蒸馏方法,其特征在于,
4.如权利要求3所述的基于知识增强的特征编辑重建蒸馏方法,其特征在于,
5.如权利要求4所述的基于知识增强的特征编辑重建蒸馏方法,其特征在于,
