多重注意力幽灵残差融合分类模型及其分类方法与流程

1.本发明属于图像分类技术领域，隶属于新一代信息技术，涉及一种图像的多重注意力幽灵残差融合分类模型及其分类方法。


背景技术：

2.图像分类技术是指给定一幅输入图像，通过算法判别图像所属类别的图像信息处理技术。图像分类在安防领域的人脸识别、行人检测、智能视频分析，交通领域的车辆计数、逆行检测、车牌检测与识别，以及互联网领域的基于内容的图像检索、相册自动归类等领域都有着广泛的应用。
3.传统图像分类算法对简单分类任务表现出色，对有严重干扰或差异细微的图像分类的效果无法满足需求。基于神经网络的智能分类方法得到人们的认可，通过加深网络深度提高分类效果是最常见的方法，如深度残差神经网络resnet，详见“he k,zhang x,and ren s,“deep residual learning for image recognition,”proceedings ofthe ieee conference on computer vision andpattern recognition,2016,pp.770
‑
778”。resnet有效提高了网络的分类精度，但同时也带来了高昂的计算成本。
4.为了加快网络训练效率，人们开始通过替换传统的卷积操作来减少模型的参数量和计算成本，如k.han等人首次提出了幽灵卷积的概念并由此构建了ghostnet神经网络，大大减了参数量，但该网络存在分类精度不高的问题，详见“k.han,y.wang,q.tian,j.guo,c.xu and c.xu,"ghostnet:more features from cheap operations,"2020ieee/cvf conference on computer vision and pattern recognition(cvpr),seattle,wa,usa,2020,pp.1577
‑
1586”。
5.现有图像分类方法往往专注于某一方面的性能，高精度分类模型可能存在计算成本高昂的问题，高效率分类模型也可能存在分类精度不够高的缺陷，难以同时满足某些特定场合中高精度和高效率的双重需求。随着人工智能技术的应用场合越来越丰富，各种智能机器或产品对图像分类技术的要求越来越高，如何实现兼具高效率、高精度优点的图像分类，是目前亟待解决的问题。


技术实现要素：

6.本发明实施例提供一种多重注意力幽灵残差融合分类模型及其分类方法，以解决图像分类技术领域中出现的模型计算成本高，训练困难，分类精度低等问题。
7.本发明实施例所采用的技术方案是，多重注意力幽灵残差融合分类模型，包括依次连接的基础特征提取网络、幽灵残差映射网络和图像分类网络；
8.所述基础特征提取网络，用于提取待分类图像的包括色彩、纹理、轮廓等在内的基础特征信息，cbam注意力机制能帮助网络有侧重的提取图像通道间和空间位置的特征信息，能更好的帮助分类器提取更多有利于分类的关键特征；
9.所述的幽灵残差映射网络，通过替换卷积操作、拓宽网络宽度和残差连接的方式
建立输入与输出之间的非线性映射关系，反复提取图像的高维特征信息后传送到图像分类网络；
10.所述的图像分类网络，使用eca注意力机制对幽灵残差映射网络的输出进一步提取细节、纹理等特征信息后，送入分类器，完成图像的分类任务。
11.本发明实施例所采用的另一技术方案是，多重注意力幽灵残差融合分类模型分类方法，按照以下步骤进行：
12.步骤s1、将待分类图像送到多重注意力幽灵残差融合分类模型的基础特征提取网络；
13.步骤s2、基础特征提取网络对输入图像进行基础特征提取，得到基础特征信息；
14.步骤s3、将基础特征信息送入幽灵残差映射网络，采用4个mgr
‑
block模块反复提取输入图像的高维特征信息；
15.步骤s4、将图像的高维特征信息送入图像分类网络，图像分类网络利用eca模块对输入的高维特征信息实现通道间的信息交互，实现有侧重地提取对分类更有用的特征信息，然后把最终得到的特征信息传递给分类器实现分类。
16.本发明实施例的有益效果是，提出了一种多重注意力幽灵残差融合分类模型及其分类方法，设计了一个基础特征提取网络，它使用大小为3
×
3的卷积层、最大池化层和通道与空间的混合注意力机制来有侧重的提取输入图像的颜色、纹理等关键特征信息。通过顺次连接4个mgr
‑
block模块，提出了一种幽灵残差映射网络(grm)，grm使用幽灵卷积操作替换全部的传统卷积以减少模型的计算量和参数量，然后采用多支路组卷积的方式改变grm中所有的幽灵卷积层以拓宽网络宽度，增强网络的特征提取能力，帮助grm网络从基础特征网络提供的输出特征中获得更丰富的特征信息。此外，上述4个mgr
‑
block依次是由3、4、6、3个幽灵子网络(grs)和一个降维器以局部残差连接的方式构建而成。每个grs均由1
×
1幽灵组卷积、3
×
3幽灵组卷积、1
×
1幽灵组卷积和relu非线性激活层依次级联而成，其中第一层1
×
1幽灵组卷积层的输入和最后一层1
×
1幽灵组卷积层的输出还通过残差连接直接相连共同作为下一个grs模块的输入，如此循环到最后一个grs完成整个grm网络的幽灵残差映射过程后得到grm网络的最终输出。图像分类网络由依次连接的eca注意力模块、全局平均池化层(gap)和softmax分类器构成，把grm网络的最终输出送入图像分类网络中，通过eca注意力模块在不降低维度的情况下逐个对通道进行全局平均池化，这样一来每个特征图对应一个特征点，然后把所有特征点组成的特征向量送到softmax层，由softmax层根据得到的输入特征识别判断待分类图像所属类别及对应标签，最后得到分类结果，完成高效率、高精度的分类任务。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明实施例的多重注意力幽灵残差融合分类模型的结构示意图。
19.图2是本发明实施例的多重注意力幽灵残差融合分类模型中基础特征提取网络中
cbam注意力模块的结构示意图。
20.图3是本发明实施例的多重注意力幽灵残差融合分类模型中幽灵残差映射网络grm中的幽灵卷积操作的结构示意图。
21.图4是本发明实施例的多重注意力幽灵残差融合分类模型中幽灵残差映射网络grm中的多支路幽灵组卷积模块mgr
‑
block的结构示意图。
22.图5是本发明实施例的多重注意力幽灵残差融合分类模型中幽灵残差映射网络grm中的幽灵子网络grs的结构示意图。
23.图6是本发明实施例的多重注意力幽灵残差融合分类模型中幽灵残差映射网络grm中的残差连接结构示意图。
24.图7是本发明实施例的发明实施例的多重注意力幽灵残差融合分类模型中图像分类网络的结构示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.经发明人研究发现，现有的基于深度学习的图像分类算法的分类效果不佳，现有的分类模型主要存在以下缺陷：(1)模型参数量大，计算成本高；(2)现有深度学习模型多通过增加网络深度的方式，提高网络的分类效果，这样网络将会出现梯度弥散问题，导致网络训练困难；(3)现有深度学习模型对输入图像中对分类更有用的关键特征信息提取能力不足。针对以上缺陷，本发明实施例提出一种多重注意力幽灵残差融合分类模型，其结构如图1所示，包括依次连接的基础特征提取网络、幽灵残差映射网络和图像分类网络，其中，基础特征提取网络，用于提取初始输入图像的颜色、轮廓等基础特征信息，cbam注意力机制能够弥补普通卷积池化操作特征提取能力不足的问题。幽灵残差映射网络，通过建立输入与输出之间的多支路幽灵组卷积残差映射关系，反复提取图像的高维特征信息后传送到图像分类网络。图像分类网络，使用eca注意力机制对幽灵残差映射网络的输出进一步提取细节、纹理等特征信息后，送入分类器，完成图像的分类任务。
27.本发明实施例中基础特征提取网络由3
×
3卷积层、最大池化层maxpool和cbam注意力机制组成。3
×
3卷积层，用于提取初始输入图像的包括颜色、轮廓等在内的基础特征信息；最大池化层，用于保留主要的特征的同时减少参数和计算量，防止过拟合，提高模型泛化能力；cbam注意力机制，用于帮助基础特征提取网络有侧重的提取对分类更有用的特征信息。
28.对于卷积核的尺寸来说，大尺度的卷积核具有学习复杂特征的能力，但是会丢失细节信息，而小尺度的卷积核易于学习，可以带来更丰富的细节信息，但同时学习复杂特征能力较差。因此采用通道与空间混合注意力机制cbam帮助网络实现特征的提取，可以有效弥补小尺度单一卷积核提取特征信息能力不足的缺点，保证从初始输入图像中提取更丰富的特征信息，为后续的分类任务作准备。本发明实施例中，基础特征提取网络包括3
×
3卷积层、最大池化层maxpool和cbam注意力机制三个部分。3
×
3卷积层用于提取初始输入图像的
包括颜色、轮廓等在内的基础特征信息。最大池化层maxpool用于保留主要的特征的同时减少参数和计算量，防止过拟合的同时提高模型泛化能力。cbam注意力机制由通道注意力机制ca和空间注意力机制sa两部分构成，输入图像依次经过一个卷积层和一个最大池化层后，将提取到的图像特征送入ca模块，得到加权处理结果之后送入sa模块，再进行加权得到提取的基础特征信息。至此，通过基础特征提取网络，获得了基础特征图。
29.幽灵残差映射网络中的幽灵残差子网络grs包含的所有卷积层均被替换为幽灵卷积层，每个grs中的第一层1
×
1幽灵卷积层的输入和最后一层1
×
1幽灵卷积层的输出直接相连，作为下一个grs模块的输入，如此循环至最后一个grs。grs内部均采用残差连接，一个grs的输入被分成32个输入，每个输入一方面按照上述幽灵组卷积的方式前向传递，另一方面则借助残差连接直接传递到输出层，由此得到grs的最终输出结果。在深度学习中，由于网络深度的加深会导致梯度弥散问题出现，利用残差连接，还能进一步有效改善网络内部的信息和梯度的流动。
30.由于幽灵卷积可以有效减少计算量，拓宽网络宽度能增强网络的特征提取能力，残差连接可以解决网络梯度弥散问题并改善整个网络的信息流动和梯度更新，对于图像分类算法来说，这些方法可以有效的提升分类效果。因此使用幽灵卷积替换传统卷积，可以有效地降低计算成本。使用多支路幽灵组卷积方式拓宽网络宽度，增强网络特征提取能力。采用残差连接解决网络梯度弥散问题并改善整个网络的信息流动和梯度更新。以此构建幽灵残差映射网络。
31.图像分类网络包括eca注意力模块，全局平均池化层gap，softmax分类器。其中的eca注意力模块将幽灵残差映射网络中所有mgr
‑
block的最终输出结果在不降低维度的情况下逐个通道全局平均池化，产生一个1
×1×
c的特征向量，然后通过一个一维卷积层完成跨通道间的信息交互，一维卷积的卷积核大小通过一个自适应函数来确定，它使得通道数较大的层可以更多地进行cross channel交互，自适应卷积核大小的计算公式为：
[0032][0033]
eca模块通过通道尺寸的非线性映射自适应确定一维卷积的内核大小，内核大小k代表网络跨通道交互的覆盖范围，范围大小与通道维度成是成比例增加的。经eca注意力模块处理后的输入特征图随后传送到全局平均池化层gap中，再由新的gap层对接收到的每一个特征图再次进行全局平均值池化，这样一来每个特征图对应一个特征点，得到分类器softmax层方便处理的特征信息，最终由分类器根据传递进来的特征图进行识别判断初始输入图片类别所属及其对应标签信息，打印分类结果。至此，图像分类网络就完成了整个模型的分类任务。
[0034]
由于每张输入到网络中的待分类图像类别不同，图像所包含的特征信息也各不相同，可能有大小、颜色、轮廓不尽相同的物体。然而在利用卷积层进行特征信息提取时，较小的物体所能够提取到的特征信息很少，而感受野的大小也可能会提取到周围的其他无关信息，随着不断进行卷积处理操作，最后可能会导致原图像中某些特征信息的丢失。因此在这里我们建立了残差连接，通过引入原始图像特征，对处理后行信息结果进行补充，保证较小物体的信息也能呈现在最后输出的特征图上。
[0035]
基于深度学习的网络模型设计依据应用背景，例如图像的超分辨率重建关注的是
低分辨率图像到高分辨率图像之间的非线性映射关系，通过提取图像中的每一处特征信息，将原始较弱的轮廓特征增强，提高细节及纹理，利用低分辨率图像推断出所有缺失的高频细节是重建的关键。而图像分类更关注的是图像内容的分析理解，在模型设计上更倾向关注的目标的识别，将目标信息从整体分离加以识别分类。本发明实施例为了充分提取原始图像的特征信息，实现更好的分类效果，提出了一种多重注意力幽灵残差融合分类模型及其分类方法。方法采用通道注意力和空间注意力混合机制cbam帮助网络有侧重的提取原始图像中对分类更有用的基础特征信息，然后把提取到的基础特征信息送入幽灵残差映射网络。幽灵残差映射网络grm由4个mgr
‑
block顺次连接而成，幽灵残差映射网络负责反复提取上层输入信息的高维特征信息并发送给图像分类网络，图像分类网络采用eca注意力模块、全局平均池化层gap及softmax分类器完成分类任务。
[0036]
本发明实施例提出一种多重注意力幽灵残差融合分类模型及其分类方法，如图1所示，按照以下步骤进行：
[0037]
步骤s1、将原始图像输入到多重注意力幽灵残差融合分类模型的基础特征提取网络中，依次通过3
×
3卷积层、最大池化层和cbam注意力模块。
[0038]
步骤s2、基础特征提取网络对原始图像进行特征提取，得到基础特征，即图1中的x
′
；
[0039]
单层卷积层和最大池化层提取基础特征信息，可能会导致提取过程中遗漏和忽视更有用特征细节信息。本文在基础特征提取网络部分采用cbam注意力模块帮助网络有侧重的提取更有用的关键特征信息，cbam注意力模块的结构图见图2，它有效弥补了单层卷积层特征提取能力不足的问题。基础特征提取公式如下：
[0040]
n＝h3×3(m)；
[0041]
x＝maxpool(n)；
[0042][0043][0044]
其中，m为输入的待分类图像，h表示卷积操作算子，下标表示卷积核的大小，maxpool表示最大池化操作，m
c
和m
s
分别表示通道特征提取和空间特征提取操作，表示点乘操作，n、x
′
和x
′
分别表示对m进行3
×
3卷积操作、通道特征提取和空间特征提取后得到的特征图，x
′
为基础特征提取网络最终得到的基础特征。
[0045]
步骤s3、将基础特征送入幽灵残差映射网络，经mgr
‑
block反复提取图像的高维特征信息；
[0046]
幽灵残差映射网络grm使用幽灵卷积替换传统卷积层，幽灵卷积见图3，幽灵卷积包括两部分，第一部分通过传统卷积生成通道数较小的特征图，第二部分则是通过线性运算利用第一部分的结果生成更多的特征图，两组特征图拼接到一起，得到最终的输出，给出幽灵卷积的数学模型为：
[0047]
y1＝x1′
*f
′
[0048][0049]
y＝y1 y2[0050]
其中x
′
表示基础特征提取网络得到的基础特征，假设x
′
＝x1′
x
′2(x1′
<x
′2′
)，x1′
和x
′2′
分别是有用基础特征信息和冗余基础特征信息，x1″
用于产生m个本征特征图y1，对每一个本征特征图线性运算φ
j
生成s个重影特征，m个本征特征生成n＝m
×
s个幽灵特征图y2，ghost卷积操作后得到m n个输出特征图y，其中f
′
∈r
c
×
k
×
k
×
m
表示幽灵卷积操作中使用的过滤器，k
×
k为卷积核的大小，m个本征特征图y∈r
h
′×
w
′×
n
，h
′
、w
′
分别是输出特征图的高和宽，n为幽灵特征图的个数。
[0051]
grm网络内部串联了4个mgr
‑
block模块，mgr
‑
block模块结构见图4，4个mgr
‑
block依次由3、4、6、3个幽灵残差子网络grs顺次连接而成。grs结构图见图5，grs中的所有卷积层均被替换为幽灵卷积层，而每个幽灵卷积层又被分为32条支路，形成一个多支路分组幽灵卷积结构，每个grs依次由1
×
1幽灵组卷积、3
×
3幽灵组卷积、1
×
1幽灵组卷积和relu非线性激活层依次级联而成，其中第一层1
×
1幽灵组卷积层的输入和最后一层1
×
1幽灵组卷积层的输出直接相连，作为下一个grs模块的输入，如此循环至最后一个grs，单个grs的数学模型如下：
[0052][0053]
其中输入x＝x
′
，输入x被分为q个输入x
i
,i＝1,
…
,q，t(x
i
)表示第i条支路的映射结果，若干个grs按顺序依次构成mgr
‑
block后(这里grs的个数依次采取3、4、6、3的结构搭建网络)，除了第一个grs的输入为基础特征提取网络的输出，其它的grs的输入均为上一个grs的输出，以此实现特征在4个mgr
‑
block中的传递，其中幽灵映射网络中完整的幽灵组卷积映射过程的数学模型为：
[0054][0055]
其中k,k＝1,
…
,p，m为第k个多支路幽灵组卷积中包含的grs的个数，t
k
(x)表示幽灵映射网络的输出结果。grs内部采用残差连接将输入直接传递到输出层，一个grs的输入被分成q个输入，每个输入一方面按照上述幽灵组卷积的方式前向传递，另一方面则借助残差连接直接传递到输出层，残差连接见图6，由此可得grm网络的完整数学模型为：
[0056][0057]
其中t
kfin
(x)表示完整幽灵残差映射网络grm的最终输出结果。幽灵卷积可以有效减少模型计算量，多支路组卷积可以拓宽网络宽度，增强网络特征提取能力，残差连接可以有效改善特征信息在网络中的流动和梯度更新，防止梯度弥散或爆炸。
[0058]
图7所示图像分类网络的输入是grm的输出t
kfin
(x)，t
kfin
(x)进入图像分类网络中后首先由eca模块在不降低维度的情况下逐个通道全局平均池，其数学模型为：
[0059][0060]
其中m
e
表示eca操作过程，表示点乘操作，t
k
′
fin
(x)表示输入t
kfin
(x)经过eca模块后得到的处理结果，随后将t
k
′
fin
(x)送入gap层，gap层对输入的每一个特征图进行全局平均值池化，这样一来每个特征图对应一个特征点，然后把所有特征点组成的特征向量送到softmax层，由softmax层根据得到的输入特征识别判断待分类图像所属类别及对应标签，最后得到分类结果，完成最终的分类任务。
[0061]
多重注意力幽灵残差融合分类模型magr中的激活函数均采用relu激活函数，relu激活函数是实现非线性映射的关键，它有助于本发明实施例网络模型学习输入图像的复杂特征。因为卷积层是一种具有互相关特性的线性滤波器。relu作为卷积层的激活函数，具有非线性特性，可以将一个节点的多个输入信号转换成一个输出信号，实现输入输出特征图像的非线性映射。
[0062]
给定一个训练数据集e＝{x
(k)
,y
(k)
},k＝1,2,3,...,|d|，其中x
(k)
和y
(k)
分别表示原始图像和图像对应类别标签。多重注意力幽灵残差融合分类模型是实现从图像特征信息到图像类别标签的端到端映射。换句话说，我们发明实施例的多重注意力幽灵残差融合分类模型的目标是学习一个演绎模型γ，从输入的原始图像图像x
(k)
中推断出其对应的类别标签y
(k)
。
[0063][0064]
其中θ＝[ω,b]是网络模型参数，ω是权重矩阵，b是偏差。模型参数θ通过最小化重建的hr图像与真实的hr图像之间的损失来确定。我们将损失函数定义为，
[0065][0066]
用训练集e训练magr的过程是使损失最小化，找到模型θ的最优参数。magr模型的结构如图1所示，它由基础特征提取网络(bfe)、幽灵残差映射网络(grm)和图像分类网络(ic)组成。bfe负责提取原始图像的基础特征并传送到grm，grm负责提取图像的高维特征并送入ic，ic使用eca注意力模块处理后送入softmax分类器执行分类任务。
[0067]
为了验证本发明实施例的多重注意力幽灵残差融合分类模型的有效性，选择不同场景图像作为测试数据集，与k.han的算法(k.han,y.wang,q.tian,j.guo,c.xu and c.xu,"ghostnet:more features from cheap operations,"2020ieee/cvf conference on computer vision and pattern recognition(cvpr),seattle,wa,usa,2020,pp.1577
‑
1586.)；liu z的算法(liu z,sun m,andzhou t,“rethinking the value ofnetworkpruning,”arxiv preprint arxiv1,pp.810.05270,2018.)；shen y t的算法(shen y t,and wen y,
[0068]“convolutional neural network optimization via channel reassessment attention module,”arxivpreprint arxiv,pp.2010.05605,2020.)；liu y的算法(liu y,wentzlaffd,andkung s y,“rethinking class
‑
discrimination based cnn channel pruning,”arxiv preprint arxiv,pp.2004.14492,2020.)；f.ren的算法(f.ren,w.liu and g.wu,"feature reuse residual networks for insect pest recognition,"in ieee access,vol.7,pp.122758
‑
122768,2019.)；wang m的算法(wang m,zhang x,and niu x,“scene classification ofhigh
‑
resolution remotely sensed image based on resnet,”journal of geovisualization and spatial analysis,pp.16,2019,3(2).)；l.li的算法(l.li,t.tian and h.li,"classification of remote sensing scenes based on neural architecture search network,"2019ieee 4th international conference on signal and image processing(icsip),wuxi,china,2019,pp.176
‑
180.)和本发明的实验结果通过主客观两个方面对比分析验证。
[0069]
本实施例为避免定性分析带来的偏差，使用模型参数量(params/m)、浮点计算量(flops/m)和分类准确率(acc/％)三个客观指标进行定量评价，通过在cifar10、cifar100和uc merced land(uc
‑
m)三个数据集上的实验结果进行分析比较。
[0070]
在cifar10数据集上的实验结果如表1所示，粗体表示最好结果，蓝色表示第二好的结果。由表可知：k.han的ghost
‑
resnet
‑
56算法params和flops均是最低值，但分类精度不高。liu z的算法l1
‑
resnet
‑
56params指标和flops指标均排名第二，但分类精度仅92.5％。magr的params指标和flops指标均排名第三，但分类精度最高，达到了94.7％，比ghost
‑
resnet
‑
56和l1
‑
resnet
‑
56分别提高了2.1％和2.3％。
[0071]
表1与其他模型在cifar10上的性能比较
[0072][0073]
在cifar100数据集上的实验结果如表2所示，粗体表示最好结果，蓝色表示第二好的结果。由表2可见：liu y的算法resnet
‑
164
‑
s
‑
gd获得了最好的params指标和最好的flops指标。magr的params指标位居第二，但获得了最高分类精度，达到了78.4％，比resnet
‑
164
‑
s
‑
gd提高了1.7％。
[0074]
表2与其他模型在cifar100上的性能比较
[0075][0076]
最后，在uc
‑
m数据集上的实验结果如表3所示，粗体表示最好结果。从表3数据可知，本发明提出的多重注意力幽灵残差融合分类模型及其分类方法magr获得了最好效果，分类精度达96.7％。综合以上实验结果可知，magr虽然没有获得最好的params和flops指标，但在相比较的方法中位居中上等，在cifar10、cifar100、uc
‑
m三个公开的数据集得分类精度均获得了最高值。因此，本发明实施例提出的方法在训练效率上具有优越性，分类精度相较于其它cnn模型具有明显的竞争力。
[0077]
表3与其他模型在uc
‑
m上的性能比较
[0078][0079]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

技术特征：
1.多重注意力幽灵残差融合分类模型，其特征在于，包括依次连接的基础特征提取网络、幽灵残差映射网络grm和图像分类网络；所述基础特征提取网络，用于提取输入图像中包含的色彩、轮廓等基础特征信息，cbam注意力机制能帮助基础特征提取网络有侧重的提取对分类阶段有用的关键信息；所述的幽灵残差映射网络grm，通过替换卷积操作、拓宽网络宽度和残差连接的方式建立输入与输出之间的非线性映射关系，减少模型的计算量，同时有效提升了网络的特征提取能力；所述的图像分类网络，使用eca注意力机制对幽灵残差映射网络输出的特征进一步提取细节、纹理等信息后，送入分类器，完成图像的分类任务。2.根据权利要求1所述的多重注意力幽灵残差融合分类模型，其特征在于，所述基础特征提取网络对输入图像依次经过一个卷积操作和一个最大池化层后，将提取到的图像特征送入通道注意力模块ca，得到加权处理结果之后送入空间注意力模块sa，再进行加权得到提取的基础特征信息；所述的特征提取模块得到的最终的基础特征送入幽灵残差映射网络grm的输入端。3.根据权利要求1～2任一项所述的多重注意力幽灵残差融合分类模型，其特征在于，所述幽灵残差映射网络grm由4个多支路幽灵组卷积网络mgr
‑
block级联而成；所述的grm中的第一个mgr
‑
block由一个降维器和3个幽灵残差子网络grs级联而成；所述的grm中的第二个mgr
‑
block由一个降维器和4个grs级联而成；所述的grm中的第三个mgr
‑
block由一个降维器和6个grs级联而成；所述的grm中的第四个mgr
‑
block由一个降维器和3个grs级联而成；所述的grm输入的是基础特征提取网络提取的基础特征，即基础特征是第一个mgr
‑
block的输入。4.根据权利要求3所述的多重注意力幽灵残差融合分类模型，其特征在于，所述多支路幽灵组卷积网络mgr
‑
block中包含的幽灵残差子网络grs，使用幽灵卷积ghost提取特征，并通过分组将网络宽度拓宽至32倍，每个grs按照1
×
1卷积、3
×
3卷积、1
×
1卷积的顺序串联而成，每层卷积层后均采用relu激活层，grs两端采取局部残差连接方式将输入输出特征信息融合后输入到下一个grs，由此实现输入特征在整个grm网络中的幽灵残差映射与传递；所述的grs中的分组卷积操作表示将输入特征先拆分再合并，不改变通道数；所述的grs中涉及的卷积层全都是幽灵卷积；所述的grs中的局部残差连接融合表示合并特征图，通道数增加。5.根据权利要求1～4任一项所述的多重注意力幽灵残差融合分类模型，其特征在于，所述图像分类网络包括依次连接的有效通道注意力机制eca、全局平均池化gap及分类器softmax三个部分；所述的eca可以加强幽灵残差映射输出的高维通道信息之间的联系，在不增加计算量的前提下帮助模型进一步提取有用特征信息，上层输出进入eca模块后在不降低维度的情况下逐个通道全局平均池化产生一个1
×1×
c的特征向量，然后通过一个一维卷积层完成跨通道间的信息交互，一维卷积的卷积核尺寸通过一个自适应函数来确定，它使得通道数较大的层可以更多地进行通道之间的交互利用，进而有侧重的提取对最终分类更有用的细节特征信息；
所述的全局平均池化gap的作用是把eca得到的每一个输入特征进行全局平均值池化，这样一来每个特征图对应一个特征点，最后得到由全部特征点组成的特征向量；所述的分类器softmax根据gap层输出的由全部特征点组成的特征向量，判断原始输入图像的类别标签并得到分类结果，实现最终的图像分类。6.如权利要求1～5所述的多重注意力幽灵残差融合分类模型的分类方法，其特征在于，按照以下步骤进行：步骤s1、将待分类图像输入到图像的多重注意力幽灵残差融合分类模型的基础特征提取网络；步骤s2、基础特征提取网络对待分类图像进行特征提取，得到基础特征；步骤s3、将基础特征送入幽灵残差映射网络，采用4个mgr
‑
block模块反复提取输入图像的高维特征信息；步骤s4、将图像的高维特征信息送入图像分类网络，图像分类网络利用eca模块对输入的高维特征信息实现通道间的信息交互，实现有侧重地提取对分类更有用的特征信息，然后把最终得到的特征信息传递给分类器实现分类。7.根据权利要求6所述的多重注意力幽灵残差融合分类模型的分类方法，其特征在于，所述步骤s2中基础特征提取网络的数学模型为：n＝h3×3(m)，x＝maxpool(n)，x＝maxpool(n)，其中，m为输入的待分类图像，h表示卷积操作算子，下标表示卷积核的大小，maxpool表示最大池化操作，m
c
和m
s
分别表示通道特征提取和空间特征提取操作，表示点乘操作，n、x
′
和x
′
分别表示对m进行3
×
3卷积操作、通道特征提取和空间特征提取后得到的特征图，x
′
为基础特征提取网络最终得到的基础特征。8.根据权利要求6所述的多重注意力幽灵残差融合分类模型的分类方法，其特征在于，所述步骤s3中幽灵残差映射网络反复提取图像的高维特征信息的过程为：幽灵残差映射网络中的每个grs中的第一层1
×
1幽灵卷积层的输入和最后一层1
×
1幽灵卷积层的输出直接相连，作为下一个grs模块的输入，如此循环至最后一个grs，grs中的幽灵组卷积数学模型为：其中输入x＝x
′
，输入x被分为32个输入，t(x
i
)表示第i条支路的映射结果；4幽灵映射网络中完整的幽灵组卷积映射过程的数学模型为：其中m表示4个依次相连的mgr
‑
block中包含的grs的个数，m的取值分别为3、4、6、3，k表示4个依次相连的mgr
‑
block的序号，与m对应的k的取值分别为1、2、3、4，t
k
(x)表示幽灵映射网络的输出结果；
所述的grs内部采用残差连接将输入直接传递到输出层，一个grs的输入被分成32个输入，每个输入一方面按照上述幽灵组卷积的方式前向传递，另一方面则借助残差连接直接传递到输出层，由此可得grs的最终数学模型为：其中t
kfin
(x)表示完整幽灵残差映射网络grm的最终输出结果，m和k的含义与幽灵组卷积映射过程的数学模型中相同。9.根据权利要求6～8任一项所述的多重注意力幽灵残差融合分类模型的分类方法，其特征在于，所述步骤s4中图像分类网络的过程为：图像分类网络的输入是grm的输出t
kfin
(x)，t
kfin
(x)进入图像分类网络中后由eca模块在不降低维度的情况下逐个通道全局平均池，其数学模型为：其中m
e
表示eca操作过程，表示点乘操作，t
k
′
fin
(x)表示输入t
kfin
(x)经过eca模块后得到的处理结果，随后将t
k
′
fin
(x)送入gap层，gap层对输入的每一个特征图进行全局平均值池化，这样一来每个特征图对应一个特征点，然后把所有特征点组成的特征向量送到softmax层，由softmax层根据得到的输入特征识别判断待分类图像所属类别及对应标签，最后得到分类结果，完成分类任务。
技术总结
本发明公开了一种用于图像分类的多重注意力幽灵残差融合分类模型(MAGR)及其分类方法，包括依次连接的基础特征提取网络、幽灵残差映射网络和图像分类网络；基础特征提取网络借助注意力机制有侧重的提取有用的特征信息，负责提取输入图像的基础特征，并送入幽灵残差映射网络；幽灵残差映射网络融合了幽灵卷积、多支路幽灵组卷积和残差连接，负责提取网络的高级特征；图像分类网络根据提取的全部特征信息判断图像所属类别，获取图像对应的标签，实现分类。本发明用于图像分类，能够实现分类模型的高效化、轻量化，同时保证图像的高精度分类。类。类。


技术研发人员：贾晓芬 杜圣杰 郭永存 黄友锐 赵佰亭
受保护的技术使用者：安徽理工大学
技术研发日：2021.04.06
技术公布日：2021/6/29