本发明属于计算机软件领域，尤其涉及一种基于特征融合和注意力机制的脑电信号分类识别方法。
背景技术：
脑机接口(braincomputerinterface,bci)技术形成于20世纪70年代，是一种涉及神经科学、信号检测、信号处理、模式识别等多学科的交叉技术。20多年来，随着人们对神经系统功能认识的提高和计算机技术的发展，bci技术的研究呈明显的上升趋势，特别是1999年和2002年两次bci国际会议的召开为bci技术的发展指明了方向.目前，bci技术已引起国际上众多学科科技工作者的普遍关注，成为生物医学工程、计算机技术、通信等领域一个新的研究热点。作为一种连接大脑和外部设备的实时通信系统，bci系统可以把大脑发出的信息直接转换成能够驱动外部设备的命令，并代替人的肢体或语言器官实现人与外界的交流以及对外部环境的控制。换言之，bci系统可以代替正常外围神经和肌肉组织，实现人与计算机之间、人与外部环境之间的通信。
如今，数百万的患者患有运动障碍，包括肌萎缩性侧索硬化症(als)、中风、脑瘫或脊髓损伤，所有这些都被称为闭锁综合征(lis)。保持沟通能力是改善这些患者生活质量的重要因素，但这些患者通常会严重或完全瘫痪，并且几乎无法产生与他人交流的信号。脑机接口可以绕过正常的神经肌肉通路，直接将记录在头皮上的大脑活动转换为控制命令，从而使行动不便的患者可以将其思想和意图传达给外界。近几十年来，在这一领域取得了重大进展，特别是在非侵入性脑机接口方面。
目前已经开发出多种脑机接口应用，例如拼写、环境控制、神经假肢控制、轮椅控制等。医学级别的脑机接口通常用于帮助认知或感觉运动功能受损的患者。同时，越来越多的脑机接口技术被应用在患有多动症、焦虑、恐惧、抑郁和其他常见心理疾病的神经治疗应用中。在心理学和行为研究中，使用便携式eeg设备记录现实环境中的大脑活动具有巨大潜力。
然而，由于脑电信号具有非线性、非平稳、随机性强的特点，因此对其进行信号分析处理具有一定的难度。在bci系统中，提升系统能力的重点就在脑电信号的特征提取和分类方法的选择方法上。近年来，随着机器学习方法在计算机视觉、自然语言处理方面的大范围应用和取得的良好的效果，基于机器学习的方法也被引入实现脑电信号的处理。尽管此类方法大大提高了脑机接口系统的信息传输能力，但是还远未达到患者可以如正常人交流的水平。
综上，本发明针对现有脑机接口系统中采集的脑电信号信噪比低的问题，提出了一种基于特征融合和注意力机制的脑电信号分类识别方法。首先，使用具有不同卷积核大小的过滤器对脑电信号进行处理，使得深度学习网络可以学习到不同大小感受野的特征，以提高网络对于高噪声中有效信息的获取。同时，采用注意力机制对融合后的特征进行权重分配，以加强对高价值特征的选择，从而抑制其他噪声信息，以用来克服脑电信号具有的信噪比低的特点。本发明可以有效地提高对脑电信号的识别和分类性能，提升脑机接口系统的效率。
技术实现要素：
本发明提出了一种特征融合和基于注意力机制的脑电信号分类识别方法，该方法不仅可以有效提高脑电信号分类的准确率，而且能够提升分类网络的训练速度，最终提高脑机接口系统的运行效率。
本方法确定最终方案如下：
在数据预处理方面，本方法首先对脑电信号进行去除基线漂移的处理，然后使用0.1hz～20hz的带通滤波器对脑电信号进行滤波，并使用随机过采样的方式增强训练数据，使得正负样本数量均衡。然后针对脑电信号信噪比低的特点，使用具有不同卷积核大小的过滤器对脑电信号进行处理，使得深度学习网络可以对不同维度的特征进行提取，提升模型对于脑电信号的特征提取和表达能力。同时，采用注意力机制对组合特征进行权重分配，以加强高价值特征的选择，从而抑制其他噪声信息，减少运算的信息量的同时提高分类效果。
为实现上述目的，本发明采用如下的技术方案：
一种基于注意力机制的脑电信号分类识别方法，包括以下步骤：
步骤1.将脑电数据进行滤波处理：使用截止频率为0.1hz-20hz的8阶巴特沃斯滤波器对脑电信号进行滤波处理，分别处理训练集和测试集。
步骤2.构建网络：基于以上方案，使用keras框架编写基于注意力机制的深度学习网络，其中使用了并行卷积层对脑电信号进行处理，然后通过注意力机制对特征进行选择。在最后进行可分离卷积之前，使用注意力机制进一步增加特征的选择。同时网络中使用深度可分离卷积替换点普通的卷积操作，用以减少网络参数量，提高训练速度。
步骤3.训练模型：将步骤1中处理好的数据输入步骤2中构建的网络进行训练。
步骤4.将训练好的模型对测试集进行判别，得到脑电信号分类结果。
附图说明
图1基于特征融合和注意力机制的脑电信号分类识别方法方案图
图2基于注意力机制的脑电信号分类识别方法网络结构图
图3注意力机制实现示意图
具体实施方式
本发明针对脑机接口系统中对脑电信号识别准确率不高、效率低下的问题，将特征融合与注意力机制相结合，提出了一种基于注意力机制和特征融合的脑电信号分类识别方法。首先采用不同大小的卷积核对同一个张量进行卷积操作，不同的卷积核大小意味着不同大小的感受野，可以将脑电信息在不同尺寸上进行处理聚合，最后连接器起来。最后的拼接意味着不同尺度特征的融合。为了防止融合之后的信息太多，使用过拟合机制对目标信息进行强化，对无关的细节进行抑制。第一层注意力机制添加在特征融合之后，这里首先使用全局平局池化将通道内的特征值进行池化操作，再使用激活函数激活每一个通道，最后不同的通道乘上不同的权重。通过自编码模型对不同通道的张量进行权重分配，从而加强重要特征的权重，减少不重要特征的权重。由于后续的稀疏卷积之后扩增了过滤器数量，相比于第一层注意力添加的位置，这里的信息已经经过了第一个注意力层的强化，为此，这里使用一维卷积层代替自编码模型实现自注意力机制，目标是在减少计算量的同时实现效果的提升。
图1可以分解为本发明的几个步骤。
步骤一：为了更好地对脑电信号进行识别，需要对数据进行一些预处理。首先，对信号进行去除基线漂移的处理，然后使用0.1hz～20hz的8阶巴特沃夫带通滤波器对eeg信号进行滤波。由于每次试验中的目标图像都只占所有图像中的少量部分，如果直接使用正负样本分布严重不均衡的样本输入到神经网络中进行分类，会造成训练出来的模型泛化能力差，并且易于偏向于多数类样本。同时，因为脑电信号信噪比低，不易选择过于复杂的数据增强方法对数据集进行扩充，这样会造成严重的过拟合，使得扩充的数据集分布发生改变。为了解决这个问题，本文使用随机过采样的方式增强训练数据，即通过随机的复制少数类样本的方式，使得正负样本数量均衡。测试数据不进行处理。
步骤二，构建深度网络，输入训练数据进行。将步骤一中的训练数据按照9:1的比例划分为训练集和验证集。具体网络结构如图2所示。
定义t为输入的脑电信号样本的采样点个数；k为特征融合的并行卷积结构中最大卷积核大小；f1、f2为网络中过滤器个数；d为每个输入通道的深度方向卷积输出通道的数量。此网络可分为几个主要的网络层l1～l7和softmax层。针对本实验使用的数据集特点，取k＝128，f1＝3，f2＝16，d＝3。
1)l1：使用卷积核分别为(1,k)、(1,k/2)和(1,k/4)、过滤器个数为f1、卷积步长为1、padding方式为same的卷积层对输入信号进行卷积处理，然后将卷积层的输出经过归一化后输出。
2)l2：将1)中产生的三类特征向量按照第一维也就是过滤器维度进行并联，得到一个过滤器个数为3×f1的特征向量。然后添加注意力机制对3×f1个过滤器进行权重分配。
注意力机制的实现具体表述为：将输入进行全局平均池化，然后通过一个大小为3的全连接层进行降维。在通过elu函数进行激活后，使用大小为3×f1的全连接层升维。然后使用sigmoid函数进行激活，最终将计算出的特征向量加权分配到此层并联的每一个过滤器上。
3)l3：首先将上层的输出进行标准化，然后使用卷积核大小为(1,64)、过滤器个数为f2×d、步长为1、最大范数权值约束为1的空间卷积进行计算。最后结果经过标准化后输出。
4)l4：使用注意力机制对f2×d个过滤器进行权重分配，此处是第二次使用注意力机制，为了减少网络参数和计算量，此处的注意力通过执行卷积核大小为(1,3)、步长为1、padding方式为same的快速一维卷积来生成通道权重。
5)l5：使用过滤器个数为f2、卷积核大小为(1,16)、步长为1、padding方式为same的深度可分离卷积进一步提取特征，然后经过标准化、激活后输出。
6)l6：使用注意力机制生成权重并对f2×d个过滤器进行权重分配。
7)l7和softmax：将l6得到的特征通过全连接的方式堆叠起来，整合到softmax层进行映射，从而得到最终的结果。
整个网络中，每层之间都通过dropout的方式将对应层中节点以0.25的概率进行随机丢弃，以减轻网络的过拟合问题。
其中，注意力机制的具体实现图3可以简述为以下过程：
将特征向量通过全局平均池化计算转化为维度是(3×f1,1,1)的特征向量，然后通过全连接层对此向量进行降维。对降维后
步骤三，使用交叉熵函数作为损失函数，使用收敛速度快的adam作为优化器，学习率为5*10-5，批次大小为64。数据的预处理工作在matlab中进行，随机过采样和神经网络分类模型使用keras实现。通过早停法优化网络，当网络在验证集上的损失不再下降的时候，停止训练，保存训练结果。
步骤四，使用训练出的模型对测试集脑电信号进行预测。
步骤五，计算预测结果的准确率、精准率、召回率和f-score。f-score通过平衡精准率和召回率规避了样本不均衡带来的问题，以保证在本实验正、负样本验证不均衡的情况下，依然能对分类结果做出合理的评价。这里主要使用f-score作为评价指标。
本方法使用的数据集来自bcicompetitionsiii[7]。共有两个被试者a、b，实验过程中矩阵的行和列会被随机激活闪烁，来产生视觉刺激。通过被激活的行号和列号可以在矩阵中得到目标字符。实验的采样频率为240hz，导联数为64。
实验结果如下表：
可以看出：本方法在几个主要评价指标上均优于eegnet、shallowconvnet、deepconvnet这几个应用于脑电信号分类深度学习方法。特别是综合评价指标f-score上，本方法在a、b两个受试者上相比eegnet分别提升了7.89％和10.31％；相比shallowconvnet分别提升了13.88％和24.00％；相比deepconvnet分别提升了22.04％和3.60％。
1.一种基于注意力机制的脑电信号分类识别方法，其特征在于，包括以下步骤：
步骤1.将脑电数据进行滤波处理：使用截止频率为0.1hz-20hz的8阶巴特沃斯滤波器对脑电信号进行滤波处理；
步骤2.构建网络：使用keras框架编写基于注意力机制的深度学习网络，其中使用了并行卷积层对脑电信号进行处理，然后通过注意力机制对特征进行选择；在最后进行可分离卷积之前，使用注意力机制进一步增加特征的选择；同时网络中使用深度可分离卷积替换点普通的卷积操作；
步骤3.训练模型：将步骤1中处理好的数据输入步骤2中构建的网络进行训练；
步骤4.将训练好的模型对测试集进行判别，得到脑电信号分类结果。
2.根据权利要求1所述的一种基于注意力机制的脑电信号分类识别方法，其特征在于，
步骤1具体为：首先，对信号进行去除基线漂移的处理，然后使用0.1hz～20hz的8阶巴特沃夫带通滤波器对eeg信号进行滤波；使用随机过采样的方式增强训练数据，即通过随机的复制少数类样本的方式，使得正负样本数量均衡。
3.根据权利要求1所述的一种基于注意力机制的脑电信号分类识别方法，其特征在于，
步骤2具体为：
定义t为输入的脑电信号样本的采样点个数；k为特征融合的并行卷积结构中最大卷积核大小；f1、f2为网络中过滤器个数；d为每个输入通道的深度方向卷积输出通道的数量；此网络分为几个主要的网络层l1～l7和softmax层；取k＝128，f1＝3，f2＝16，d＝3；
1)l1：使用卷积核分别为(1,k)、(1,k/2)和(1,k/4)、过滤器个数为f1、卷积步长为1、padding方式为same的卷积层对输入信号进行卷积处理，然后将卷积层的输出经过归一化后输出；
2)l2：将1)中产生的三类特征向量按照第一维也就是过滤器维度进行并联，得到一个过滤器个数为3×f1的特征向量；然后添加注意力机制对3×f1个过滤器进行权重分配；
注意力机制的实现表述为：将输入进行全局平均池化，然后通过一个大小为3的全连接层进行降维；在通过elu函数进行激活后，使用大小为3×f1的全连接层升维；然后使用sigmoid函数进行激活，最终将计算出的特征向量加权分配到此层并联的每一个过滤器上；
3)l3：首先将上层的输出进行标准化，然后使用卷积核大小为(1,64)、过滤器个数为f2×d、步长为1、最大范数权值约束为1的空间卷积进行计算；最后结果经过标准化后输出；
4)l4：使用注意力机制对f2×d个过滤器进行权重分配，此处是第二次使用注意力机制，为了减少网络参数和计算量，此处的注意力通过执行卷积核大小为(1,3)、步长为1、padding方式为same的快速一维卷积来生成通道权重；
5)l5：使用过滤器个数为f2、卷积核大小为(1,16)、步长为1、padding方式为same的深度可分离卷积进一步提取特征，然后经过标准化、激活后输出；
6)l6：使用注意力机制生成权重并对f2×d个过滤器进行权重分配；
7)l7和softmax：将l6得到的特征通过全连接的方式堆叠起来，整合到softmax层进行映射，从而得到最终的结果；
整个网络中，每层之间都通过dropout的方式将对应层中节点以0.25的概率进行随机丢弃，以减轻网络的过拟合问题；
其中，注意力机制的具体实现为以下过程：
将特征向量通过全局平均池化计算转化为维度是(3×f1,1,1)的特征向量，然后通过全连接层对此向量进行降维；对降维后
4.根据权利要求1所述的一种基于注意力机制的脑电信号分类识别方法，其特征在于，
步骤3具体为：使用交叉熵函数作为损失函数，使用adam作为优化器，学习率为5*10-5，批次大小为64；数据的预处理工作在matlab中进行，随机过采样和神经网络分类模型使用keras实现；通过早停法优化网络，当网络在验证集上的损失不再下降的时候，停止训练，保存训练结果。
技术总结