一种用于图像标签标注的脑电信号深度学习方法与流程

本发明涉及计算机视觉技术领域，特别是涉及一种用于图像标签标注的脑电信号深度学习方法。

背景技术：

数据标注是通过用一个或多个标签标记一组数据，数据标注的目的在于使其数据，例如，图像数据，对计算机视觉具有可读性。经过正确的标签标注的数据对人工智能（ai）算法的训练和预测非常有用。最早的数据标注是研究ai算法的工程师在实验室中完成。随着人工智能技术在全场景的落地以及大数据时代的来临，待标注的数据呈“指数级”增长，数据获取也相对变得容易，工程师们根本无力完成海量数据的标注。因而，当前的数据标注需要大量人工操作。标注员在屏幕前观看图片或视频，根据数据集的不同需求，对其所观看数据进行不同种类的标注，例如，图像图形的种类，目标图形的位置信息，以及目标图形的边界分割信息。但是，标注员并非均为所需进行数据标注的领域或行业的专家，并且不同人对同一事物的认知能力和理解角度也会有所差异，最终导致所标注的数据的质量参差不齐，因而，难以评价和判断数据集标签的准确度和有效性。此外，标注员工作时的认知状态以及疲劳程度也会对数据标注带来不利影响。

而机器学习通常是建立在数据建模基础之上，确立一个算法模型需要大量标注好的数据去训练机器，并使得机器去学习其中的特征，而丰富又准确的标签是机器学习成功建模的前提；同时数据标注还可以帮助机器进一步去学习以及认知数据中特征。机器学习分为有监督学习和无监督学习，无监督学习的效果是不可控的，其通常仅仅用于探索性实验。而有监督学习方法依赖所标注数据，通过学习大量已标注的训练样本作为先验经验以构建预测脑电模型。因此在实际产品应用中，目前应用最广泛的机器学习算法为监督学习。

数据标签标注从人工人力转向人机融合，通过脑电与深度学习的结合，从而将人类的智能变成机器学习的一环，甚至是可以提高准确率和生产力的重要一环。人类智能，例如，脑电信号，变成机器学习的一个输入，告别了人类和机器的分开处理、各自判断的沟通鸿沟，而加快了机器学习的迭代和优化。

技术实现要素：

针对现有技术中存在的问题，本发明的目的在于提出一种用于图像标签标注的脑电信号深度学习方法，其建立脑电模型之后，能够对脑电模型进行训练，并将该脑电模型应用于数据标注过程。本发明的具体实施步骤如下：标注员佩戴好电极帽同时采集其脑电信号特征，屏幕呈现待标注的图像或视频，脑电模型同时处理该标注员的脑电信号，并通过计算判断出其观看到的图像所表示的种类，自动辅助标注员进行数据标注。该方法克服了现有技术中人工标注数据的弊端，其解决了现有技术中的人员操作过程繁琐且耗时、容易疲劳而导致准确率降低的问题，采用脑电深度学习建模，进而辅助标注员对数据类别进行判断和标注的方法，与传统的纯人工数据标注方式，本方法具有显著的效率提升效果。

本发明的技术方案如下：

一种用于图像标签标注的脑电信号深度学习方法，其包括如下步骤：

步骤一、以采样频率采集被试者的脑电信号，原始参考电极和多个采集电极的通道数为；通过脑电采集系统进行脑电信号采集，得到脑电数据,其中t为每张图片的呈现时间；

步骤二、对步骤一中所采集的脑电数据进行预处理，基于重参考的平均参考，获得所选定的采集电极重参考后的电压幅值向量，经过滤波后得到原始时间序列s，i表示第i个采集电极；

步骤三、设置降采样频率，满足，对预处理后的脑电数据进行降采样，得到降采样后的序列，建立训练集、验证集及测试集；其中i表示第i个采集电极，j表示第i个采集电极的第j个数据点；

步骤四、建立脑电模型，基于步骤三中所建立的训练集对所建立的脑电模型进行训练；

步骤五、利用验证集改进和优化所构建的脑电模型的参数；

步骤六、利用测试集进行脑电模型性能的测试；

将测试集中的脑电数据输入到脑电模型中，得到图片的预测标签；将该预测标签与测试集中图片的原始标签进行对比，计算总体分类准确率；

步骤七、基于步骤六中的脑电模型进行图片任务标注，同时采集数据标注员的脑电数据；

步骤八、在脑电数据同步预处理后，将其输入到已获得的脑电模型中，其输出的类别作为数据标签；

步骤九、该数据标签自动输出到显示屏上，待标注员确认其准确后，该标签储存在后台数据库中。

优选地，数据采集的具体过程如下：

s1：按预设顺序在显示器上呈现待标注的图片，所述待标注的图片即刺激图片，每张图片呈现时间均为第一预设时间；

s2：在被试者观看图片并进行分类判断的同时，采集其脑电信号；

s3：采集到的脑电信号经由脑电放大器传输至脑电采集计算机中，并进行保存；

s4：将被试者对图片进行分类标注的结果进行存储，以便在对建立的脑电模型进行训练之前，将人工标注的结果与真实标签进行对比。

优选地，脑电数据预处理的具体步骤如下：

a.计算在给定位点的采集电极的有效值，该有效值为该位点的采集电极和原始参考电极之间的电位差。是所选定的采集电极的电压幅值，是原始参考电极的电压幅值；；；

b.得到所选定的采集电极重参考后的电压幅值向量；i为第i个采集电极；

优选地，从每个通道中减去所有采集电极的平均值来得到重参考的平均参考，即所选定的采集电极重参考后的电压幅值向量

其中为所选定的采集电极重参考后的电压幅值向量，，其中n为采集电极的个数，n=c-1；i为第i个采集电极；

c.步骤b得到的所选定的采集电极的信号向量,即电压幅值向量的关于时间的函数是，其中；通过系统函数进行数字带通滤波，获得原始时间序列s为，其中i表示第i个采集电极。

优选地，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。

优选地，原始时间序列s满足，其中为脑电采集通道数量，为所使用的刺激图片的数量；

设置降采样的频率，满足，进行降采样。其中表示为除模取余。

优选地，降采样后的序列为

其中表示第i个通道第个数据点的值；，，其中为降采样频率，为所组成的数据集合；

优选地，所述脑电模型为基于卷积神经网络的脑电模型，其包括输入层、卷积层、池化层、全连接层、softmax层和输出层，脑电模型的输入为训练集中所包含的脑电信号矩阵。

优选地，脑电模型的建立包括如下步骤：

s1：将训练集的脑电信号矩阵传输至神经网络的输入层，

，其中dim表示“维度”，为脑电通道数量，为脑电信号采样点的个数,数字“1”为新增加的维度。

s2：通过输入层将脑电信号矩阵传输至卷积层，卷积核的维度设为。

s3:当的维度大于第一层输入维度的1/3时，每一层卷积层均连接相应的池化层；得到池化层的输出为，此处的第一层输入维度为输入层维度；其中表示输入层数据，表示卷积神经网络的第l层数据；

当的维度小于等于第一层输入维度的1/3时，卷积层直接与全连接层相连。

s4：全连接层的输出输入至softmax层，对于softmax层，其中

其中，i为标签分类结果。令，那么该分类结果为第类图片。

优选地，步骤五中，将训练集随机分成k个子集，分别用表示，，其中为训练集样本数；对于,在除第个子集以外的所有点上计算损失函数，

表示卷积神经网络输出的标签结果。

优选地，步骤八中设置降采样的频率，满足，对预处理后的脑电数据进行降采样，得到降采样后的序列，

将所选定的图片中获得的脑电信号矩阵，输入到由步骤四~步骤五训练得到的脑电模型中,得到，其中表示的是该图片的类别标签,其中为脑电采集通道数量，为所使用的刺激图片的数量。

与现有技术相比，本发明的优点在于：

本发明的用于图像标签标注的脑电信号深度学习方法通过所采集的脑电信号对所观看的目标实现自动分类和标注，其省略了标注员长时反应以及后续鼠标键盘操作的步骤，在提高数据标注的速度的同时也提高了标注效率，其通过脑电自动判断过程，减少了标注员的操作过程，减缓了疲劳，有效解决了现有技术中在重复进行以上一系列标注操作后，标注员的认知状态会逐渐降低，疲劳程度也会逐渐升高，出现错误标注的不良操作的问题。并且，本发明还能够辅助标注员进行判断，减少了标注员的深层次加工和反应，也减少了标注员的认知负荷，也就能够长时间进行高效率且高准确率的标注工作。

附图说明

本发明上述和/或附加方面的优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明的用于图像标签标注的脑电信号深度学习方法的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

根据本发明实施例的用于图像标签标注的脑电信号深度学习方法，包含两个阶段，训练阶段和模型应用阶段。在训练阶段，采集被试者的脑电信号，例如，被试者观看给定图片标注任务的过程中，采集其脑电数据，并对所采集的脑电信号进行预处理，例如，脑电数据预处理；建立训练集、验证集和测试集，通过训练集构建脑电模型后，在验证集上通过交叉验证改进和优化脑电模型参数，并在测试集上进行脑电模型性能测试，达到的预测准确率，可认为该脑电模型成立；在脑电模型应用阶段，在图片标注任务中，采集数据标注员的脑电数据，在脑电数据同步预处理后将其输入到已获得的脑电模型中，并将其输出的类别作为数据标签，该数据标签自动输出到显示屏上，待标注员确认其准确后，该标签储存在后台数据库中。

具体地，用于图像标签标注的脑电信号深度学习方法，如图1所示，其包括如下步骤：

步骤一、选定原始参考电极和多个采集电极，在个被试者对个刺激图片进行分类判断和标注时，采集被试者的脑电信号，采样频率为,采集通道数为。

优选地，刺激图片的数量为1000个。

优选地，采集名被试者，在观看给定图片标注任务的过程中，采集其脑电数据，其中；

优选地，原始参考电极和多个采集电极共通道，原始参考电极和采集电极采用10-20国际标准排列；各电极的采样频率均为，通过脑电采集系统进行脑电信号采集，得到脑电数据,其中t为每张图片的呈现时间。

优选地，各电极的采样频率均为1000hz，通过该脑电采集系统进行脑电信号采集，得到脑电数据,其中t为每张图片的呈现时间。

优选地，数据采集的具体过程如下：

s1：按预设顺序在显示器上呈现待标注的图片，所述待标注的图片即刺激图片，每张图片呈现时间均为第一预设时间；优选地，第一预设时间的范围为，以便更好地分析被试者对刺激图片的认知加工过程。

s2：在被试者观看图片并进行分类判断的同时，采集其脑电信号；

s3：采集到的脑电信号经由脑电放大器传输至脑电采集计算机中，并进行保存；

s4：将被试者对图片进行分类标注的结果进行存储，以便在对建立的脑电模型进行训练之前，将人工标注的结果与真实标签进行对比。

步骤二、对步骤一中所采集的脑电数据进行预处理，经过滤波后得到原始时间序列s；

优选地，脑电数据预处理的具体步骤如下：

a.计算在给定位点的采集电极的有效值，该有效值为该位点的采集电极和原始参考电极之间的电位差。其中为原始参考电极，为所选定的采集电极；是所选定的采集电极的电压幅值，是原始参考电极的电压幅值；；，i表示第i个采集电极；

b.得到所选定的采集电极重参考后的电压幅值向量；i为第i个采集电极；

优选地，从每个通道中减去所有采集电极的平均值来得到重参考的平均参考，即选定的采集电极重参考后的电压幅值向量

其中为所选定的采集电极重参考后的电压幅值向量，，其中n为采集电极的个数，n=c-1；i为第i个采集电极；

所述采集电极均为单通道电极，为采集通道数。

c.步骤b得到的所选定的采集电极的信号向量,即电压幅值向量，关于时间的函数是，其中,i为第i个采集电极。

进行数字带通滤波的系统函数为：

其中是带通滤波的中心频率；

经过滤波后得到原始时间序列s为,其中“*”表示的是卷积运算。

步骤三、设置降采样的频率，满足，对预处理后的脑电数据进行降采样，得到降采样后的序列，建立训练集及测试集，其中i表示第i个采集电极，j表示第i个采集电极的第j个数据点；

优选地，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。

优选地，该持续注视时间为第一预设时间；优选地，所述持续注视时间为1000ms。

优选地，设原始时间序列s满足，其中为脑电采集通道数量，为所使用的刺激图片的数量；

设置降采样的频率，满足，进行降采样，其中表示为除模取余。

优选地，降采样后的序列为

其中表示第i个通道第个数据点的值；，，其中为降采样频率；

从而获得个脑电信号矩阵,其中为脑电通道数量，降采样后每段脑电数据中所包含的时间点，例如，采样点，的个数；优选地，降采样频率为，,从而每段脑电数据得到250个时间点，则降采样后的序列中，；优选地，。

从个脑电信号矩阵中，随机选取数据，按照8:2~9:1的比例建立训练集和测试集，为了提高训练精度并且更好地评估预测效果。优选地，从个脑电信号矩阵中，随机选取数据，按照80%、20%的比例建立训练集和测试集，即若采集1000个刺激图片的脑电信号，被试者的数量为10个，则训练集包含8000个脑电信号矩阵，而测试集包含2000个脑电信号矩阵。

步骤四、建立脑电模型，基于步骤三中所建立的训练集对所建立的脑电模型进行训练；

所述脑电模型为基于卷积神经网络的脑电模型，其包括输入层、卷积层、池化层、全连接层、softmax层和输出层，其中输入层作为整个神经网络的输入，在根据本发明的图像分类问题中，输入为训练集中所包含的脑电信号矩阵，其具体包括如下步骤：

s1：将训练集的脑电信号矩阵传输至神经网络的输入层，

优选地，将训练集中的每一张图片所采集到的脑电信号矩阵作为神经网络的输入层，，其中dim表示“维度”，为脑电通道数量，为脑电信号采样点的个数,数字“1”为新增加的维度。

s2：将输入层输入到卷积层，卷积核的维度设为。

对于第个卷积层来说，其输入为，的维度为；为第一层输入的脑电信号矩阵，即,；通过卷积核的维度确定卷积核个数为，其中该层的卷积核的维度为，其中表示卷积核的大小，为上层网络输入的通道数；

可得，

:

其中第个卷积的偏置。

其中

其中卷积核数量；为激活函数，即；

s3:当的维度大于第一层输入维度的1/3时，每一层卷积层均连接相应的池化层，设池化层的输入为,其维度为,池化步长为，池化层的卷积核大小为。采用最大池化方法，即池化函数

得到池化层的输出为，其维度是

具体地，

其中

当的维度小于等于第一层输入维度的1/3时，卷积层直接与全连接层（fully-connectedlayer）相连。

对于第层的第个节点，

其中输入是上一层卷积层或池化层的输出的第个节点，其权重为、偏置为，其维度是；

为了能够将其输入到全连接层中，需要将其拉平（flatten）为1维向量，其维度为,因此，

s4：全连接层的输出输入至softmax层，对于softmax层，其中

其中，i为标签分类结果。令，那么该分类结果为第类图片。

步骤五、在验证集上改进和优化所构建的脑电模型的参数；

将训练集随机分成k个子集，分别用表示，,其中为训练集样本数；对于,在除第个子集以外的所有点上计算损失函数，

表示卷积神经网络输出的标签结果。

通过计算损失函数的值，使用反向传播算法对网络中的权重和偏置为进行优化和更新；当训练循环次数达到最大训练循环次数l次时，取该循环过程中损失函数的最小值作为最优解，由以上步骤获得的卷积神经网络分类的最优脑电模型定义为，其中，为脑电采集通道数量，为所使用的刺激图片的数量。

步骤六、在测试集上进行脑电模型性能的测试；

将测试集中的脑电数据输入到脑电模型中，得到图片的预测标签；将该预测标签与测试集中图片的原始标签进行对比，计算总体分类准确率。

优选地，脑电模型的预测准确率达到95%以上，即错误率低于5%，则认为该脑电模型可作为数据标注员的辅助工具，该脑电模型可应用于图片标注任务。

步骤七、基于步骤六中的脑电模型进行图片任务标注，同时采集数据标注员的脑电数据；

优选地，各电极的采样频率均为，通过该脑电采集系统进行脑电信号采集，得到脑电数据,其中t为每张图片的呈现时间。

优选地，刺激图片的数量为1000个，采集名被试者，在观看给定图片标注任务的过程中，采集其脑电数据，其中；

优选地，原始参考电极和多个采集电极共通道、10-20国际标准排列、采样频率为1000hz的脑电采集系统进行脑电信号采集，得到脑电数据。

步骤八、在脑电数据同步预处理后，将其输入到已获得的脑电模型中，其输出的类别作为数据标签；

优选地，脑电数据预处理的具体步骤如下：

a.计算在给定位点的采集电极的有效值，该有效值为该位点的采集电极和原始参考电极之间的电位差。其中为原始参考电极，为所选定的采集电极；是所选定的采集电极的电压幅值，是原始参考电极的电压幅值；；。

b.得到所选定的采集电极重参考后的电压幅值向量；i为第i个采集电极；

优选地，从每个通道中减去所有采集电极的平均值来得到重参考的平均参考，即所选定的采集电极重参考后的电压幅值向量

其中为所选定的采集电极重参考后的电压幅值向量，，其中n为采集电极的个数，n=c-1；i为第i个采集电极；

所述采集电极均为单通道电极，为采集通道数。

c.步骤b得到的所选定的采集电极的信号向量,即电压幅值向量，关于时间的函数是，其中，i为第i个采集电极。

进行数字带通滤波的系统函数为：

其中是带通滤波的中心频率；

经过滤波后得到的原始时间序列s为,其中“*”表示的是卷积运算。

具体地，当时，脑电数据预处理的具体步骤如下：

a.计算在给定位点的采集电极的有效值，该有效值为该位点的采集电极和原始参考电极之间的电位差。其中为原始参考电极，为所选定的采集电极；是所选定的采集电极的电压幅值，是原始参考电极的电压幅值；。

b.从每个通道中减去所有采集电极的平均值来计算重参考的平均参考，即

其中为采集通道数，所述采集电极为单通道电极。为所选定的采集电极重参考后的电压幅值向量。

c.进行数字带通滤波的系统函数；

其中是带通滤波的中心频率；

假设步骤b得到的所选定的采集电极的信号向量的关于时间的函数是，其中。

那么经过滤波后得到的原始时间序列s为,其中“*”表示的是卷积运算。

（2）脑电数据降采样处理步骤如下：

优选地，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。

优选地，设置降采样的频率，满足，对预处理后的脑电数据进行降采样，得到降采样后的序列，

优选地，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。

优选地，该持续注视时间为第一预设时间；优选地，所述持续注视时间为1000ms。

优选地，设原始时间序列s满足，其中为脑电采集通道数量，为所使用的刺激图片的数量；

设置降采样的频率，满足，进行降采样。其中表示为除模取余。

优选地，降采样后的序列为

其中表示第i个通道第个数据点的值；，，其中为降采样频率；

优选地，该持续注视时间为第一预设时间；优选地，所述持续注视时间为1000ms。

优选地，设原始时间序列s满足，其中为脑电采集通道数量，为所使用的刺激图片的数量；

设置降采样的频率，，其中表示为除模取余运算，降采样后的序列为

设,那么，

其中，其中为降采样频率；

从而获得个脑电信号矩阵,其中为脑电通道数量，降采样后每段脑电数据中所包含的时间点，例如，采样点，的个数；优选地，降采样频率为，,从而每段脑电数据得到250个时间点，则降采样后的序列中，；优选地，。

将某一图片中获得的脑电信号矩阵，其中为脑电采集通道数量，为所使用的刺激图片的数量，输入到由步骤四~步骤五训练得到的脑电模型中,得到，其中表示的是该图片的类别标签。

步骤九、该数据标签自动输出到显示屏上，待标注员确认其准确后，该标签储存在后台数据库中。

本发明的用于图像标签标注的脑电信号深度学习方法能够进行质量控制，通过人的隐形智能结合人工智能神经网络，可以减少人的认知错误或者疲劳状态而导致的标注错误，提高数据标注质量。本发明的用于图像标签标注的脑电信号深度学习方法能够减少标注时间，加快标注速度；加入脑电信息之后，不仅提高标注的准确率和可信度，更重要的是可以为标注员提供一些合理提示，加快标注速度。本发明的用于图像标签标注的脑电信号深度学习方法还能够减少疲劳。由于机器在标注过程中提供了一定程度的辅助和提示作用，标注员则无须投入或消耗更多的认知资源，更不容易产生疲劳，在保证速度的同时也能提高标注质量。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连通”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连通，也可以通过中间媒介间接连通，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“至少三个”的含义是两个或两个以上。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种用于图像标签标注的脑电信号深度学习方法，其特征在于，其包括如下步骤：

步骤一、以采样频率采集被试者的脑电信号,原始参考电极和多个采集电极的通道数为；通过脑电采集系统进行脑电信号采集，得到脑电数据,其中t为每张图片的呈现时间；

步骤二、对步骤一中所采集的脑电数据进行预处理，基于重参考的平均参考，获得所选定的采集电极重参考后的电压幅值向量，i表示第i个采集电极；经过滤波后得到原始时间序列s；

步骤三、设置降采样频率，对预处理后的脑电数据进行降采样，得到降采样后的序列，其中i表示第i个采集电极，j表示第i个采集电极的第j个数据点，建立训练集、验证集及测试集；

步骤四、建立脑电模型，基于步骤三中所建立的训练集对所建立的脑电模型进行训练；

步骤五、利用验证集改进和优化所构建的脑电模型的参数；

步骤六、利用测试集进行脑电模型性能的测试；

将测试集中的脑电数据输入到脑电模型中，得到图片的预测标签；将该预测标签与测试集中图片的原始标签进行对比，计算总体分类准确率；

步骤七、基于步骤六中的脑电模型进行图片任务标注，同时采集数据标注员的脑电数据；

步骤八、在脑电数据同步预处理后，将其输入到已获得的脑电模型中，其输出的类别作为数据标签。

2.如权利要求1所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，数据采集的具体过程如下：

s1：按预设顺序在显示器上呈现待标注的图片，所述待标注的图片即刺激图片，每张图片呈现时间均为第一预设时间；

s2：在被试者观看图片并进行分类判断的同时，采集其脑电信号；

s3：采集到的脑电信号经由脑电放大器传输至脑电采集计算机中，并进行保存；

s4：将被试者对图片进行分类标注的结果进行存储，以便在对建立的脑电模型进行训练之前，将人工标注的结果与真实标签进行对比。

3.如权利要求2所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，脑电数据预处理的具体步骤如下：

a.计算在给定位点的采集电极的有效值，该有效值为该位点的采集电极和原始参考电极之间的电位差，是所选定的采集电极的电压幅值，是原始参考电极的电压幅值；；；

b.得到所选定的采集电极重参考后的电压幅值向量；i为第i个采集电极；；

c.步骤b得到的所选定的采集电极的电压幅值向量关于时间的函数是，其中；通过系统函数进行数字带通滤波，获得原始时间序列s为，i表示第i个采集电极。

4.如权利要求3所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，将预处理后得到脑电数据按照每张图片的持续注视时间的起止时间进行分段截取对各段脑电数据均进行降采样处理，从而每段脑电数据得到多个时间点。

5.如权利要求4所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，原始时间序列s满足，其中为脑电采集通道数量，为所使用的刺激图片的数量；降采样的频率满足；其中表示为除模取余。

6.如权利要求5所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，降采样后的序列为

其中表示第i个通道第个数据点的值；，，为降采样频率，为所组成的数据集合。

7.如权利要求6所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，所述脑电模型为基于卷积神经网络的脑电模型，其包括输入层、卷积层、池化层、全连接层、softmax层和输出层，脑电模型的输入为训练集中所包含的脑电信号矩阵，其中池化方法采用最大池化。

8.如权利要求7所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，脑电模型的建立方法包括如下步骤：

s1：将训练集的脑电信号矩阵传输至神经网络的输入层，

，其中dim表示“维度”，为脑电通道数量，为脑电信号采样点的个数,数字“1”为新增加的维度；

s2：通过输入层将脑电信号矩阵传输至卷积层，卷积核的维度设为；

s3:当的维度大于第一层输入维度的1/3时，每一层卷积层均连接相应的池化层；得到池化层的输出为；表示卷积神经网络的第l层数据；

当的维度小于等于第一层输入维度的1/3时，卷积层直接与全连接层相连；

s4：将全连接层的输出输入至softmax层，对于softmax层，其中

其中，i为标签分类结果，令,那么该分类结果为第类图片。

9.如权利要求8所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，步骤五中，将训练集随机分成k个子集，分别用表示，,其中为训练集样本数；对于,在除第个子集以外的所有点上计算损失函数，

表示卷积神经网络输出的标签结果。

10.如权利要求9所述的用于图像标签标注的脑电信号深度学习方法，其特征在于，步骤八中设置降采样的频率，满足，对预处理后的脑电数据进行降采样，得到降采样后的序列，输入到由步骤四至步骤五训练得到的脑电模型中,得到,其中表示的是该图片的类别标签。

技术总结
本发明涉及用于图像标签标注的脑电信号深度学习方法，以采样频率采集被试者的脑电信号；对所采集的脑电数据进行预处理，经过滤波后得到原始时间序列S；设置降采样频率，对预处理后的脑电数据进行降采样，得到降采样后的序列，建立训练集、验证集及测试集；建立脑电模型并进行训练；将测试集中的脑电数据输入到脑电模型中，得到图片的预测标签；将该预测标签与测试集中图片的原始标签进行对比，计算总体分类准确率；通过脑电模型进行图片任务标注，同时采集数据标注员的脑电数据；在脑电数据同步预处理后，将其输入到已获得的脑电模型中，其输出的类别作为数据标签。

技术研发人员：薛继国;岳敬伟;贺浩宸;李春永;马媛媛
受保护的技术使用者：中国人民解放军军事科学院军事医学研究院
技术研发日：2021.07.01
技术公布日：2021.07.30