本公开涉及人工智能技术领域中的智能交通、计算机视觉和深度学习技术领域，尤其涉及一种图像数据的处理方法、装置、路侧设备和云控平台。
背景技术：
目前，随着计算设备的更新和大规模共有数据集的公开，视觉基础模型已经得到了很好的研究，广泛应用于图像分类、目标检测和图像分割等视觉任务中，为医疗、工业生产、日常生活等各个领域带来了便利。
相关技术中，为降低参数量和计算量，方便嵌入到移动终端或其他小型的终端设备中，通常采用轻量模型进行视觉任务。但这些轻量模型都是基于卷积神经网络设计的，具有局部感受野，使得网络模型的性能较差，图像数据的处理效果不理想。
技术实现要素：
提供了一种图像数据的处理方法、装置、路侧设备和云控平台。
根据第一方面，提供了一种图像数据的处理方法，包括：获取待处理图像数据；获取训练好的图像网络模型；以及将所述待处理图像数据输入至所述训练好的图像网络模型中，得到所述待处理图像数据对应的预测结果数据，其中，所述训练好的图像网络模型用于：对所述待处理图像数据进行局部特征提取，得到局部特征数据，对所述待处理图像数据进行全局特征提取，得到全局特征数据，根据所述局部特征数据和所述全局特征数据生成拼接特征数据，根据所述拼接特征数据和所述待处理图像数据生成所述预测结果数据。
根据第二方面，提供了一种图像数据的处理装置，包括：第一获取模块，用于获取待处理图像数据；第二获取模块，用于获取训练好的图像网络模型；以及处理模块，用于将所述待处理图像数据输入至所述训练好的图像网络模型中，得到所述待处理图像数据对应的预测结果数据，其中，所述训练好的图像网络模型用于：对所述待处理图像数据进行局部特征提取，得到局部特征数据，对所述待处理图像数据进行全局特征提取，得到全局特征数据，根据所述局部特征数据和所述全局特征数据生成拼接特征数据，根据所述拼接特征数据和所述待处理图像数据生成所述预测结果数据
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的图像数据的处理方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开第一方面所述的图像数据的处理方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面所述的图像数据的处理方法。
根据第六方面，提供了一种路侧设备，包括如本公开第三方面所述的电子设备。
根据第七方面，提供了一种云控平台，包括如本公开第三方面所述的电子设备。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的图像数据的处理方法的流程示意图；
图2是根据本公开第二实施例的图像数据的处理方法的流程示意图；
图3是根据本公开第三实施例的图像数据的处理方法的流程示意图；
图4是根据本公开第四实施例的图像数据的处理方法的流程示意图；
图5为本公开实施例的图像数据的处理方法中全量感知模块的示意图；
图6为轻量模型中倒残差模块的示意图；
图7是根据本公开第一实施例的图像数据的处理装置的框图；
图8是根据本公开第二实施例的图像数据的处理装置的框图；
图9是用来实现本公开实施例的图像数据的处理方法的电子设备的框图；
图10是用来实现本公开实施例的图像数据的处理方法的路侧设备的框图；
图11是用来实现本公开实施例的图像数据的处理方法的云控平台的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
人工智能(artificialintelligence，简称ai)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。目前，ai技术具有自动化程度高、精确度高、成本低的优点，得到了广泛的应用。
智能交通(intelligenttransportation)是一个基于现代电子信息技术，致力于减少交通负荷和环境污染、保证交通安全、提高运输效率的技术领域，将先进的信息技术、数据通讯传输技术、电子传感技术、控制技术及计算机技术等有效地集成运用于地面交通运输场景中，为交通系统中信息的收集、处理、发布、交换、分析、利用等提供多样的技术支持。
计算机视觉(computervision)，又称为机器视觉(machinevision)，是使用计算机及相关设备对生物视觉的一种模拟，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
深度学习(deeplearning，简称dl)，是机器学习(machinelearning，简称ml)领域中一个新的研究方向，学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。就具体研究内容而言，主要包括基于卷积运算的神经网络系统，即卷积神经网络；基于多层神经元的自编码神经网络；以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
下面结合附图描述本公开实施例的图像数据的处理方法、装置、路侧设备和云控平台。
图1是根据本公开第一实施例的图像数据的处理方法的流程示意图。
如图1所示，本公开实施例的图像数据的处理方法具体可包括以下步骤：
s101，获取待处理图像数据。
具体的，本公开实施例的图像数据的处理方法的执行主体可为本公开实施例提供的图像数据的处理装置，该图像数据的处理装置可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。其中，用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。
在本公开实施例中，待处理图像可以为通过照相机或带有摄像装置的电子设备获得的待进行目标检测、图像分割等视觉任务的图像。图像数据包括但不限于通道数、长度和宽。例如，日常中的一幅图片，以计算机视角看，这幅图像只是一堆亮度各异的点，一幅尺寸为m*n的图像可以用m*n的矩阵来表示，其中，矩阵元素的值表示这个位置上的像素的亮度。例如，灰度图用二维矩阵表示，只需要一个数值便可描述某一点像素的亮度，即为单通道图像。彩色图像用三维矩阵表示，需要多个数值描述某一点像素的亮度，即为多通道图像，例如一个彩色图像的一个像素点用rgb三种颜色来描述，则该图像为三通道图像。本公开实施例中，获取待处理图像的通道数、长度和宽度等本征特征数据作为待处理图像数据进行图像处理。
s102，获取训练好的图像网络模型。
具体的，获取预先训练好的图像网络模型。需要说明的是，图像网络模型为预先构建的，经过训练、测试过程得到的，能够实现长距离关联不同位置信息，弥补了全局信息的提取，解决相关技术中网络模型缺乏特征空间信息的交互问题。
s103，将待处理图像数据输入至训练好的图像网络模型中，得到待处理图像数据对应的预测结果数据，其中，训练好的图像网络模型用于：对待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据，根据局部特征数据和全局特征数据生成拼接特征数据，根据拼接特征数据和待处理图像数据生成预测结果数据。
具体的，将步骤s101获得的待处理图像数据输入至步骤s102获得的训练好的图像网络模型中，得到待处理图像数据对应的预测结果数据。其中，预测结果数据可以为目标检测的结果或图像分割的结果等。在具体实施中，可通过训练本公开实施例的图像网络模型的参数，实现包括但不限于目标检测、图像分割的图像处理任务。例如，在是否有猫的目标检测任务中，本公开实施例的预测结果数据即为表示待处理图像中“是否存在猫”的结果数据。
综上，本公开实施例的图像数据的处理方法，将待处理图像数据输入至训练好的图像网络模型中，得到待处理图像数据对应的预测结果数据，其中，训练好的图像网络模型对待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据，根据局部特征数据和全局特征数据生成拼接特征数据，根据拼接特征数据和待处理图像数据生成预测结果数据。在进行局部特征提取的同时，通过增加全局特征信息的提取，实现了特征空间信息的交互，增强了图像网络模型的性能，具有较好的图像处理效果。
图2是根据本公开第二实施例的图像数据的处理方法的流程示意图。
如图2所示，在图1所示实施例的基础上，本公开实施例的图像数据的处理方法具体可包括以下步骤：
s201，获取训练图像数据和对应的实际训练预测结果数据。
具体的，获取训练数据库中的训练图像数据和与该训练图像数据对应的实际训练预测结果数据。
s202，根据训练图像数据和实际训练预测结果数据对待训练的图像网络模型进行训练，得到候选图像网络模型。
具体的，根据步骤s201获得的训练图像数据和该训练图像数据对应的实际训练预测结果数据对待训练的图像网络模型进行训练，得到候选图像网络模型。
具体实施中，初始化待训练的图像网络模型的参数，将训练图像数据输入待训练的图像网络模型，进行前向传播，得到输出结果数据。计算输出结果数据与该训练图像数据对应的实际训练预测结果数据之间的误差，根据误差计算梯度，并根据梯度更新待训练的图像网络模型的参数，以此不断生成新的图像网络模型。判断是否满足预设的模型保存条件，若满足预设的模型保存条件，则保存当前图像网络模型作为候选图像网络模型。其中，预设的模型保存条件可以为迭代更新次数达到n次则保存当前图像网络模型，也可以为每迭代更新次数达到n次保存一次当前图像网络模型，也可以为误差小于预设的误差阈值时保存当前图像网络模型。
s203，根据候选图像网络模型生成训练好的图像网络模型。
具体的，预设的模型保存条件不同，步骤s202得到的候选图像网络模型的数量可能不同。例如预设的模型保存条件为迭代更新次数达到n次则保存当前图像网络模型时，由于只保存第n次迭代更新后的当前图像网络模型作为候选图像网络模型，因此候选图像网络模型的数量为一个，将该候选图像网络模型作为训练好的图像网络模型。预设的模型保存条件为每迭代更新次数达到n次保存一次当前图像网络模型时，由于每迭代更新n次保存一次当前图像网络模型作为候选图像网络模型，因此候选图像网络模型的数量为可以为多个，在多个候选图像网络模型中确定出一个作为训练好的图像网络模型。
s204，获取待处理图像数据。
s205，获取训练好的图像网络模型。
s206，将待处理图像数据输入至训练好的图像网络模型中，得到待处理图像数据对应的预测结果数据，其中，训练好的图像网络模型对用于：待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据，根据局部特征数据和全局特征数据生成拼接特征数据，根据拼接特征数据和待处理图像数据生成预测结果数据。
具体的，本实施例中的步骤s204-s206与上述实施例中的步骤s101-s103相同，此处不再赘述。
进一步的，如图3所示，候选图像网络模型为多个时，上述步骤s203“根据候选图像网络模型生成训练好的图像网络模型”具体可包括以下步骤：
s301，获取测试图像数据和对应的实际测试预测结果数据。
具体的，获取测试数据库中的测试图像数据和与该测试图像数据对应的实际测试预测结果数据。
s302，根据测试图像数据和实际测试预测结果数据对候选图像网络模型进行测试。
具体的，根据步骤s301获取的测试图像数据和与该测试图像数据对应的实际测试预测结果数据对上述实施例得到的候选图像网络模型进行测试。
具体实施中，将测试图像数据输入候选图像网络模型，进行前向传播，得到输出结果数据，计算输出结果数据与该测试图像数据对应的实际测试预测结果数据之间的误差，根据误差确定该候选图像网络模型的测试效果。
s303，根据多个候选图像网络模型的测试效果，在多个候选图像网络模型中确定训练好的图像网络模型。
具体的，根据对多个候选图像网络模型的测试结果，选择测试结果最好即性能最优的一个候选图像网络模型，确定为训练好的图像网络模型。
进一步的，如图4所示，上述步骤s206中的“对待处理图像数据进行全局特征提取，得到全局特征数据”具体可包括以下步骤：
s401，对待处理图像数据进行长度降维处理，得到第一全局特征数据。
具体的，在本公开实施例中，假设待处理图像数据的维度为(c，h，w)，即通道数为c，长度为h，宽度为w，对待处理图像数据进行长度降维处理，即将待处理图像数据在长度上的特征的维度降为1，得到维度为(c，1，w)的第一全局特征数据。
其中，对待处理图像数据进行长度降维处理具体可包括：将待处理图像数据在长度上的特征的最大值和/或平均值等，确定为待处理图像数据在长度上的特征。
具体的，可采用计算待处理图像数据在长度上的特征的最大值和/或平均值等的方式，将待处理图像数据在长度上的特征的维度降为1，将上述最大值和/或平均值等确定为待处理图像在长度上的特征，即为第一全局特征数据。
s402，对待处理图像数据进行宽度降维处理，得到第二全局特征数据。
具体的，在本公开实施例中，假设待处理图像数据的维度为(c，h，w)，即通道数为c，长度为h，宽度为w，对待处理图像数据进行宽度降维处理，即将待处理图像数据在宽度上的特征的维度降为1，得到维度为(c，h，1)的第二全局特征数据。
其中，对待处理图像数据进行宽度降维处理具体可包括：将待处理图像数据在宽度上的特征的最大值和/或平均值等，确定为待处理图像数据在宽度上的特征。
具体的，可采用计算待处理图像数据在宽度上的特征的最大值和/或平均值等的方式，将待处理图像数据在宽度上的特征的维度降为1，将上述最大值和/或平均值等确定为待处理图像在宽度上的特征，即为第二全局特征数据。
s403，根据第一全局特征数据和第二全局特征数据生成全局特征数据。
具体的，可通过对步骤s401生成的第一全局特征数据和步骤s402生成的第二全局特征数据进行点积运算，得到全局特征数据。例如，对维度为(c，1，w)的第一全局特征数据和维度为(c，h，1)的第二全局特征数据进行点积运算，得到维度为(c，h，w)的全局特征数据。
进一步的，上述步骤s206中的“对待处理图像数据进行局部特征提取，得到局部特征数据”具体可包括以下步骤：采用卷积核为3*3的二维深度可分离卷积对待处理图像数据进行局部特征提取，得到局部特征数据。
此处需要说明的是，在采用卷积核为3*3的二维深度可分离卷积对维度为(c，h，w)的待处理图像数据进行局部特征提取，得到维度为(c，h，w)的局部特征数据后，还可以对局部特征数据进行归一化处理(bn)，并采用激活函数(relu)对归一化处理后的局部特征数据进行激活处理。后续根据维度为(c，h，w)的局部特征数据和维度为(c，h，w)的全局特征数据生成维度为(2c，h，w)拼接特征数据。
进一步的，上述步骤s206中的“对待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据”之前，本公开实施例的图像数据的处理方法还可包括以下步骤：对待处理图像数据进行通道扩张处理。
具体的，假设待处理图像数据的维度为(c，h，w)，即通道数为c，长度为h，宽度为w，对待处理图像数据进行通道扩张处理，即将待处理图像数据在通道数上的特征的维度扩张为βc，得到维度为(βc，h，w)的待处理图像数据。后续对维度为(βc，h，w)的待处理图像数据进行长度降维处理，得到维度为(βc，1，w)的第一全局特征数据，对维度为(βc，h，w)的待处理图像数据进行宽度降维处理，得到维度为(βc，h，1)的第二全局特征数据，对维度为(βc，1，w)的第一全局特征数据和维度为(βc，h，1)的第二全局特征数据进行点积运算，得到维度为(βc，h，w)的全局特征数据。对维度为(βc，h，w)的待处理图像数据进行局部特征提取，得到维度为(βc，h，w)的局部特征数据。根据维度为(βc，h，w)的局部特征数据和维度为(βc，h，w)的全局特征数据生成维度为(2βc，h，w)拼接特征数据。
此处需要说明的是，对待处理图像数据进行通道扩张处理后，还可以对通道扩张处理后的图像特征数据进行归一化处理(bn)，并采用激活函数(relu)对归一化处理后的图像特征数据进行激活处理。
进一步的，上述步骤s206中的“根据拼接特征数据和待处理图像数据生成预测结果数据”之前，本公开实施例的图像数据的处理方法还可包括以下步骤：对拼接特征数据进行通道压缩处理。
具体的，假设拼接特征数据的维度为(2βc，h，w)，对拼接特征数据进行通道压缩处理，即将拼接特征数据在通道数上的特征的维度压缩为c，得到维度为(c，h，w)的拼接特征数据。
此处需要说明的是，对待处理图像数据进行通道压缩处理后，还可以对通道压缩处理后的图像特征数据进行归一化处理(bn)。
此处需要说明的是，本公开实施例中的图像网络模型可以基于轻量模型mobilenetv2的结构进行搭建，同时采用图5所示的全量感知模块替换掉轻量模型mobilenetv2中的如图6所示的倒残差模块得到。
如图5所示，输入为维度为(c，h，w)的待处理图像数据，一路不做处理，一路采用卷积核为1*1的卷积对维度为(c，h，w)的待处理图像数据进行通道扩张处理，得到维度为(βc，h，w)的待处理图像数据。对维度为(βc，h，w)的待处理图像数据进行归一化处理(bn)，并采用激活函数(relu)对归一化处理后的维度为(βc，h，w)的待处理图像数据进行激活处理。后续分为三路，第一路采用卷积核为3*3的二维深度可分离卷积对维度为(βc，h，w)的待处理图像数据进行局部特征提取，得到维度为(βc，h，w)的局部特征数据后，对局部特征数据进行归一化处理(bn)，并采用激活函数(relu)对归一化处理后的局部特征数据进行激活处理，第二路对维度为(βc，h，w)的待处理图像数据进行长度降维处理，得到维度为(βc，1，w)的第一全局特征数据，第三路对维度为(βc，h，w)待处理图像数据进行宽度降维处理，得到维度为(βc，h，1)的第二全局特征数据。对维度为(βc，1，w)的第一全局特征数据和维度为(βc，h，1)的第二全局特征数据进行点积运算，得到维度为(βc，h，w)的全局特征数据。将第一路得到的维度为(βc，h，w)的局部特征数据和维度为(βc，h，w)的全局特征数据进行拼接，得到维度为(2βc，h，w)的拼接特征数据。采用卷积核为1*1的卷积对维度为(2βc，h，w)的拼接特征数据进行通道压缩处理，得到维度为(c，h，w)的拼接特征数据。对维度为(c，h，w)的拼接特征数据进行归一化处理(bn)。根据维度为(c，h，w)的拼接特征数据与未做处理的维度为(c，h，w)的待处理图像数据生成预测结果数据。
如图6所示，输入为维度为(c，h，w)的待处理图像数据，一路不做处理，一路采用卷积核为1*1的卷积对维度为(c，h，w)的待处理图像数据进行通道扩张处理，得到维度为(αc，h，w)的待处理图像数据，对维度为(αc，h，w)的待处理图像数据进行归一化处理(bn)，并采用激活函数(relu)对归一化处理后的维度为(αc，h，w)的待处理图像数据进行激活处理。后续采用卷积核为3*3的二维深度可分离卷积对维度为(αc，h，w)的待处理图像数据进行局部特征提取，得到维度为(αc，h，w)的局部特征数据后，对局部特征数据进行归一化处理(bn)，并采用激活函数(relu)对归一化处理后的局部特征数据进行激活处理。采用卷积核为1*1的卷积对维度为(αc，h，w)的局部特征数据进行通道压缩处理，得到维度为(c，h，w)的局部特征数据。对维度为(c，h，w)的局部特征数据进行归一化处理(bn)。根据维度为(c，h，w)的局部特征数据与未做处理的维度为(c，h，w)的待处理图像数据生成预测结果数据。
综上，本公开实施例的图像数据的处理方法，将待处理图像数据输入至训练好的图像网络模型中，得到待处理图像数据对应的预测结果数据，其中，训练好的图像网络模型对待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据，根据局部特征数据和全局特征数据生成拼接特征数据，根据拼接特征数据和待处理图像数据生成预测结果数据。在进行局部特征提取的同时，通过增加全局特征信息的提取，实现了特征空间信息的交互，增强了图像网络模型的性能，具有较好的图像处理效果。且图像网络模型在增加了全局特征提取时，采用了降维、点积运算和拼接处理，未增加新的参数，可方便嵌入到移动终端或其他小型的终端设备中。
图7是根据本公开第一实施例的图像数据的处理装置的框图。
如图7所示，本公开实施例的图像数据的处理装置700，包括：第一获取模块701、第二获取模块702和处理模块703。
第一获取模块701，用于获取待处理图像数据。
第二获取模块702，用于获取训练好的图像网络模型。
处理模块703，用于将待处理图像数据输入至训练好的图像网络模型中，得到待处理图像数据对应的预测结果数据，其中，训练好的图像网络模型用于：对待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据，根据局部特征数据和全局特征数据生成拼接特征数据，根据拼接特征数据和待处理图像数据生成预测结果数据。
需要说明的是，上述对图像数据的处理方法实施例的解释说明，也适用于本公开实施例的图像数据的处理装置，具体过程此处不再赘述。
综上，本公开实施例的图像数据的处理装置，将待处理图像数据输入至训练好的图像网络模型中，得到待处理图像数据对应的预测结果数据，其中，训练好的图像网络模型用于：对待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据，根据局部特征数据和全局特征数据生成拼接特征数据，根据拼接特征数据和待处理图像数据生成预测结果数据。在进行局部特征提取的同时，通过增加全局特征信息的提取，实现了特征空间信息的交互，增强了图像网络模型的性能，具有较好的图像处理效果。
图8是根据本公开第二实施例的图像数据的处理装置的框图。
如图8所示，本公开实施例的图像数据的处理装置800，具体可包括：第一获取模块801、第二获取模块802和处理模块803。
其中，第一获取模块801与上述实施例中的第一获取模块701具有相同功能和结构，第二获取模块802与上述实施例中的第二获取模块702具有相同功能和结构，处理模块803与上述实施例中的处理模块703具有相同功能和结构。
进一步的，处理模块803具体可包括：第一处理单元8031，用于对待处理图像数据进行长度降维处理，得到第一全局特征数据；第二处理单元8032，用于对待处理图像数据进行宽度降维处理，得到第二全局特征数据；以及生成单元8033，用于根据第一全局特征数据和第二全局特征数据生成全局特征数据。
进一步的，第一处理单元8031具体可包括：第一确定子单元，用于将待处理图像数据在长度上的特征的最大值和/或平均值，确定为待处理图像数据在长度上的特征；和/或，第二处理单元8032具体可包括：第二确定子单元，用于将待处理图像数据在宽度上的特征的最大值和/或平均值，确定为待处理图像数据在宽度上的特征。
进一步的，生成单元8033具体可包括：运算子单元，用于对第一全局特征数据和第二全局特征数据进行点积运算，得到全局特征数据。
进一步的，处理模块803还可用于：在对待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据之前，对待处理图像数据进行通道扩张处理；在根据拼接特征数据和待处理图像数据生成预测结果数据之前，对拼接特征数据进行通道压缩处理。
进一步的，本公开实施例的图像数据的处理装置800，还包括：第三获取模块，用于获取训练图像数据和对应的实际训练预测结果数据；训练模块，用于根据训练图像数据和实际训练预测结果数据对待训练的图像网络模型进行训练，得到候选图像网络模型；以及生成模块，用于根据候选图像网络模型生成训练好的图像网络模型。
进一步的，候选图像网络模型为多个，生成模块具体可包括：获取单元，用于获取测试图像数据和对应的实际测试预测结果数据；测试单元，用于根据测试图像数据和实际测试预测结果数据对候选图像网络模型进行测试；确定单元，用于根据多个候选图像网络模型的测试效果，在多个候选图像网络模型中确定训练好的图像网络模型。
需要说明的是，上述对图像数据的处理方法实施例的解释说明，也适用于本公开实施例的图像数据的处理装置，具体过程此处不再赘述。
综上，本公开实施例的图像数据的处理装置，将待处理图像数据输入至训练好的图像网络模型中，得到待处理图像数据对应的预测结果数据，其中，训练好的图像网络模型对待处理图像数据进行局部特征提取，得到局部特征数据，对待处理图像数据进行全局特征提取，得到全局特征数据，根据局部特征数据和全局特征数据生成拼接特征数据，根据拼接特征数据和待处理图像数据生成预测结果数据。通过增加全局特征信息的提取，实现了特征空间信息的交互，增强了图像网络模型的性能，具有较好的图像处理效果。且图像网络模型在增加了全局特征提取时，采用了降维、点积运算和拼接处理，未增加新的参数，可方便嵌入到移动终端或其他小型的终端设备中。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
电子设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元909，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图1至图5所示的图像数据的处理方法。例如，在一些实施例中，图像数据的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到ram903并由计算单元901执行时，可以执行上文描述的图像数据的处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像数据的处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网以及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtualprivateserver"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现根据本公开上述实施例所示的图像数据的处理方法。
根据本公开的实施例，本公开还提供了一种路侧设备，图10是用来实现本公开实施例的图像数据的处理方法的路侧设备的框图。如图10所示，路侧设备1000包括电子设备1001。其中，电子设备1001与图9所示的电子设备900具有相同的结构和功能。
可选的，路侧设备1000除了包括电子设备1001，还可以包括通信部件等，电子设备1001可以和通信部件一体集成，也可以分体设置。电子设备1001可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算。可选的，电子设备1001自身也可以具备感知数据获取功能和通信功能，例如ai相机，电子设备1001可以直接基于获取的感知数据进行图像视频处理和数据计算。
根据本公开的实施例，本公开还提供了一种云控平台，图11是用来实现本公开实施例的图像数据的处理方法的云控平台的框图。如图11所示，云控平台1100包括电子设备1101。其中，电子设备1101与图9所示的电子设备900具有相同的结构和功能。
可选的，云控平台1100在云端执行处理，云控平台1100包括的电子设备1101可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算；云控平台1100也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心系统、云端服务器等。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
1.一种图像数据的处理方法，包括：
获取待处理图像数据；
获取训练好的图像网络模型；以及
将所述待处理图像数据输入至所述训练好的图像网络模型中，得到所述待处理图像数据对应的预测结果数据，其中，所述训练好的图像网络模型用于：对所述待处理图像数据进行局部特征提取，得到局部特征数据，对所述待处理图像数据进行全局特征提取，得到全局特征数据，根据所述局部特征数据和所述全局特征数据生成拼接特征数据，根据所述拼接特征数据和所述待处理图像数据生成所述预测结果数据。
2.根据权利要求1所述的处理方法，其中，所述对所述待处理图像数据进行全局特征提取，得到全局特征数据，包括：
对所述待处理图像数据进行长度降维处理，得到第一全局特征数据；
对所述待处理图像数据进行宽度降维处理，得到第二全局特征数据；以及
根据所述第一全局特征数据和所述第二全局特征数据生成所述全局特征数据。
3.根据权利要求2所述的处理方法，其中，所述对所述待处理图像数据进行长度降维处理，包括：
将所述待处理图像数据在长度上的特征的最大值和/或平均值，确定为所述待处理图像数据在长度上的特征；和/或，
所述对所述待处理图像数据进行宽度降维处理，包括：
将所述待处理图像数据在宽度上的特征的最大值和/或平均值，确定为所述待处理图像数据在长度上的特征。
4.根据权利要求2所述的处理方法，其中，所述根据所述第一全局特征数据和所述第二全局特征数据生成所述全局特征数据，包括：
对所述第一全局特征数据和所述第二全局特征数据进行点积运算，得到所述全局特征数据。
5.根据权利要求1所述的处理方法，其中，所述对所述待处理图像数据进行局部特征提取，得到局部特征数据，对所述待处理图像数据进行全局特征提取，得到全局特征数据之前，还包括：
对所述待处理图像数据进行通道扩张处理；
所述根据所述拼接特征数据和所述待处理图像数据生成所述预测结果数据之前，还包括：
对所述拼接特征数据进行通道压缩处理。
6.根据权利要求1所述的处理方法，还包括：
获取训练图像数据和对应的实际训练预测结果数据；
根据所述训练图像数据和所述实际训练预测结果数据对待训练的图像网络模型进行训练，得到候选图像网络模型；以及
根据候选图像网络模型生成所述训练好的图像网络模型。
7.根据权利要求6所述的处理方法，其中，所述候选图像网络模型为多个，所述根据候选图像网络模型生成所述训练好的图像网络模型，包括：
获取测试图像数据和对应的实际测试预测结果数据；
根据所述测试图像数据和所述实际测试预测结果数据对所述候选图像网络模型进行测试；
根据多个所述候选图像网络模型的测试效果，在所述多个所述候选图像网络模型中确定所述训练好的图像网络模型。
8.一种图像数据的处理装置，包括：
第一获取模块，用于获取待处理图像数据；
第二获取模块，用于获取训练好的图像网络模型；以及
处理模块，用于将所述待处理图像数据输入至所述训练好的图像网络模型中，得到所述待处理图像数据对应的预测结果数据，其中，所述训练好的图像网络模型用于：对所述待处理图像数据进行局部特征提取，得到局部特征数据，对所述待处理图像数据进行全局特征提取，得到全局特征数据，根据所述局部特征数据和所述全局特征数据生成拼接特征数据，根据所述拼接特征数据和所述待处理图像数据生成所述预测结果数据。
9.根据权利要求8所述的处理装置，其中，所述处理模块包括：
第一处理单元，用于对所述待处理图像数据进行长度降维处理，得到第一全局特征数据；
第二处理单元，用于对所述待处理图像数据进行宽度降维处理，得到第二全局特征数据；以及
生成单元，用于根据所述第一全局特征数据和所述第二全局特征数据生成所述全局特征数据。
10.根据权利要求9所述的处理装置，其中，所述第一处理单元包括：
第一确定子单元，用于将所述待处理图像数据在长度上的特征的最大值和/或平均值，确定为所述待处理图像数据在长度上的特征；和/或，
所述第二处理单元包括：
第二确定子单元，用于将所述待处理图像数据在宽度上的特征的最大值和/或平均值，确定为所述待处理图像数据在长度上的特征。
11.根据权利要求9所述的处理装置，其中，所述生成单元包括：
运算子单元，用于对所述第一全局特征数据和所述第二全局特征数据进行点积运算，得到所述全局特征数据。
12.根据权利要求8所述的处理装置，其中，所述处理模块还用于：
在对所述待处理图像数据进行局部特征提取，得到局部特征数据，对所述待处理图像数据进行全局特征提取，得到全局特征数据之前，对所述待处理图像数据进行通道扩张处理；
在所述根据所述拼接特征数据和所述待处理图像数据生成所述预测结果数据之前，对所述拼接特征数据进行通道压缩处理。
13.根据权利要求8所述的处理装置，还包括：
第三获取模块，用于获取训练图像数据和对应的实际训练预测结果数据；
训练模块，用于根据所述训练图像数据和所述实际训练预测结果数据对待训练的图像网络模型进行训练，得到候选图像网络模型；以及
生成模块，用于根据候选图像网络模型生成所述训练好的图像网络模型。
14.根据权利要求13所述的处理装置，其中，所述候选图像网络模型为多个，所述生成模块包括：
获取单元，用于获取测试图像数据和对应的实际测试预测结果数据；
测试单元，用于根据所述测试图像数据和所述实际测试预测结果数据对所述候选图像网络模型进行测试；
确定单元，用于根据多个所述候选图像网络模型的测试效果，在所述多个所述候选图像网络模型中确定所述训练好的图像网络模型。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的图像数据的处理方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的图像数据的处理方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的图像数据的处理方法。
18.一种路侧设备，包括如权利要求15所述的电子设备。
19.一种云控平台，包括如权利要求15所述的电子设备。
技术总结