本发明涉及的是一种神经网络应用领域的技术，具体是一种面向小样本学习基于预训练的贝叶斯集成图像分类方法及系统。
背景技术：
1、小样本图像分类是计算机视觉领域的一个基本任务，近些年来，使用视觉预训练模型已经逐渐成为解决小样本图像分类问题的主流范式。然而，现有的基于视觉预训练模型的方法通常无法灵活地集成其他可能包含互补先验信息的预训练模型，并且不能提供准确的不确定性估计。
技术实现思路
1、本发明针对现有技术需要消耗大量的时间和计算资源的不足，提出一种基于预训练的贝叶斯集成图像分类方法及系统，在多个小样本图像分类任务中取得非常理想的分类性能提升的同时，具有更好的的鲁棒性和泛化性，能够在预测图像类别的同时给出预测的不确定性估计。
2、本发明是通过以下技术方案实现的：
3、本发明涉及一种基于预训练的贝叶斯集成图像分类方法，以高斯过程回归模型作为建模框架，将预训练的clip模型与用于小样本图像分类的预训练模型相结合并进行模型训练，用零样本clip分类器指定高斯过程的先验均值函数模块，通过最大化对数边际似然或对数预测似然优化高斯过程中的超参数，完成模型的训练；最后把训练得到的高斯过程用于图像分类以完成小样本图像分类任务，并获得对预测的结果的不确定性估计。
4、所述的预训练的clip模型采用但不限于《learningtransferable visual modelsfrom natural language supervision》文献中记载的内容实现。
5、所述的用于小样本图像分类的预训练模型采用：dino、moco等已有的预训练模型，其中：dino技术采用但不限于《emerging properties in self-supervised visiontransformers》文献中记载的内容实现；moco技术采用但不限于《momentum constrast forunsupervised visual representation learning》文献中记载的内容实现。
6、所述的结合是指：将基于高斯过程回归模型的建模框架的核函数定义为多个预训练模型初始化的核函数的加和，从而将多个预训练模型融合。
7、所述的高斯过程回归模型具体为：其中：x和x'为不同图像经过预训练模型提取出来的特征，表示高斯过程，m(x)为高斯过程的先验均值函数模块，k(x,x')为高斯过程的核函数模块，f(x)表示高斯过程回归模型的预测结果，该模型通过参考训练样本来对新数据做预测，类似于人类处理任务的方式。高斯过程对应的高斯似然为其中：σ2为噪声的方差，i为单位矩阵，y(x)为训练样本的标签，表示高斯分布。用{x,y}表示训练数据集，x为样本，y为样本标签，函数f*对新的待预测数据点x*的预测分布为其中：表示预测分布的期望(均值)，表示预测分布的协方差(核函数)，和分别表示对训练数据x和待预测数据x*的均值函数的估计。和表示对训练数据x和待预测数据x*的核函数的估计。
8、所述的先验均值函数模块m(x)，即高斯过程回归模型的预测分类结果，具体为：m(x):＝γsoftmax(τg(x)tw)，其中：代表clip模型的图像编码器，d代表clip模型对输入图像提取出来的特征的维度，表示由感兴趣的c类的文本描述的嵌入组成的零样本线性分类器的权重，γ,τ均为超参数。
9、所述的核函数模块k(x,x')即所有用不同预训练模型定义的核函数的总和，具体为：其中：k个预训练模型g(i)，d(i)为每个预训练模型对输入图像提取出来的特征的维度，每个预训练模型的核函数表示逐元素相乘，可学向量用来增加核函数的灵活性。
10、所述的模型训练是指：通过最大化对数边际似然或对数预测似然优化先验均值函数模块和核函数模块中的超参数，使得高斯过程拟合到训练样本。
11、所述的对预测的结果的不确定性估计是指：对于待预测数据x*，使用训练后的高斯过程回归模型计算数据点的均值以作为预测的标签，以cov(f*)的对角线元素量化测试数据点上的预测不确定性，即模型对预测的信心。
12、本发明涉及一种实现上述方法的小样本分类系统，包括：高斯过程先验均值函数单元、高斯过程核函数单元和训练单元，其中：高斯过程先验均值函数单元使用clip模型的图像编码器提取出待预测样本的特征表示，将其与由所有类别标签的文本描述的嵌入组成的零样本线性分类器的权重相乘，得到待预测样本数据的先验均值；高斯过程核函数单元使用多个预训练模型提取待预测样本的特征后，利用每个预训练模型提取的特征计算每个预训练模型对应的核函数，将多个预训练模型计算得到的核函数加和，得到待预测样本的核函数；训练单元通过最大化对数边际似然或对数预测似然对高斯过程先验均值函数单元和高斯过程核函数单元构成的高斯过程回归模型进行训练后，使用优化得到的高斯过程模型对未知类别的图像进行分类预测，并给出预测的不确定性估计。
13、技术效果
14、本发明通过构建高斯过程框架，精心设计高斯过程的先验均值函数模块和核函数模块，灵活地集成了不同预训练模型的先验知识，通过最大化对数边际似然或对数预测似然来训练高斯过程模型，最后使用优化得到的高斯过程模型对未知类别的图像进行分类预测，并给出预测的不确定性估计。在常用的imagenet数据集上，本发明所提出的方法的小样本图像分类准确率相比之前最优方法的分类准确率普遍提高了1％到3％。同时，相比其他方法，本发明提出的方法展现出了最优的泛化性，在未经训练的imagenet-v2和imagenet-sketch数据集上都有着最优的分类准确率。
1.一种基于预训练的贝叶斯集成图像分类方法，其特征在于，基于预训练的贝叶斯集成图像分类方法，以高斯过程回归模型作为建模框架，将预训练的clip模型与用于小样本图像分类的预训练模型相结合并进行模型训练，用零样本clip分类器指定高斯过程的先验均值函数模块，通过最大化对数边际似然或对数预测似然优化高斯过程中的超参数，完成模型的训练；最后把训练得到的高斯过程用于图像分类以完成小样本图像分类任务，并获得对预测的结果的不确定性估计。
2.根据权利要求1所述的基于预训练的贝叶斯集成图像分类方法，其特征是，所述的结合是指：将基于高斯过程回归模型的建模框架的核函数定义为多个预训练模型初始化的核函数的加和，从而将多个预训练模型融合。
3.根据权利要求1或2所述的基于预训练的贝叶斯集成图像分类方法，其特征是，所述的高斯过程回归模型具体为：其中：x和x'为不同图像经过预训练模型提取出来的特征，表示高斯过程，m(x)为高斯过程的先验均值函数模块，k(x,x')为高斯过程的核函数模块，f(x)表示高斯过程回归模型的预测结果，该模型通过参考训练样本来对新数据做预测，类似于人类处理任务的方式，高斯过程对应的高斯似然为其中：σ2为噪声的方差，i为单位矩阵，y(x)为训练样本的标签，表示高斯分布，用{x,y}表示训练数据集，x为样本，y为样本标签，函数f*对新的待预测数据点x*的预测分布为其中：表示预测分布的期望，即均值，表示预测分布的协方差，即核函数，和分别表示对训练数据x和待预测数据x*的均值函数的估计，和表示对训练数据x和待预测数据x*的核函数的估计；
4.根据权利要求3所述的基于预训练的贝叶斯集成图像分类方法，其特征是，所述的模型训练是指：通过最大化对数边际似然或对数预测似然优化先验均值函数模块和核函数模块中的超参数，使得高斯过程拟合到训练样本。
5.根据权利要求1所述的基于预训练的贝叶斯集成图像分类方法，其特征是，所述的对预测的结果的不确定性估计是指：对于待预测数据x*，使用训练后的高斯过程回归模型计算数据点的均值以作为预测的标签，以cov(f*)的对角线元素量化测试数据点上的预测不确定性，即模型对预测的信心。
6.根据权利要求1-5中任一所述的基于预训练的贝叶斯集成图像分类方法，其特征是，具体包括：
7.一种实现权利要求1-6中任一所述方法的小样本分类系统，其特征在于，包括：高斯过程先验均值函数单元、高斯过程核函数单元和训练单元，其中：高斯过程先验均值函数单元使用clip模型的图像编码器提取出待预测样本的特征表示，将其与由所有类别标签的文本描述的嵌入组成的零样本线性分类器的权重相乘，得到待预测样本数据的先验均值；高斯过程核函数单元使用多个预训练模型提取待预测样本的特征后，利用每个预训练模型提取的特征计算每个预训练模型对应的核函数，将多个预训练模型计算得到的核函数加和，得到待预测样本的核函数；训练单元通过最大化对数边际似然或对数预测似然对高斯过程先验均值函数单元和高斯过程核函数单元构成的高斯过程回归模型进行训练后，使用优化得到的高斯过程模型对未知类别的图像进行分类预测，并给出预测的不确定性估计。
