本申请涉及机器学习,特别是涉及一种模型处理方法、装置、计算机设备、存储介质和程序产品。
背景技术:
1、随着互联网的快速发展,网络视频的数量也呈现出激增的趋势,视频已然成为当前承载大量信息的主要媒介。一段视频中蕴含着海量信息,如何有效地利用大规模的视频数据也已成为深度学习研究的热门领域,也是当前学术界和工业界面临的一项重大挑战。提供适用于下游任务的预训练模型不仅可以提升模型性能,同时也能减少下游任务的迭代次数。
2、传统的自监督预训练方式通常都是基于二维图像的训练方式,而三维形式的视频所包含的语义信息更为丰富。若使用传统的自监督预训练方式训练得到模型参数初始化三维视频帧的模型,通常会丢失一部分时间维度的信息,无法很好地实现视频内容的理解,故而亟需一种针对三维视频帧的模型预训练方式。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种模型处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本申请提供了一种模型处理方法,包括:
3、获取待训练模型,所述待训练模型包括第一编码器和第二编码器;
4、基于多帧视频帧生成第一三维数据和第二三维数据;所述第一三维数据和第二三维数据为不同的三维数据,且均包括通过分块得到的目标数量的图像块;
5、获得第一编码器对第一三维数据进行处理的过程中产生的,每个图像块各自对应的第一特征;
6、获得第二编码器对第二三维数据进行处理的过程中产生的,每个图像块各自对应的第二特征;
7、根据每个图像块各自对应的第一特征和第二特征,确定图像块对比损失,基于所述图像块对比损失构建目标损失函数;
8、根据所述目标损失函数对待训练模型进行训练,得到预训练的视觉模型。
9、第二方面,本申请还提供了一种模型处理装置,包括:
10、获取模块,用于获取待训练模型,所述待训练模型包括第一编码器和第二编码器;
11、生成模块,用于基于多帧视频帧生成第一三维数据和第二三维数据;所述第一三维数据和第二三维数据为不同的三维数据,且均包括通过分块得到的目标数量的图像块;
12、所述获取模块,还用于获得第一编码器对第一三维数据进行处理的过程中产生的,每个图像块各自对应的第一特征;
13、所述获取模块,还用于获得第二编码器对第二三维数据进行处理的过程中产生的,每个图像块各自对应的第二特征;
14、确定模块,用于根据每个图像块各自对应的第一特征和第二特征,确定图像块对比损失,基于所述图像块对比损失构建目标损失函数;
15、训练模块,用于根据所述目标损失函数对待训练模型进行训练,得到预训练的视觉模型。
16、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述模型处理方法中的步骤。
17、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述模型处理方法中的步骤。
18、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述模型处理方法中的步骤。
19、上述模型处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,基于多帧视频帧生成第一三维数据和第二三维数据,其中,第一三维数据和第二三维数据为不同的三维数据,且两者均包括有经过分块处理而得到的目标数量的图像块。进而将第一三维数据和第二三维数据分别通过两个编码器进行处理,将处理过程中产生的每个图像块对应的特征逐一做比对,通过对比损失进行监督,以最小化相同图像块之间的距离,最大化不同图像块对之间的距离。这种图像块级别的自监督训练方式,保留了多帧视频帧中时间维度的信息,并且可以对视频内容进行细粒度的学习,引导待训练模型从语义和像素级别学习到视频信息,大大提高了视觉模型的视频理解和模型泛化能力。
1.一种模型处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于多帧视频帧生成第一三维数据和第二三维数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述从视频样本中抽取多帧视频帧作为待处理数据,包括:
4.根据权利要求2所述的方法,其特征在于,所述对所述待处理数据进行分块和差异化处理,得到第一三维数据和第二三维数据,包括:
5.根据权利要求4所述的方法,其特征在于,将待进行遮盖的候选数据作为第三候选数据,所述遮盖的过程包括:
6.根据权利要求1所述的方法,其特征在于,所述根据每个图像块各自对应的第一特征和第二特征,确定图像块对比损失,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述图像块对比损失构建目标损失函数,包括:
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一输出特征、所述第二输出特征、及负样本的特征,确定特征对比损失,包括:
9.根据权利要求1所述的方法,其特征在于,所述第一编码器和第二编码器均包括预设结构,所述预设结构包括骨干网络和投影器,所述第一特征为所述第一编码器的投影器输出的特征,所述第二特征为所述第二编码器的骨干网络输出的特征,或者,所述第一特征为所述第一编码器的骨干网络输出的特征,所述第二特征为所述第二编码器的投影器输出的特征。
10.根据权利要求9所述的方法,其特征在于,所述第一编码器还包括第一预测器,所述第二编码器还包括第二预测器,所述第一预测器与所述第二预测器互为非对称结构。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述方法还包括:
12.一种模型处理装置,其特征在于,所述装置包括:
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
