模型训练方法、装置、电子设备和计算机可读存储介质与流程

专利2025-07-31  10


本申请涉及图像处理,具体涉及一种模型训练方法、装置、电子设备和计算机可读存储介质。


背景技术:

1、随着科学技术的发展,深度估计的应用领域越来越广泛,比如,将深度估计应用于自动驾驶领域、增强现实领域以及机器人导航领域中。

2、目前,可以通过双目深度估计方法进行深度估计,双目深度估计方法包括自监督双目深度估计方法和有监督双目深度估计方法。然而,通过自监督双目深度估计方法得到的深度的准确度较低。


技术实现思路

1、本申请实施例提供一种模型训练方法、装置、电子设备和计算机可读存储介质,可以提高通过自监督双目深度估计方法得到的深度的准确度。

2、第一方面,本申请实施例提供一种模型训练方法,上述方法包括:

3、获取训练数据集合,上述训练数据集合包括至少一个图像组,上述图像组包括通过电子设备的双目摄像头在同一时刻针对同一对象拍摄得到的左图像和右图像;

4、从上述图像组中筛选出主视角图像和非主视角图像,并分别对上述主视角图像和上述非主视角图像进行特征提取,得到上述主视角图像对应的主视角特征以及上述非主视角图像对应的非主视角特征;

5、将上述图像组输入至待训练深度估计模型进行视差预测处理,得到上述图像组对应的视差图,并根据上述视差图以及上述非主视角特征进行重构处理,得到上述主视角图像对应的重构特征;

6、根据上述主视角特征和上述重构特征,确定上述待训练深度估计模型的特征一致性损失函数值,并根据上述特征一致性损失函数值,对上述待训练深度估计模型进行训练,得到深度估计模型。

7、第二方面,本申请实施例还提供一种模型训练装置,上述装置包括:

8、获取模块,用于获取训练数据集合,上述训练数据集合包括至少一个图像组,上述图像组包括通过电子设备的双目摄像头在同一时刻针对同一对象拍摄得到的左图像和右图像;

9、提取模块,用于从上述图像组中筛选出主视角图像和非主视角图像,并分别对上述主视角图像和上述非主视角图像进行特征提取,得到上述主视角图像对应的主视角特征以及上述非主视角图像对应的非主视角特征;

10、预测模块,用于将上述图像组输入至待训练深度估计模型进行视差预测处理,得到上述图像组对应的视差图,并根据上述视差图以及上述非主视角特征进行重构处理,得到上述主视角图像对应的重构特征;

11、训练模块,用于根据上述主视角特征和上述重构特征,确定上述待训练深度估计模型的特征一致性损失函数值,并根据上述特征一致性损失函数值,对上述待训练深度估计模型进行训练,得到深度估计模型。

12、第三方面,本申请实施例还提供一种电子设备,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本申请实施例所提供的任一种模型训练方法。

13、第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例所提供的任一种模型训练方法。

14、本申请实施例中,获取训练数据集合,训练数据集合包括至少一个图像组,图像组包括通过电子设备的双目摄像头在同一时刻针对同一对象拍摄得到的左图像和右图像;从图像组中筛选出主视角图像和非主视角图像,并分别对主视角图像和非主视角图像进行特征提取,得到主视角图像对应的主视角特征以及非主视角图像对应的非主视角特征;将图像组输入至待训练深度估计模型进行视差预测处理,得到图像组对应的视差图,并根据视差图以及非主视角特征进行重构处理,得到主视角图像对应的重构特征;根据主视角特征和重构特征,确定待训练深度估计模型的特征一致性损失函数值,并根据特征一致性损失函数值,对待训练深度估计模型进行训练,得到深度估计模型,实现通过根据主视角特征和重构特征确定的特征一致性损失函数值对待训练深度估计模型进行训练,提高在通过深度估计模型进行深度估计时的准确度。



技术特征:

1.一种模型训练方法,其特征在于,所述方法包括:

2.如权利要求1所述的模型训练方法,其特征在于,所述根据所述主视角特征和所述重构特征,确定所述待训练深度估计模型的特征一致性损失函数值,包括:

3.如权利要求2所述的模型训练方法,其特征在于,所述根据所述主视角特征、所述重构特征以及所述预设采样参数,确定所述待训练深度估计模型的特征一致性损失函数值,包括:

4.如权利要求1所述的模型训练方法,其特征在于,所述根据所述主视角特征和所述重构特征,确定所述待训练深度估计模型的特征一致性损失函数值,包括:

5.如权利要求4任所述的模型训练方法,其特征在于,所述根据所述主视角特征和所述重构特征,确定纹理相似度,包括:

6.如权利要求1所述的模型训练方法,其特征在于,所述根据所述特征一致性损失函数值,对所述待训练深度估计模型进行训练,得到深度估计模型,包括:

7.如权利要求6所述的模型训练方法,其特征在于,所述根据所述主视角图像和所述重构主视角图像,确定所述待训练深度估计模型的光度一致性损失函数值,包括:

8.如权利要求1所述的模型训练方法,其特征在于,所述根据所述特征一致性损失函数值,对所述待训练深度估计模型进行训练,得到深度估计模型,包括:

9.如权利要求1-8任一项所述的模型训练方法,其特征在于,在对所述待训练深度估计模型进行训练,得到深度估计模型之后,还包括:

10.一种模型训练装置,其特征在于,所述装置包括:

11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1至9任一项所述的模型训练方法。

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至9任一项所述的模型训练方法。


技术总结
本申请公开了一种模型训练方法、装置、电子设备和计算机可读存储介质,本申请实施例通过获取训练数据集合,训练数据集合包括至少一个图像组;分别对图像组中主视角图像和非主视角图像进行特征提取,得到主视角图像对应的主视角特征以及非主视角图像对应的非主视角特征;将图像组输入至待训练深度估计模型进行视差预测处理,得到图像组对应的视差图,并根据视差图以及非主视角特征进行重构处理,得到主视角图像对应的重构特征;根据主视角特征和重构特征,确定待训练深度估计模型的特征一致性损失函数值,并根据特征一致性损失函数值,对待训练深度估计模型进行训练,得到深度估计模型。本申请实施例可以提高深度估计的准确度。

技术研发人员:张超,赵翔,林杰,侯杰,金诚,范长杰,胡志鹏,陈赢峰
受保护的技术使用者:网易(杭州)网络有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1823294.html

最新回复(0)