本说明书一个或多个实施方式涉及三维建模,尤其涉及一种材质贴图生成方法及装置。
背景技术:
1、三维重建(3d重建)是在计算机中还原出真实世界物体的技术,目前广泛应用于电影、游戏场景、商品展示以及数字人场景中。目前3d建模主要采用基于贴图的建模方法,其中材质贴图是模型表现出真实、精美的关键因素,因此材质贴图的重建效果至关重要。
2、相关技术中,材质贴图重建通常需要昂贵的设备和复杂的技术人员操作,在处理大规模商品材质重建任务时效率低下。
技术实现思路
1、为提高三维材质贴图的效率和质量,本说明书一个或多个实施方式提供了一种材质贴图生成方法及装置、三维模型重建方法及装置、电子设备、存储介质、算计程序产品。
2、第一方面,本说明书一个或多个实施方式提供了一种材质贴图生成方法,包括:
3、对目标物体的初始材质贴图进行边缘特征提取,得到边缘特征图,所述边缘特征图用于表征材质贴图的图像范围;
4、对目标物体的平面图像进行加噪处理得到噪声图像;
5、将所述噪声图像和所述边缘特征图输入预先训练的扩散模型,得到所述扩散模型输出的所述目标物体对应的目标材质贴图;
6、其中,所述扩散模型用于提取所述边缘特征图对应的第一注意力权重和所述噪声图像对应的第二注意力权重,并基于所述第一注意力权重和所述第二注意力权重对所述噪声图像进行去噪处理得到所述目标材质贴图,所述第一注意力权重用于约束材质贴图的图像范围,所述第二注意力权值用于约束材质贴图与所述平面图像的差异。
7、在本说明书一个或多个实施方式中,所述对目标物体的初始材质贴图进行边缘特征提取,得到边缘特征图,包括:
8、获取所述目标物体的粗几何模型;
9、对所述粗几何模型进行贴图分离,得到所述粗几何模型表面的所述初始材质贴图;
10、对所述初始材质贴图进行边缘特征提取,得到所述边缘特征图。
11、在本说明书一个或多个实施方式中,所述对目标物体的平面图像进行加噪处理得到噪声图像,包括:
12、获取所述目标物体的拍摄图像;
13、对所述拍摄图像进行图像分割,得到包括所述目标物体的平面图像;
14、对所述平面图像进行特征提取,得到所述平面图像对应的特征图;
15、基于随机采样的高斯噪声图对所述特征图进行加噪处理,得到所述噪声图像。
16、在本说明书一个或多个实施方式中,所述扩散模型包括多个中间层,每个中间层连接均有第一注意力模块和第二注意力模块;所述扩散模型用于:
17、对于每个第一注意力模块,基于前一中间层的输出和所述边缘特征图确定所述第一注意力权重;
18、对于每个第二注意力模块,基于前一中间层的输出和所述噪声图像确定所述第二注意力权重。
19、在本说明书一个或多个实施方式中,利用所述扩散模型基于所述第一注意力权重和所述第二注意力权重对所述噪声图像进行去噪处理得到所述目标材质贴图,包括:
20、利用所述扩散模型根据所述第一注意力权重和所述第二注意力权重对所述噪声图像逐时间步进行去噪,并且对于每个时间步,基于前一时间步的去噪结果和所述平面图像计算当前时间步对应的去噪结果,直至满足收敛条件,得到所述目标材质贴图。
21、第二方面,本说明书一个或多个实施方式提供了一种三维模型重建方法,包括:
22、利用目标材质贴图对预先生成的目标物体的粗几何模型进行渲染,得到所述目标物体的三维模型,其中,所述目标材质贴图通过第一方面任意实施方式所述的方法得到。
23、第三方面,本说明书一个或多个实施方式提供了一种材质贴图生成装置,包括:
24、边缘提取模块,被配置为对目标物体的初始材质贴图进行边缘特征提取,得到边缘特征图,所述边缘特征图用于表征材质贴图的图像范围;
25、加噪模块,被配置为对目标物体的平面图像进行加噪处理得到噪声图像;
26、扩散模型模块,被配置为将所述噪声图像和所述边缘特征图输入预先训练的扩散模型,得到所述扩散模型输出的所述目标物体对应的目标材质贴图;
27、其中,所述扩散模型用于提取所述边缘特征图对应的第一注意力权重和所述噪声图像对应的第二注意力权重,并基于所述第一注意力权重和所述第二注意力权重对所述噪声图像进行去噪处理得到所述目标材质贴图,所述第一注意力权重用于约束材质贴图的图像范围,所述第二注意力权值用于约束材质贴图与所述平面图像的差异。
28、在本说明书一个或多个实施方式中,所述边缘提取模块被配置为:
29、获取所述目标物体的粗几何模型;
30、对所述粗几何模型进行贴图分离,得到所述粗几何模型表面的所述初始材质贴图;
31、对所述初始材质贴图进行边缘特征提取,得到所述边缘特征图。
32、在本说明书一个或多个实施方式中,所述加噪模块被配置为:
33、获取所述目标物体的拍摄图像;
34、对所述拍摄图像进行图像分割,得到包括所述目标物体的平面图像;
35、对所述平面图像进行特征提取,得到所述平面图像对应的特征图;
36、基于随机采样的高斯噪声图对所述特征图进行加噪处理,得到所述噪声图像。
37、在本说明书一个或多个实施方式中,所述扩散模型包括多个中间层,每个中间层连接均有第一注意力模块和第二注意力模块;所述扩散模型模块被配置为:
38、对于每个第一注意力模块,基于前一中间层的输出和所述边缘特征图确定所述第一注意力权重;
39、对于每个第二注意力模块,基于前一中间层的输出和所述噪声图像确定所述第二注意力权重。
40、在本说明书一个或多个实施方式中,所述扩散模型模块被配置为:
41、根据所述第一注意力权重和所述第二注意力权重对所述噪声图像逐时间步进行去噪,并且对于每个时间步,基于前一时间步的去噪结果和所述平面图像计算当前时间步对应的去噪结果,直至满足收敛条件,得到所述目标材质贴图。
42、第四方面,本说明书一个或多个实施方式提供了一种三维模型重建装置,包括:
43、三维渲染模块,被配置为利用目标材质贴图对预先生成的目标物体的粗几何模型进行渲染,得到所述目标物体的三维模型,其中,所述目标材质贴图通过第一方面任意实施方式的方法得到。
44、第五方面,本说明书一个或多个实施方式提出了一种电子设备,包括:
45、处理器;和
46、存储器,存储有计算机指令,所述计算机指令用于使处理器执行前述任意实施方式所述的方法。
47、第六方面,本说明书一个或多个实施方式提出了一种存储介质,存储有计算机指令,所述计算机指令用于使计算机执行前述任意实施方式所述的方法。
48、第七方面,本说明书一个或多个实施方式提出了一种计算机程序产品,所述计算机程序产品在运行时实现前述任意实施方式所述的方法。
49、本说明书一个或多个实施方式的材质贴图生成方法,包括对初始材质贴图进行边缘特征提取得到边缘特征图,对平面图像进行加噪处理并将噪声图像和边缘特征图输入扩散模型,利用扩散模型基于边缘特征图确定第一注意力权重,基于噪声图像确定第二注意力权重,并根据第一注意力权重和第二注意力权重对噪声图像进行去噪处理,得到目标材质贴图。本说明书实施方式中,通过构建独立的两部分注意力模块,可以将多种控制条件进行解耦,从而在扩散模型训练时,两部分注意力权重不会互相干扰,扩散模型针对材质一致性和贴图范围准确性均可以具有较好的学习效果,从而生成的材质贴图无论在一致性和贴图准确性方面均具有较高的质量。
1.一种材质贴图生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对目标物体的初始材质贴图进行边缘特征提取,得到边缘特征图,包括:
3.根据权利要求1所述的方法,其特征在于,所述对目标物体的平面图像进行加噪处理得到噪声图像,包括:
4.根据权利要求1所述的方法,其特征在于,所述扩散模型包括多个中间层,每个中间层连接均有第一注意力模块和第二注意力模块;所述扩散模型用于:
5.根据权利要求1至4任一项所述的方法,其特征在于,利用所述扩散模型基于所述第一注意力权重和所述第二注意力权重对所述噪声图像进行去噪处理得到所述目标材质贴图,包括:
6.一种三维模型重建方法,其特征在于,包括:
7.一种材质贴图生成装置,其特征在于,包括:
8.一种三维模型重建装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种存储介质,其特征在于,存储有计算机指令,所述计算机指令用于使计算机执行根据权利要求1至6任一项所述的方法。
11.一种计算机程序产品,其特征在于,所述计算机程序产品在运行时实现根据权利要求1至6任一项所述的方法。
