本说明书一个或多个实施方式涉及三维建模，尤其涉及一种材质及三维模型重建方法、装置。
背景技术：
1、三维重建（3d重建）是在计算机中还原出真实世界物体的技术，目前广泛应用于电影、游戏场景、商品展示以及数字人场景中。目前3d建模主要采用基于贴图的建模方法，其中材质贴图是模型表现出真实、精美的关键因素，因此材质贴图的重建效果至关重要。
2、相关技术中，材质重建方法通常需要昂贵的设备和复杂的技术人员操作，在处理大规模商品材质重建任务时效率低下。
技术实现思路
1、为提高三维材质重建的效率和质量，本说明书一个或多个实施方式提供了一种材质重建方法及装置、三维模型重建方法及装置、电子设备、存储介质、计算机程序产品。
2、第一方面，本说明书一个或多个实施方式提出了一种材质重建方法，包括：
3、获取目标物体在多个不同视角下拍摄的待处理图像；
4、对所述待处理图像进行材质分类，确定所述目标物体中不同材质区域的材质分类结果；
5、基于所述材质分类结果，以及所述目标物体的渲染图像与所述待处理图像之间的差异，对初始材质贴图进行迭代优化，得到目标材质贴图，其中，所述目标物体的渲染图像通过利用所述初始材质贴图对所述目标物体的粗几何模型渲染得到。
6、在一个或多个实施方式中，所述对所述待处理图像进行材质分类，确定所述目标物体中不同材质区域的材质分类结果，包括：
7、将所述待处理图像输入预先训练得到的材质分类模型，利用所述材质分类模型对所述目标物体的不同材质区域进行图像分割，得到所述材质分类模型输出的所述材质分类结果。
8、在一个或多个实施方式中，所述材质分类模型的模型训练过程包括：
9、获取训练数据集以及预训练的图像分割大模型，其中，所述训练数据集中的样本数据包括样本图像和标签信息，所述标签信息表示样本图像上的物体的材质分类结果；
10、将所述样本数据输入所述图像分割大模型，得到所述图像分割大模型的输出结果；
11、基于所述输出结果与所述标签信息之间的差异，调整所述图像分割大模型的模型参数，直至满足模型收敛条件，得到所述材质分类模型。
12、在一个或多个实施方式中，生成所述目标物体的渲染图像的过程包括：
13、对所述待处理图像进行环境光提取，得到所述待处理图像对应的环境光贴图，其中，所述环境光表示所述待处理图像上所述目标物体所处的光照情况；
14、基于所述初始材质贴图以及所述环境光贴图，对预先生成的所述目标物体的粗几何模型进行渲染得到所述渲染图像。
15、在一个或多个实施方式中，所述基于所述材质分类结果，以及所述目标物体的渲染图像与所述待处理图像之间的差异，对初始材质贴图进行迭代优化，包括：
16、基于所述材质分类结果确定第一损失项，所述第一损失项用于约束相同材质区域内的像素亮度值相同；
17、基于所述渲染图像与所述待处理图像之间的差异确定第二损失项；
18、基于所述第一损失项和所述第二损失项构建损失函数，并基于所述损失函数对所述初始材质贴图进行迭代优化。
19、在一个或多个实施方式中，所述基于所述材质分类结果，以及所述目标物体的渲染图像与所述待处理图像之间的差异，对初始材质贴图进行迭代优化，包括：
20、对所述待处理图像进行环境光提取，得到所述待处理图像对应的环境光贴图，其中，所述环境光表示所述待处理图像上所述目标物体所处的光照情况；
21、基于所述环境光贴图对所述粗几何模型进行渲染得到高光分量图；
22、基于所述高光分量图、所述材质分类结果以及所述渲染图像与所述待处理图像之间的差异，对所述初始材质贴图进行迭代优化。
23、在一个或多个实施方式中，所述基于所述高光分量图、所述材质分类结果以及所述渲染图像与所述待处理图像之间的差异，对所述初始材质贴图进行迭代优化，包括：
24、基于所述材质分类结果确定第一损失项，所述第一损失项用于约束相同材质区域内的像素亮度值相同；
25、基于所述渲染图像与所述待处理图像之间的差异确定第二损失项；
26、基于所述高光分量图对所述渲染图像进行阴影特征提取得到第一阴影图，基于所述高光分量图对所述待处理图像进行阴影特征提取得到第二阴影图，并基于所述第一阴影图和所述第二阴影图之间的差异确定第三损失项；
27、基于所述第一损失项、所述第二损失项以及所述第三损失项构建损失函数，并基于所述损失函数对所述初始材质贴图进行迭代优化。
28、在一个或多个实施方式中，基于所述高光分量图对所述渲染图像进行阴影特征提取得到第一阴影图，包括：
29、对于所述高光分量图上的每个像素，响应于亮度值大于预设阈值将亮度值配置为第一权值，响应于亮度值小于或等于预设阈值将亮度值配置为第二权值，遍历所述高光分量图上的每个像素得到阴影权重图；
30、对所述阴影权重图和所述渲染图像进行融合处理，得到所述第一阴影图。
31、在一个或多个实施方式中，所述获取目标物体在多个不同视角下拍摄的待处理图像，包括：
32、利用图像采集设备采集所述目标物体在多个不同视角下的拍摄图像；
33、对所述拍摄图像进行图像分割，得到包括所述目标物体的所述待处理图像。
34、第二方面，本说明书一个或多个实施方式提出了一种三维模型重建方法，包括：
35、利用目标材质贴图对预先生成的目标物体的粗几何模型进行渲染，得到所述目标物体的三维模型，其中，所述目标材质贴图通过第一方面任意实施方式所述的方法得到。
36、第三方面，本说明书一个或多个实施方式提出了一种材质重建装置，包括：
37、图像获取模块，被配置为获取目标物体在多个不同视角下拍摄的待处理图像；
38、材质分类模块，被配置为对所述待处理图像进行材质分类，确定所述目标物体中不同材质区域的材质分类结果；
39、贴图优化模块，被配置为基于所述材质分类结果，以及所述目标物体的渲染图像与所述待处理图像之间的差异，对初始材质贴图进行迭代优化，得到目标材质贴图，其中，所述目标物体的渲染图像通过利用所述初始材质贴图对所述目标物体的粗几何模型渲染得到。
40、在一个或多个实施方式中，所述材质分类模块被配置为：
41、将所述待处理图像输入预先训练得到的材质分类模型，利用所述材质分类模型对所述目标物体的不同材质区域进行图像分割，得到所述材质分类模型输出的所述材质分类结果。
42、在一个或多个实施方式中，所述材质分类模块被配置为：
43、获取训练数据集以及预训练的图像分割大模型，其中，所述训练数据集中的样本数据包括样本图像和标签信息，所述标签信息表示样本图像上的物体的材质分类结果；
44、将所述样本数据输入所述图像分割大模型，得到所述图像分割大模型的输出结果；
45、基于所述输出结果与所述标签信息之间的差异，调整所述图像分割大模型的模型参数，直至满足模型收敛条件，得到所述材质分类模型。
46、在一个或多个实施方式中，还包括模型渲染模块，所述模型渲染模块被配置为：
47、对所述待处理图像进行环境光提取，得到所述待处理图像对应的环境光贴图，其中，所述环境光表示所述待处理图像上所述目标物体所处的光照情况；
48、基于所述初始材质贴图以及所述环境光贴图，对预先生成的所述目标物体的粗几何模型进行渲染得到所述渲染图像。
49、在一个或多个实施方式中，所述贴图优化模块被配置为：
50、基于所述材质分类结果确定第一损失项，所述第一损失项用于约束相同材质区域内的像素亮度值相同；
51、基于所述渲染图像与所述待处理图像之间的差异确定第二损失项；
52、基于所述第一损失项和所述第二损失项构建损失函数，并基于所述损失函数对所述初始材质贴图进行迭代优化。
53、在一个或多个实施方式中，所述贴图优化模块被配置为：
54、对所述待处理图像进行环境光提取，得到所述待处理图像对应的环境光贴图，其中，所述环境光表示所述待处理图像上所述目标物体所处的光照情况；
55、基于所述环境光贴图对所述粗几何模型进行渲染得到高光分量图；
56、基于所述高光分量图、所述材质分类结果以及所述渲染图像与所述待处理图像之间的差异，对所述初始材质贴图进行迭代优化。
57、在一个或多个实施方式中，所述贴图优化模块被配置为：
58、基于所述材质分类结果确定第一损失项，所述第一损失项用于约束相同材质区域内的像素亮度值相同；
59、基于所述渲染图像与所述待处理图像之间的差异确定第二损失项；
60、基于所述高光分量图对所述渲染图像进行阴影特征提取得到第一阴影图，基于所述高光分量图对所述待处理图像进行阴影特征提取得到第二阴影图，并基于所述第一阴影图和所述第二阴影图之间的差异确定第三损失项；
61、基于所述第一损失项、所述第二损失项以及所述第三损失项构建损失函数，并基于所述损失函数对所述初始材质贴图进行迭代优化。
62、在一个或多个实施方式中，所述贴图优化模块被配置为：
63、对于所述高光分量图上的每个像素，响应于亮度值大于预设阈值将亮度值配置为第一权值，响应于亮度值小于或等于预设阈值将亮度值配置为第二权值，遍历所述高光分量图上的每个像素得到阴影权重图；
64、对所述阴影权重图和所述渲染图像进行融合处理，得到所述第一阴影图。
65、在一个或多个实施方式中，所述图像获取模块被配置为：
66、利用图像采集设备采集所述目标物体在多个不同视角下的拍摄图像；
67、对所述拍摄图像进行图像分割，得到包括所述目标物体的所述待处理图像。
68、第四方面，本说明书一个或多个实施方式提出了一种三维模型重建装置，包括：
69、三维渲染模块，被配置为利用目标材质贴图对预先生成的目标物体的粗几何模型进行渲染，得到所述目标物体的三维模型，其中，所述目标材质贴图通过第一方面任意实施方式所述的方法得到。
70、第五方面，本说明书一个或多个实施方式提出了一种电子设备，包括：
71、处理器；和
72、存储器，存储有计算机指令，所述计算机指令用于使处理器执行前述任意实施方式所述的方法。
73、第六方面，本说明书一个或多个实施方式提出了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行前述任意实施方式所述的方法。
74、第七方面，本说明书一个或多个实施方式提出了一种计算机程序产品，所述计算机程序产品在运行时实现前述任意实施方式所述的方法。
75、本说明书一个或多个实施方式的材质重建方法，包括获取目标物体在多个不同视角下的待处理图像，对待处理图像进行材质分类确定不同材质区域的材质分类结果，基于材质分类结果以及目标物体的渲染图像与待处理图像之间的差异，对初始材质贴图进行迭代优化，直至满足收敛条件得到目标材质贴图。通过对目标物体进行材质分类，并基于材质分类结果和图像差异对材质贴图进行迭代优化，提高物体表面相同材质区域的一致性和平滑性，避免出现阴影细缝等问题，提高材质贴图的质量和对各种材质表面重建的精度和泛化能力，并且材质重建方法过程简单、效率高，适于大规模商品材质重建场景。
1.一种材质重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行材质分类，确定所述目标物体中不同材质区域的材质分类结果，包括：
3.根据权利要求2所述的方法，其特征在于，所述材质分类模型的模型训练过程包括：
4.根据权利要求1所述的方法，其特征在于，生成所述目标物体的渲染图像的过程包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述材质分类结果，以及所述目标物体的渲染图像与所述待处理图像之间的差异，对初始材质贴图进行迭代优化，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述材质分类结果，以及所述目标物体的渲染图像与所述待处理图像之间的差异，对初始材质贴图进行迭代优化，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述高光分量图、所述材质分类结果以及所述渲染图像与所述待处理图像之间的差异，对所述初始材质贴图进行迭代优化，包括：
8.根据权利要求7所述的方法，其特征在于，基于所述高光分量图对所述渲染图像进行阴影特征提取得到第一阴影图，包括：
9.根据权利要求1所述的方法，其特征在于，所述获取目标物体在多个不同视角下拍摄的待处理图像，包括：
10.一种三维模型重建方法，其特征在于，包括：
11.一种材质重建装置，其特征在于，包括：
12.一种三维模型重建装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括：
14.一种存储介质，其特征在于，存储有计算机指令，所述计算机指令用于使计算机执行根据权利要求1至10任一项所述的方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品在运行时实现根据权利要求1至10任一项所述的方法。
