本技术涉及三维重建，特别是涉及一种神经辐射场重建模型生成方法、装置、设备、介质及产品。
背景技术：
1、随着计算机视觉技术的快速发展，在安防（如，身份认证）和机器人等领域，基于nerf（neural radiance fields，神经辐射场）算法实现新视角合成、三维重建的应用也越来越广泛。神经辐射场算法可以利用多层感知机（mlp，multilayer perceptron）基于包含对象的二维视图对该对象进行建模，得到该对象的三维隐式表达，这种对象的三维隐式表达也可以称为神经辐射场重建模型。
2、然而，神经辐射场算法高度依赖于输入密集的二维视图，当输入的二维视图数量较少时，重建得到的神经辐射场重建模型可能出现过拟合问题，准确度不高。
技术实现思路
1、本技术实施例的目的在于提供一种神经辐射场重建模型生成方法、装置、设备、介质及产品，以提高重建得到的神经辐射场重建模型的准确度。具体技术方案如下：
2、本技术实施例提供的第一方面，提供了一种神经辐射场重建模型生成方法，所述方法包括：
3、获取图像采集设备在每一预设位姿下采集的待重建对象的原始rgb图像和深度图像；
4、对每一预设位姿进行调整，得到该预设位姿对应的虚拟位姿；
5、针对每一虚拟位姿，基于得到该虚拟位姿所利用的预设位姿对应的原始rgb图像和深度图像生成三维点云，并将生成的三维点云投影至所述图像采集设备在该虚拟位姿下的图像平面，得到该虚拟位姿对应的rgb图像，作为伪rgb图像；
6、利用得到的伪rgb图像和对应的虚拟位姿，以及所述原始rgb图像和对应的预设位姿，构建表示所述待重建对象的神经辐射场重建模型。
7、可选的，所述利用得到的伪rgb图像和对应的虚拟位姿，以及所述原始rgb图像和对应的预设位姿，构建表示所述待重建对象的神经辐射场重建模型，包括：
8、针对得到的伪rgb图像和所述原始rgb图像中的每一rgb图像，将该rgb图像和对应的位姿输入至初始结构的神经辐射场重建模型，得到该rgb图像中有效像素位置的预测像素值；其中，每一原始rgb图像中所有像素位置均为有效像素位置；每一伪rgb图像中不属于空洞区域的像素位置为有效像素位置；
9、基于该rgb图像中有效像素位置的预测像素值，与有效像素位置在该rgb图像中的真实像素值之间的差异，确定该rgb图像中有效像素位置对应的第一损失值；
10、基于所确定的各rgb图像中有效像素位置对应的第一损失值，对所述初始结构的神经辐射场重建模型的模型参数进行调整，直至所述初始结构的神经辐射场重建模型收敛，得到表示所述待重建对象的神经辐射场重建模型。
11、可选的，在所述基于所确定的各rgb图像中有效像素位置对应的第一损失值，对所述初始结构的神经辐射场重建模型的模型参数进行调整之前，所述方法还包括：
12、针对该rgb图像中的每一有效像素位置，确定在该rgb图像对应的三维点云中该有效像素位置所对应的三维点处的单位法向量，作为该有效像素位置对应的真实法向量；
13、获取通过所述初始结构的神经辐射场重建模型得到的，该有效像素位置对应的光线路径中各空间采样点的sdf（sign distance function，符号距离函数）值；
14、计算各空间采样点的sdf值的梯度，得到各空间采样点处的初始法向量，并在各空间采样点处的初始法向量的方向上取单位长度的向量，得到各空间采样点处的待利用法向量；
15、计算各空间采样点处的待利用法向量的加权和，得到融合法向量，并在所述融合法向量的方向上取单位长度的向量，得到该有效像素位置对应的预测法向量；其中，各空间采样点处的待利用法向量的权重为：基于所述初始结构的神经辐射场重建模型得到的各空间采样点的体积密度确定的；
16、基于该有效像素位置对应的预测法向量与真实法向量之间的差异，确定该有效像素位置对应的第二损失值；
17、所述基于所确定的各rgb图像中有效像素位置对应的第一损失值，对所述初始结构的神经辐射场重建模型的模型参数进行调整，包括：
18、基于所确定的各rgb图像中有效像素位置对应的第一损失值和第二损失值，对所述初始结构的神经辐射场重建模型的模型参数进行调整。
19、可选的，一个有效像素位置对应的第二损失值包括：第一子损失值和第二子损失值；所述第一子损失值表示：该有效像素位置对应的预测法向量与真实法向量之间的角度差异；所述第二子损失值为：基于该有效像素位置对应的预测法向量与真实法向量之间的l1损失值和/或l2损失值得到的。
20、可选的，在所述针对得到的伪rgb图像和所述原始rgb图像中的每一rgb图像，将该rgb图像和对应的位姿输入至初始结构的神经辐射场重建模型，得到该rgb图像中有效像素位置的预测像素值之前，所述方法还包括：
21、针对每一伪rgb图像，基于该伪rgb图像中属于待重建对象所占的图像区域的像素位置，生成第一掩码图像；其中，在所述第一掩码图像中属于待重建对象所占的图像区域的像素位置的像素值为1；
22、对所述第一掩码图像进行闭操作，得到第二掩码图像，以及对所述第一掩码图像中像素位置的像素值进行取反，得到第三掩码图像；
23、对所述第三掩码图像和所述第二掩码图像中对应像素位置的像素值进行与运算，得到第四掩码图像；
24、确定所述第四掩码图像中像素值为1的区域，作为所述空洞区域。
25、可选的，每一预设位姿表示：所述图像采集设备在预设世界坐标系下的位姿；
26、所述对每一预设位姿进行调整，得到该预设位姿对应的虚拟位姿，包括：
27、针对每一预设位姿，分别在所述图像采集设备在该预设位姿下的相机坐标系的三个坐标轴的正负方向上，对该预设位姿进行平移，得到该预设位姿对应的多个虚拟位姿。
28、本技术实施例的第二方面，还提供了一种神经辐射场重建模型生成装置，所述装置包括：
29、图像获取模块，用于获取图像采集设备在每一预设位姿下采集的待重建对象的原始rgb图像和深度图像；
30、位姿调整模块，用于对每一预设位姿进行调整，得到该预设位姿对应的虚拟位姿；
31、伪rgb图像确定模块，用于针对每一虚拟位姿，基于得到该虚拟位姿所利用的预设位姿对应的原始rgb图像和深度图像生成三维点云，并将生成的三维点云投影至所述图像采集设备在该虚拟位姿下的图像平面，得到该虚拟位姿对应的rgb图像，作为伪rgb图像；
32、神经辐射场重建模型构建模块，用于利用得到的伪rgb图像和对应的虚拟位姿，以及所述原始rgb图像和对应的预设位姿，构建表示所述待重建对象的神经辐射场重建模型。
33、可选的，所述神经辐射场重建模型构建模块，包括：
34、像素值预测子模块，用于针对得到的伪rgb图像和所述原始rgb图像中的每一rgb图像，将该rgb图像和对应的位姿输入至初始结构的神经辐射场重建模型，得到该rgb图像中有效像素位置的预测像素值；其中，每一原始rgb图像中所有像素位置均为有效像素位置；每一伪rgb图像中不属于空洞区域的像素位置为有效像素位置；
35、第一损失值确定子模块，用于基于该rgb图像中有效像素位置的预测像素值，与有效像素位置在该rgb图像中的真实像素值之间的差异，确定该rgb图像中有效像素位置对应的第一损失值；
36、模型参数调整子模块，用于基于所确定的各rgb图像中有效像素位置对应的第一损失值，对所述初始结构的神经辐射场重建模型的模型参数进行调整，直至所述初始结构的神经辐射场重建模型收敛，得到表示所述待重建对象的神经辐射场重建模型。
37、可选的，所述装置还包括：
38、真实法向量确定模块，用于在所述基于所确定的各rgb图像中有效像素位置对应的第一损失值，对所述初始结构的神经辐射场重建模型的模型参数进行调整之前，针对该rgb图像中的每一有效像素位置，确定在该rgb图像对应的三维点云中该有效像素位置所对应的三维点处的单位法向量，作为该有效像素位置对应的真实法向量；
39、sdf值获取模块，用于获取通过所述初始结构的神经辐射场重建模型得到的，该有效像素位置对应的光线路径中各空间采样点的sdf值；
40、梯度计算模块，用于计算各空间采样点的sdf值的梯度，得到各空间采样点处的初始法向量，并在各空间采样点处的初始法向量的方向上取单位长度的向量，得到各空间采样点处的待利用法向量；
41、预测法向量确定模块，用于计算各空间采样点处的待利用法向量的加权和，得到融合法向量，并在所述融合法向量的方向上取单位长度的向量，得到该有效像素位置对应的预测法向量；其中，各空间采样点处的待利用法向量的权重为：基于所述初始结构的神经辐射场重建模型得到的各空间采样点的体积密度确定的；
42、第二损失值确定模块，用于基于该有效像素位置对应的预测法向量与真实法向量之间的差异，确定该有效像素位置对应的第二损失值；
43、所述模型参数调整子模块，具体用于基于所确定的各rgb图像中有效像素位置对应的第一损失值和第二损失值，对所述初始结构的神经辐射场重建模型的模型参数进行调整。
44、可选的，一个有效像素位置对应的第二损失值包括：第一子损失值和第二子损失值；所述第一子损失值表示：该有效像素位置对应的预测法向量与真实法向量之间的角度差异；所述第二子损失值为：基于该有效像素位置对应的预测法向量与真实法向量之间的l1损失值和/或l2损失值得到的。
45、可选的，所述装置还包括：
46、第一图像确定模块，用于在所述针对得到的伪rgb图像和所述原始rgb图像中的每一rgb图像，将该rgb图像和对应的位姿输入至初始结构的神经辐射场重建模型，得到该rgb图像中有效像素位置的预测像素值之前， 针对每一伪rgb图像，基于该伪rgb图像中属于待重建对象所占的图像区域的像素位置，生成第一掩码图像；其中，在所述第一掩码图像中属于待重建对象所占的图像区域的像素位置的像素值为1；
47、第二图像确定模块，用于对所述第一掩码图像进行闭操作，得到第二掩码图像，以及对所述第一掩码图像中像素位置的像素值进行取反，得到第三掩码图像；
48、第三图像确定模块，用于对所述第三掩码图像和所述第二掩码图像中对应像素位置的像素值进行与运算，得到第四掩码图像；
49、空洞区域确定模块，用于确定所述第四掩码图像中像素值为1的区域，作为所述空洞区域。
50、可选的，每一预设位姿表示：所述图像采集设备在预设世界坐标系下的位姿；
51、所述位姿调整模块，具体用于针对每一预设位姿，分别在所述图像采集设备在该预设位姿下的相机坐标系的三个坐标轴的正负方向上，对该预设位姿进行平移，得到该预设位姿对应的多个虚拟位姿。
52、本技术实施例的第三方面，还提供了一种电子设备，包括：
53、存储器，用于存放计算机程序；
54、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的神经辐射场重建模型生成方法。
55、本技术实施例的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的神经辐射场重建模型生成方法。
56、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的神经辐射场重建模型生成方法。
57、本技术实施例提供的一种神经辐射场重建模型生成方法，可以获取图像采集设备在每一预设位姿下采集的待重建对象的原始rgb图像和深度图像；对每一预设位姿进行调整，得到该预设位姿对应的虚拟位姿；针对每一虚拟位姿，基于得到该虚拟位姿所利用的预设位姿对应的原始rgb图像和深度图像生成三维点云，并将生成的三维点云投影至图像采集设备在该虚拟位姿下的图像平面，得到该虚拟位姿对应的rgb图像，作为伪rgb图像；利用得到的伪rgb图像和对应的虚拟位姿，以及原始rgb图像和对应的预设位姿，构建表示待重建对象的神经辐射场重建模型。
58、基于上述处理，可以获取图像采集设备在每一预设位姿下，针对待重建对象采集到的rgb图像（即原始rgb图像）和深度图像。并可以在预设位姿的基础上，构建多个虚拟位姿。结合采集的深度图像中的深度信息，得到各个虚拟位姿对应的rgb图像（即伪rgb图像），也就能够得到多个新的视角下待重建对象的rgb图像。进而，可以利用更丰富的rgb图像以及对应的位姿，通过神经辐射场重建算法，构建表示待重建对象的神经辐射场重建模型。如此，也就能够丰富构建神经辐射场重建模型时使用的rgb图像和对应的位姿，也就能够避免仅根据稀疏的二维视图重建神经辐射场重建模型，导致重建得到的神经辐射场重建模型出现过拟合问题，提高重建得到的神经辐射场重建模型的准确度。
59、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
1.一种神经辐射场重建模型生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述利用得到的伪rgb图像和对应的虚拟位姿，以及所述原始rgb图像和对应的预设位姿，构建表示所述待重建对象的神经辐射场重建模型，包括：
3.根据权利要求2所述的方法，其特征在于，在所述基于所确定的各rgb图像中有效像素位置对应的第一损失值，对所述初始结构的神经辐射场重建模型的模型参数进行调整之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，一个有效像素位置对应的第二损失值包括：第一子损失值和第二子损失值；所述第一子损失值表示：该有效像素位置对应的预测法向量与真实法向量之间的角度差异；所述第二子损失值为：基于该有效像素位置对应的预测法向量与真实法向量之间的l1损失值和/或l2损失值得到的。
5.根据权利要求2-4任一项所述的方法，其特征在于，在所述针对得到的伪rgb图像和所述原始rgb图像中的每一rgb图像，将该rgb图像和对应的位姿输入至初始结构的神经辐射场重建模型，得到该rgb图像中有效像素位置的预测像素值之前，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，每一预设位姿表示：所述图像采集设备在预设世界坐标系下的位姿；
7.一种神经辐射场重建模型生成装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述神经辐射场重建模型构建模块，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法。
11.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行权利要求1-6任一所述的方法。
