本发明属于图像处理，涉及一种基于知识辅助的小样本神经辐射场重建方法，旨在解决在小样本情况下图像重建容易出现过拟合问题，导致重建结果结构模糊或纹理虚假的难题。
背景技术：
1、传统的三维重建方法通常需要对场景进行密集观察，从均匀采样的角度获取数据。nerf(neural radiance fields，神经辐射场)从不同视点获取图像数据，将视点位姿与观测射线指向组成的5d坐标作为网络的输入，输出包括采样点像素体积密度和相应的颜色信息。nerf通过使用深度全连接神经网络来编码参数，并利用连续体素来解决图像分辨率提高所带来的限制，显著提高了三维重建的合成质量。
2、经典版本的nerf通常需要大量视角的图像作为输入。当参考图像数量较少时，重建的质量会显著下降。因此，近年来越来越多的研究开始关注如何在小样本情况下进行nerf重建，以改善重建的质量。小样本nerf重建主要有两种方法：1)一种是不引入额外的知识辅助，仅对网络添加额外的正则化项进行重建；2)另一种是引入额外的知识辅助来进行重建。
3、当只有少量参考视图可用时，nerf的训练往往容易过拟合，导致重建结果质量不佳。为了从有限的参考图像中重建出高质量的模型，许多研究在网中引入额外的正则化项，以防止nerf训练时出现过拟合。然而，由于受限于参考视图角度，基于正则化的nerf重建可能无法完全还原目标模型。
4、本发明的主要目标是实现对完整目标模型的重建，不受参考视角限制，因此本发明采用扩散纹理作为约束条件并引入语义信息等先验辅助，以实现这一目标。
5、此外，为了在小样本情况下更加真实地重建目标三维模型，许多研究提出了两阶段重建方法，包括第一阶段的粗重建和第二阶段的精细重建。与这些主流算法不同，本发明采用了一种先重构表面特征，然后再重构纹理特征的双阶段重建方法。
技术实现思路
1、为了克服现有研究的不足，本发明提供了一种基于结合扩散纹理约束的神经辐射场的小样本图像重建方法，旨在解决在小样本情况下神经辐射场重建容易出现过拟合问题，导致重建结果结构模糊或纹理虚假的难题。
2、第一方面，本发明提供基于结合扩散纹理约束神经辐射场的小样本图像重建方法，包括以下步骤：
3、步骤一：构建神经辐射场模型，并对其进行初次训练，实现图像的表面几何重建；
4、步骤二：对初次训练后的神经辐射场模型和扩散模型进行二次训练，实现图像的扩散纹理重建；
5、步骤三：利用二次训练后的神经辐射场和扩散模型实现三维图像的重建。
6、作为优选，步骤一具体是：
7、将二维3d仿真图像和图像对应的相机内外参数作为初次训练神经辐射场模型的输入，输出当前图像场景带有几何特性的3d表示，所述3d表示包括像素点的颜色和密度；
8、所述二维3d仿真图像采用一个场景的若干张图像；
9、给定一个随机采样相机视角，将初次训练神经辐射场模型的输出采用基于有向距离场的体渲染技术，渲染成一张图像。
10、作为优选，步骤二具体是：
11、2.1将与二维3d仿真图像同一目标的小样本二维rgb图像作为参考图像输入至初次训练后的神经辐射场模型，输出当前图像场景带有纹理特性的3d表示，所述3d表示包括像素点的颜色和密度；
12、2.2给定一个随机采样相机视角，将步骤2.1二次训练后神经辐射场模型的输出采用体渲染技术，渲染成一张带有纹理特性的图像；
13、2.3构建扩散模型及其输出约束条件，然后对扩散模型进行训练；
14、作为优选，步骤2.3具体是：所述扩散模型采用带有自注意力机制的u-net去噪模型；所述带有自注意力机制的u-net去噪模型包括u-net基础网络和transformer网络；
15、将步骤2.2得到的带有纹理特性的图像进行加噪处理，得到加噪图片；
16、将小样本二维rgb图像的样本类别作为知识辅助输入至transformer网络，transformer网络输出对应的注意力权重；
17、u-net基础网络接受加噪图片和transformer网络输出的注意力权重，去噪过程中，不断地用注意力权重注入知识辅助里面的语义向量，实现语义信息注入功能，得到预测噪声；
18、计算预测噪声和带有纹理特性的图像中加入的噪声之间的误差，根据误差通过反向传播更新带有自注意力机制的u-net去噪模型的网络参数。
19、所述扩散模型的输出约束条件具体是：
20、(1)基于扩散模型的语义约束
21、语义约束采用蒸馏损失函数lsds，其计算方法如下：
22、
23、其中φ代表带有自注意力机制的u-net去噪模型的网络参数，gθ代表二次训练后神经辐射场模型，w(t)代表权重，∈φ代表扩散模型，xt代表加噪图片，t代表信噪比，∈代表噪声，y代表小样本二维rgb图像的样本类别，x代表小样本二维rgb图像；θ表示二次训练后神经辐射场参数；
24、(2)纹理相似度约束
25、纹理相似度约束采用纹理损失函数lclip-c，其计算方法如下：
26、
27、其中代表语言-图像训练损失，x代表参考图片，gθ(β)代表扩散模型处理后的去噪图像，n表示大于阈值的数目；
28、(3)结构相似度约束
29、纹理相似度约束采用结构损失函数ldepth,其计算方法如下：
30、
31、其中d(βi)代表基准方向上的深度图，d代表经扩散模型处理后的去噪图像的深度图，cov代表卷积，var代表方差；
32、(4)将语义约束、纹理相似度约束、结构相似度约束汇总成扩散纹理约束，扩散纹理约束采用扩散纹理损失函数ltotal(φ,gθ),其计算方法如下：
33、ltotal(φ,gθ)＝ae-bxwsdslsds(φ,gθ)+wcliplclip-c(x,gθ(β))+wdepthldepth
34、其中ae-bx代表衰减指数函数，a代表衰减指数函数的幅度参数，b是衰减速率参数，wsds、wclip、wdepth分别是扩散模型语义约束、纹理相似度约束、结构相似度约束的权重系数；
35、利用扩散纹理约束反向传播，更新二次训练后的神经辐射场参数，从而完成目标的完整三维模型重建。
36、第二方面，本发明提供实现所述方法的小样本图像重建系统，包括二次训练后的神经辐射场和扩散模型。
37、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。
38、第四方面，本发明提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。
39、与现有技术相比，本发明的有益效果在于：
40、本发明提出了一种基于结合扩散纹理约束的神经辐射场的小样本图像重建方法。该方法分为两个阶段：在第一阶段，通过经典神经辐射场和基于有向距离场的体渲染实现目标的表面几何模型的重建；在第一阶段的基础上，第二阶段使用少量参考图像，并通过扩散纹理约束对重建结果进行优化。本发明提出的双阶段重构策略能一定程度上避免小样本情况下的过拟合问题。与现有的其他主流开源算法相比，本发明提出的方法基于仿真图像和模型类别的辅助，能够摆脱参考图片视角受限的问题，从而重构出完整的目标模型。另外，相较于其他主流开源算法，本发明的方法能够生成高保真的纹理，并具有可观的泛化性。
1.基于结合扩散纹理约束神经辐射场的小样本图像重建方法，其特征在于：包括以下步骤：
2.根据权利要求1所述方法，其特征在于步骤一具体是：
3.根据权利要求1所述方法，其特征在于步骤二具体是：
4.根据权利要求3所述方法，其特征在于所述扩散模型采用带有自注意力机制的u-net去噪模型。
5.根据权利要求4所述方法，其特征在于步骤2.3具体是：所述带有自注意力机制的u-net去噪模型包括u-net基础网络和transformer网络；
6.根据权利要求1所述方法，其特征在于：所述扩散模型的输出约束条件具体是：
7.实现权利要求1-6任一项所述方法的小样本图像重建系统，其特征在于：包括二次训练后的神经辐射场和扩散模型。
8.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-6中任一项所述的方法。
9.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-6中任一项所述的方法。
