以下描述涉及图像处理的方法和装置。
背景技术：
1、三维(3d)渲染在图像处理中将3d场景渲染成二维(2d)图像。可以在这样的图像处理中训练和使用神经网络。
技术实现思路
1、提供本
技术实现要素：
以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。
2、在一个总体方面，一种处理器实现的方法包括：通过基于第一变化数据变形第一时间点的第一重建图像帧，生成变形图像帧，其中第一变化数据对应于第一时间点的第一渲染图像帧与不同于第一时间点的第二时间点的第二渲染图像帧之间的变化；基于第二渲染图像帧和变形图像帧使用神经重建模型，生成对第二时间点的第二重建图像帧和第二重建图像帧的像素的置信分数加以表示的置信图；以及通过基于置信图对第三时间点的第三渲染图像帧的多个像素中的每个像素进行光线追踪，生成第三渲染图像帧，其中第三时间点不同于第一时间点和第二时间点。
3、生成第三渲染图像帧可以包括：通过基于第二变化数据变形置信图来生成变形图，第二变化数据表示第二渲染图像帧与第三渲染图像帧之间的变化；基于变形图使用神经采样图生成模型来生成采样图，该采样图指定第三渲染图像帧的每个像素的相应采样数；以及通过根据采样图的相应采样数执行光线追踪以生成第三渲染图像帧的每个像素，来渲染第三渲染图像帧。
4、变形图可以包括第三渲染图像帧的每个像素的相应置信分数。
5、神经采样图生成模型可以基于变形图的相应置信分数来指定第三渲染图像帧的每个像素的相应采样数。
6、变形图可以包括与第三渲染图像帧的第一像素相对应的第一置信分数以及与第三渲染图像帧的第二像素相对应的第二置信分数，并且其中使用神经采样图生成模型可以包括：在第一置信分数小于第二置信分数的情况下，神经采样图生成模型为第一像素分配相应采样数中的第一采样数，第一采样数大于相应采样数中的由神经采样图生成模型为第二像素分配的第二采样数。
7、例如，相应采样数的最大值或平均值可以受到预设阈值的限制。
8、使用神经采样图生成模型生成采样图可以包括：向神经采样图生成模型输入与第三渲染图像帧相对应的附加信息，附加信息包括深度图、法线图和反照率图中的至少一部分。
9、第一变化数据可以包括第一渲染图像帧与第二渲染图像帧之间的对应像素的运动矢量。
10、神经重建模型可以包括神经自动编码器，该神经自动编码器包括神经编码器和神经解码器。
11、神经重建模型通过以下操作来确定与输入到神经重建模型的图像帧相比具有更少伪影和更高分辨率的输出图像帧：基于针对所输入的图像帧的去噪和超采样，重建图像帧。
12、第一重建图像帧可以是通过基于第一渲染图像帧使用神经重建模型来生成的。
13、例如，一种存储指令的非暂时性计算机可读存储介质，该指令在由处理器执行时使处理器执行上述方法。
14、在另一个总体方面，一种计算装置包括：处理器，被配置为执行指令；以及存储器，存储指令，其中，所述处理器对所述指令的执行将所述处理器配置为：通过基于第一变化数据变形第一时间点的第一重建图像帧，生成变形图像帧，其中第一变化数据表示第一时间点的第一渲染图像帧与不同于第一时间点的第二时间点的第二渲染图像帧之间的变化；基于第二渲染图像帧和变形图像帧使用神经重建模型，生成对第二时间点的第二重建图像帧和第二重建图像帧的像素的置信分数加以表示的置信图；以及通过基于置信图对第三时间点的第三渲染图像帧的多个像素中的每个像素进行光线追踪，生成第三渲染图像帧，其中第三时间点不同于第一时间点和第二时间点。
15、为了生成第三渲染图像帧，处理器可以被配置为：通过基于第二变化数据变形置信图来生成变形图，第二变化数据表示第二渲染图像帧与第三渲染图像帧之间的变化；基于变形图使用神经采样图生成模型来生成采样图，该采样图指定第三渲染图像帧的每个像素的相应采样数；以及通过根据采样图的相应采样数针对第三渲染图像帧的每个像素执行光线追踪，来渲染第三渲染图像帧。
16、变形图可以包括与第三渲染图像帧的每个像素相对应的相应置信分数，并且其中，神经采样图生成模型可以基于变形图的相应置信分数来指定第三渲染图像帧的每个像素的相应采样数。
17、变形图可以包括与第三渲染图像帧的第一像素相对应的第一置信分数以及与第三渲染图像帧的第二像素相对应的第二置信分数，并且使用神经采样图生成模型可以包括：在第一置信分数小于第二置信分数的情况下，神经采样图生成模型为第一像素分配相应采样数中的第一采样数，第一采样数大于相应采样数中的由神经采样图生成模型为第二像素分配的第二采样数。
18、在该装置中，相应采样数的最大值或平均值可以受到预设阈值的限制。
19、在另一个总体方面，一种电子设备包括：处理器，被配置为：通过基于第一变化数据变形第一时间点的第一重建图像帧，生成变形图像帧，其中第一变化数据表示第一时间点的第一渲染图像帧与不同于第一时间点的第二时间点的第二渲染图像帧之间的变化；基于第二渲染图像帧和变形图像帧使用神经重建模型，生成对第二时间点的第二重建图像帧和第二重建图像帧的像素的置信分数加以表示的置信图；通过基于第二变化数据变形置信图来生成变形图，第二变化数据对应于第二渲染图像帧与第三时间点的第三渲染图像帧之间的变化，第三时间点不同于第一时间点和第二时间点；基于变形图使用神经采样图生成模型来生成采样图，采样图指定第三渲染图像帧的多个像素的每个像素的相应采样数；以及根据采样图的相应采样数对第三渲染图像帧的多个像素中的每个像素执行相应的一个或多个光线追踪，来渲染第三渲染图像帧。
20、变形图可以包括与第三渲染图像帧的多个像素的每个像素相对应的相应置信分数，并且其中，神经采样图生成模型基于变形图的相应置信分数来指定相应采样数。
21、该电子设备还可以包括：显示器，被配置为根据第一重建图像帧和第二重建图像帧显示输出图像，其中，变形图可以包括与第三渲染图像帧的第一像素相对应的第一置信分数以及与第三渲染图像帧的第二像素相对应的第二置信分数，并且其中使用神经采样图生成模型可以包括：在第一置信分数小于第二置信分数的情况下，神经采样图生成模型为第一像素分配相应采样数中的第一采样数，第一采样数大于相应采样数中的由神经采样图生成模型为第二像素分配的第二采样数。
22、其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。
1.一种处理器实现的方法，包括：
2.根据权利要求1所述的方法，其中，生成所述第三渲染图像帧包括：
3.根据权利要求2所述的方法，其中，所述变形图包括所述第三渲染图像帧的每个像素的相应置信分数。
4.根据权利要求3所述的方法，其中，所述神经采样图生成模型基于所述变形图的所述相应置信分数来指定所述第三渲染图像帧的每个像素的所述相应采样数。
5.根据权利要求3所述的方法，
6.根据权利要求2所述的方法，其中，所述相应采样数的最大值或平均值受到预设阈值的限制。
7.根据权利要求2所述的方法，其中，使用所述神经采样图生成模型生成所述采样图包括：
8.根据权利要求1所述的方法，其中，所述第一变化数据包括所述第一渲染图像帧与所述第二渲染图像帧之间的对应像素的运动矢量。
9.根据权利要求1所述的方法，其中，所述神经重建模型包括神经自动编码器，所述神经自动编码器包括神经编码器和神经解码器。
10.根据权利要求1所述的方法，其中，所述神经重建模型通过以下操作来确定与输入到所述神经重建模型的图像帧相比具有更少伪影和更高分辨率的输出图像帧：基于针对所输入的图像帧的去噪和超采样，重建所述图像帧。
11.根据权利要求1所述的方法，其中，所述第一重建图像帧是通过基于所述第一渲染图像帧使用所述神经重建模型来生成的。
12.一种存储指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使所述处理器执行权利要求1所述的方法。
13.一种计算装置，包括：
14.根据权利要求13所述的计算装置，其中，为了生成所述第三渲染图像帧，所述处理器被配置为：
15.根据权利要求14所述的计算装置，
16.根据权利要求15所述的计算装置，
17.根据权利要求14所述的计算装置，其中，所述相应采样数的最大值或平均值受到预设阈值的限制。
18.一种电子设备，包括：
19.根据权利要求18所述的电子设备，
20.根据权利要求19所述的电子设备，还包括显示器，所述显示器被配置为根据所述第一重建图像帧和所述第二重建图像帧显示输出图像，
