本技术涉及图像处理，更具体地，涉及一种图像畸变矫正方法、电子设备、存储介质及芯片。
背景技术：
1、近年来，电子设备（例如手机或平板）的摄影功能已成为电子设备重要的功能之一。用户通过使用电子设备的广角镜头能够获得更大更多的现实场景信息，但是由于受到众多因素的影响，使得通过广角镜头拍摄的画面在成像过程中会发生一定程度的畸变，从而得到的图像畸变问题变得越来越显著，不符合人眼视觉，导致用户体验差。
2、畸变是对直线投影的一种偏移，即现实场景中的一条直线投影到图像上也应保持为一条直线，但是由于畸变的存在使得该一条直线投影到图像上不能保持为一条直线，即现实场景中的一条直线在图像中呈现为发生了不自然的变形或扭曲的曲线。例如，对于具有广角镜头的手机，能获取较大视场的图像，但也容易引入显著的图像畸变，比如所拍摄图像中位于图像外侧（即视场角度较大）的人像会呈现更大的变形失真。
3、因此，如何使得图像更符合实际情况成为亟需解决的问题。
技术实现思路
1、本技术提供了一种图像畸变矫正方法、电子设备、存储介质及芯片，使得电子设备拍摄得到的图像更符合实际情况，提升用户体验。
2、第一方面，本技术提供了一种图像畸变矫正方法，该方法包括：获取畸变图像和畸变图像的初始网格图像，其中，初始网格图像是根据畸变图像得到的网格图像；通过去畸变模型对畸变图像进行特征提取处理，得到畸变图像的特征数据；通过去畸变模型采用畸变图像的特征数据对初始网格图像进行解码处理，得到畸变图像的畸变矫正网格图像；通过去畸变模型采用畸变矫正网格图像对畸变图像进行矫正处理，得到畸变矫正图像。
3、图像畸变矫正方法可以应用于设置有去畸变模型的电子设备中。
4、畸变图像是指存在畸变的图像，对畸变图像包括的内容不作具体限定。例如，畸变图像可以包括至少一个拍摄对象，至少一个拍摄对象可以但不限是人物，动物或者建筑物等。
5、畸变矫正图像是对畸变图像进行畸变矫正处理后得到的图像，畸变矫正图像可以理解为是不存在畸变的图像。
6、去畸变模型可以理解为是通过训练得到的神经网络模型。
7、在上述技术方案中，电子设备利用去畸变模型对存在畸变的畸变图像进行特征提取得到畸变图像的特征数据。之后，电子设备利用去畸变模型对畸变图像的特征数据和畸变图像的初始网格图像进行解码处理得到畸变矫正网格图像，由于该畸变矫正网格图像是基于畸变图像的特征数据对初始网格图像进行矫正后的网格图像，所以该畸变矫正网格图像更加符合实际情况。此后，电子设备通过去畸变模型采用该畸变矫正网格图像对畸变图像进行矫正处理，得到的畸变矫正图像的也更加符合实际真实情况，以及符合人眼的美学，从而提升用户体验。
8、在一种可能的实现方式中，初始网格图像是对畸变图像进行网格化处理得到的网格图像。
9、对基于畸变图像得到初始网格图像的获取方法不作具体限定，例如可以基于相关技术中的方法对畸变图像处理以得到初始网格图像。
10、在上述技术方案中，电子设备获取的初始网格图像是直接对畸变图像进行网格化处理得到的网格图像，实现过程较为简单。
11、在另一种可能的实现方式中，初始网格图像是对初始畸变矫正图像进行网格化处理得到的网格图像，其中，初始畸变矫正图像是对畸变图像执行预设畸变矫正处理后得到的图像。
12、初始畸变矫正图像的畸变程度小于畸变图像的畸变程度。
13、预设畸变矫正处理可以理解为是相关技术中的畸变矫正方法，在本技术实施例中对相关技术中的畸变矫正方法不作具体限定。例如，相关技术中的畸变矫正方法可以但不限于是张正友相机标定方法等。
14、在上述技术方案中，初始网格图像是对畸变程度较小的初始畸变矫正图像进行处理得到的网格图像，之后，电子设备利用去畸变模型对畸变程度较小的初始网格图像和畸变图像进行处理，可以降低电子设备的计算量和使得去畸变模型快速收敛，从而提高图像畸变矫正的效率，更好的提升用户体验。
15、在另一种可能的实现方式中，畸变图像包括n个第一像素点，畸变矫正网格图像包括n个第二像素点，其中，n个第二像素点和n个第一像素点一一对应，n为正整数；通过去畸变模型采用畸变矫正网格图像对畸变图像进行矫正处理，得到畸变矫正图像，包括：通过去畸变模型，采用每个第二像素点的坐标值对对应的每个第一像素点的坐标值更新，以得到畸变矫正图像。
16、畸变图像包括的第一像素点的数量与畸变矫正网格图像包括的第二像素点的数量相同，可以理解为，畸变图像的尺寸和畸变矫正网格图像的尺寸相同。例如，畸变图像是（单位:像素）大小的图像，畸变矫正网格图像是（单位:像素）大小的网格图像。
17、可选的，畸变图像包括的第一像素点的数量可以大于n，畸变矫正网格图像包括的第二像素点的数据等于n，这种实现方式中，畸变图像包括的第一像素点的数量大于畸变矫正网格图像包括的第二像素点的数量，可以理解为，畸变图像的尺寸大于畸变矫正网格图像的尺寸。例如，畸变图像是（单位:像素）大小的图像，畸变矫正网格图像是（单位:像素）大小的图像。为便于描述，将这种实现方式中的畸变图像包括的第一像素点的数量记为h，此时，上述n个第一像素点是h个第一像素点中的n个第一像素点，h为大于n的正整数。
18、在上述技术方案中，电子设备利用畸变矫正处理后得到的畸变矫正网格图像对畸变图像进行矫正处理，可以有效去除畸变图像中的畸变，使得得到的畸变矫正图像更加符合实际真实情况，以及符合人眼的美学，从而提升用户体验。
19、在另一种可能的实现方式中，第二像素点的坐标值是对第二像素点关联的畸变矫正网格图像中的多个像素点的坐标值进行插值处理得到的。
20、对上述插值算法不作具体限定，可以根据需求或场景进行选取。例如插值算法可以但不限于是双线性内插值法或灰度插值法等。
21、在另一种可能的实现方式中，获取畸变图像，包括：对获取到的初始畸变图像进行缩放处理，得到畸变图像，其中，畸变图像的尺寸小于初始畸变图像的尺寸。
22、畸变图像保留了初始畸变图像的特征，且畸变图像的数据量小于初始畸变图像的数据量。例如，初始畸变图像是（单位:像素）大小的图像，畸变图像是（单位:像素）大小的图像。
23、对电子设备对初始畸变图像进行缩放处理的方法不作具体限定。例如，电子设备可以通过卷积神经网格对初始畸变图像进行缩放处理，其中，卷积神经网络和去畸变模型可以但不限于是两个独立模型。例如，电子设备还可以利用除去卷积神经网络以外的其他算法执行缩放处理。
24、在上述技术方案中，电子设备通过去畸变模型对数据量较小的畸变图像和该畸变图像的初始网格图像处理，可以降低计算量和使得去畸变模型快速收敛，从而提高图像畸变矫正的效率，更好的提升用户体验。
25、在另一种可能的实现方式中，在通过去畸变模型对畸变图像进行特征提取处理，得到畸变图像的特征数据之前，该方法还包括：获取至少一个训练样本对，其中，至少一个训练样本对包括作为训练数据的训练畸变图像和训练畸变图像的第一网格图像，以及作为标签数据的标签图像，第一网格图像是根据训练畸变图像得到的网格图像，标签图像是基于训练畸变图像得到的不存在畸变的图像；通过初始去畸变模型对训练畸变图像进行特征提取处理，得到训练畸变图像的特征数据；通过初始去畸变模型采用训练畸变图像的特征数据对训练畸变图像的第一网格图像进行解码处理，得到训练畸变图像的第二网格图像；通过初始去畸变模型采用训练畸变图像的第二网格图像对训练畸变图像进行矫正处理，得到训练畸变图像对应的畸变矫正图像；根据训练畸变图像对应的畸变矫正图像和标签图像之间的差异，调整初始去畸变模型的参数，以得到去畸变模型。
26、标签图像是基于训练畸变图像得到的不存在畸变的图像，对获取标签图像的方法不作具体限定。例如，可以利用图像处理软件对训练畸变图像（存在畸变）进行去畸变处理，以得到符合实际情况和人眼美学的图像，并将该符合实际情况和人眼美学的图像作为标签图像。
27、在另一种可能的实现方式中，第一网格图像是对训练畸变图像进行网格化处理得到的网格图像。
28、在另一种可能的实现方式中，第一网格图像是对初始训练畸变矫正图像进行网格化处理得到的网格图像，其中，初始训练畸变矫正图像是对训练畸变图像执行预设畸变矫正处理后得到的图像。
29、在另一种可能的实现方式中，初始去畸变模型包括初始编码器，初始解码器和输出层，以及；通过初始去畸变模型对训练畸变图像进行特征提取处理，得到训练畸变图像的特征数据，包括：通过初始编码器对训练畸变图像进行特征提取处理，得到训练畸变图像的特征数据；通过初始去畸变模型采用训练畸变图像的特征数据对训练畸变图像的第一网格图像进行解码处理，得到训练畸变图像的第二网格图像，包括：通过解码器对训练畸变图像的特征数据和训练畸变图像的第一网格图像进行解码处理，得到训练畸变图像的第二网格图像；通过初始去畸变模型采用训练畸变图像的第二网格图像对训练畸变图像进行矫正处理，得到训练畸变图像对应的畸变矫正图像，包括：通过输出层采用训练畸变图像的第二网格图像对训练畸变图像进行矫正处理，得到训练畸变图像对应的畸变矫正图像；根据训练畸变图像对应的畸变矫正图像和标签图像之间的差异，调整初始编码器的参数和初始解码器的参数，以得到去畸变模型。
30、在另一种可能的实现方式中，去畸变模型是生成式模型中的转换器模型。
31、去畸变模型是一种生成式模型，具体的，去畸变模型是转换器（transformer）模型。
32、上述技术方案中，去畸变模型是一种生成式模型，即该去畸变模型的核心思想是学习数据的分布，然后生成与实际数据相似的新数据（例如，如果我们有一堆猫的图片，生成式模型的目标是学习这些图片的特点，并生成新的猫的图片）。这种生成式模型的模型鲁棒性高，基于深度学习得到的该去畸变模型对畸变图像进行畸变矫正得到的畸变矫正图像更加符合实际真实情况，以及符合人眼的美学，从而提升用户体验。
33、在另一种可能的实现方式中，去畸变模型包括解码器，编码器和输出层，以及；通过去畸变模型对畸变图像进行特征提取处理，得到畸变图像的特征数据，包括：通过编码器对畸变图像进行特征提取处理，得到畸变图像的特征数据；通过去畸变模型采用畸变图像的特征数据对初始网格图像进行解码处理，得到畸变图像的畸变矫正网格图像，包括：通过解码器采用畸变图像的特征数据对初始网格图像进行解码处理，得到畸变矫正网格图像；通过去畸变模型采用畸变矫正网格图像对畸变图像进行矫正处理，得到畸变矫正图像，包括：通过输出层采用畸变矫正网格图像对畸变图像进行矫正处理，得到畸变矫正图像。
34、在另一种可能的实现方式中，应用于包括摄像头的电子设备，获取畸变图像，包括：显示拍摄界面；响应于针对拍摄界面的拍摄操作，通过摄像头获取畸变图像；在通过去畸变模型采用畸变矫正网格图像对畸变图像进行矫正处理，得到畸变矫正图像之后，方法还包括：显示包括畸变矫正图像的界面。
35、在上述技术方案中，电子设备通过摄像头获取畸变图像后，电子设备在后台自动地对该畸变图像执行图像畸变矫正处理，之后，电子设备自动地将得到的更符合实际真实情况和符合人眼的美学的畸变矫正图像呈现给用户，可以提升用户体验。
36、在另一种可能的实现方式中，应用于包括图库应用的电子设备，获取畸变图像，包括：显示图库应用的界面；响应于针对图库应用的界面中的畸变图像的选择操作，获取畸变图像；在通过去畸变模型采用畸变矫正网格图像对畸变图像进行矫正处理，得到畸变矫正图像之后，方法还包括：显示包括畸变矫正图像的界面。
37、可选的，上述图库应用还可以替换为电子设备中可以调用打开图像的其他应用。例如，该其他应用可以但不限于为聊天应用或图像编辑应用等。
38、在上述技术方案中，用户可以根据自身需求触发电子设备对该电子设备的图库应用中预先存储的图像执行畸变矫正处理，之后，电子设备自动地将得到的更符合实际真实情况和符合人眼的美学的畸变矫正图像呈现给用户，可以提升用户体验。
39、第二方面，本技术提供一种图像畸变矫正装置，该图像畸变矫正装置包括处理单元，该处理单元用于执行第一方面中任一种图像畸变矫正方法。
40、第三方面，本技术提供了一种电子设备，包括用于执行第一方面中任一种图像畸变矫正方法的单元。该电子设备可以是终端设备，也可以是终端设备内的芯片。该电子设备可以包括输入单元和处理单元。
41、当该电子设备是终端设备时，该处理单元可以是处理器，该输入单元可以是通信接口；该终端设备还可以包括存储器，该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该终端设备执行第一方面中的任一种图像畸变矫正方法。
42、当该电子设备是终端设备内的芯片时，该处理单元可以是芯片内部的处理单元，该输入单元可以是输出接口、管脚或电路等；该芯片还可以包括存储器，该存储器可以是该芯片内的存储器（例如，寄存器、缓存等），也可以是位于该芯片外部的存储器（例如，只读存储器、随机存取存储器等）；该存储器用于存储计算机程序代码，当该处理器执行该存储器所存储的计算机程序代码时，使得该芯片执行第一方面中的任一种图像畸变矫正方法。
43、在一种可能的实现方式中，存储器用于存储计算机程序代码；处理器，处理器执行该存储器所存储的计算机程序代码，当该存储器存储的计算机程序代码被执行时，该处理器用于执行第一方面中的任一种图像畸变矫正方法。
44、第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种图像畸变矫正方法。
45、第五方面，本技术提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面中的任一种图像畸变矫正方法。
46、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
47、应理解，本技术中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
1.一种图像畸变矫正方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述初始网格图像是对所述畸变图像进行网格化处理得到的网格图像。
3.根据权利要求1所述的方法，其特征在于，所述初始网格图像是对初始畸变矫正图像进行网格化处理得到的网格图像，其中，所述初始畸变矫正图像是对所述畸变图像执行预设畸变矫正处理后得到的图像。
4.根据权利要求1或2所述的方法，其特征在于，所述畸变图像包括n个第一像素点，所述畸变矫正网格图像包括n个第二像素点，其中，所述n个第二像素点和所述n个第一像素点一一对应，n为正整数；
5.根据权利要求4所述的方法，其特征在于，
6.根据权利要求1或2所述的方法，其特征在于，所述获取畸变图像，包括：
7.根据权利要求1或2所述的方法，其特征在于，在所述通过去畸变模型对所述畸变图像进行特征提取处理，得到所述畸变图像的特征数据之前，所述方法还包括：
8.根据权利要求1或2所述的方法，其特征在于，所述去畸变模型是生成式模型中的转换器模型。
9.根据权利要求1或2所述的方法，其特征在于，所述去畸变模型包括解码器，编码器和输出层，以及；
10.根据权利要求1或2所述的方法，其特征在于，应用于包括摄像头的电子设备，
11.根据权利要求1或2所述的方法，其特征在于，应用于包括图库应用的电子设备，
12.一种电子设备，其特征在于，包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序，当所述一个或多个处理器执行所述计算机程序时，使得所述电子设备执行如权利要求1至11任一项所述的方法。
13.一种芯片，所述芯片应用于电子设备，所述芯片包括一个或多个处理器，其特征在于，所述处理器用于调用计算机指令，以使得所述电子设备执行如权利要求1至11中任一项所述的方法。
14.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至11任一项所述的方法。
