全景图像处理方法及装置、设备、存储介质与流程

专利2025-05-01  14


本技术实施例涉及图像处理,涉及但不限于一种全景图像处理方法及装置、设备、存储介质。


背景技术:

1、全景图像是通过相机拍摄的一种特殊照片形式,旨在呈现一个广阔场景的完整画面。全景图由多个图像帧拼接而成,在全景图像的拍摄过程中,用户移动相机以覆盖整个场景,相机会拍摄多个照片,然后,将这些图像无缝地拼接在一起,形成一个连续的全景图。

2、在相关技术领域中,拼接处理多个图像帧的全景图像时,需要消耗大量的计算资源和时间,这在很大程度上限制了算法在实时或大规模场景下的应用。此外,如果过于追求效率而忽视对各个图像帧的校正,可能会导致相邻图像重叠区域的过渡效果不自然,甚至出现明显的拼接痕迹。


技术实现思路

1、有鉴于此,本技术实施例提供的全景图像处理方法及装置、设备、存储介质,能够根据各个图像帧的相机参数对各个图像帧进行畸变校正,实现更自然的全景图像拼接。本技术实施例提供的全景图像处理方法及装置、设备、存储介质是这样实现的:

2、本技术实施例提供的全景图像处理方法,所述方法应用于电子设备,所述电子设备设置有摄像头,所述方法包括:

3、通过所述摄像头,获取待采集场景的多个图像帧,各个图像帧包含所述待采集场景的至少部分场景信息;

4、获取所述各个图像帧对应的图像特征点;

5、根据所述各个图像帧对应的图像特征点获得各个图像帧中任意两个图像帧之间的配准参数;

6、在所述各个图像帧中获得基准图像帧以及所述基准图像帧的相机参数,根据所述基准图像帧的相机参数以及所述配准参数,获得所述各个图像帧对应的相机参数;

7、根据所述各个图像帧对应的相机参数对所述各个图像帧进行畸变矫正,将进行畸变矫正后的各个图像帧进行拼接获得所述待采集场景的全景图像。

8、在一些实施例中,任意两个图像帧之间的配准参数为任意两个图像帧之间的单应矩阵,所述根据所述各个图像帧对应的图像特征点获得各个图像帧中任意两个图像帧之间的配准参数,包括:

9、获得任意两个图像帧之间的内点,所述任意两个图像帧之间的内点为任意两个图像帧之间特征相似度大于预设相似度阈值的图像特征点;

10、若两个图像帧之间的内点数目大于预设阈值,根据两个图像帧之间的内点在两个图像帧中的投影坐标,获取两个图像帧之间的单应矩阵;

11、若两个图像帧之间的内点数目小于或等于预设阈值,设置两个图像帧之间的单应矩阵为空。

12、在一些实施例中,所述根据所述各个图像帧对应的相机参数对所述各个图像帧进行畸变矫正,将进行畸变矫正后的各个图像帧进行拼接获得所述待采集场景的全景图像,包括:

13、根据预设的光束平差算法和波形校正算法,对所述各个图像帧的相机参数进行优化处理;

14、根据所述各个图像帧的优化处理后的相机参数,对所述各个图像帧进行畸变矫正,得到畸变矫正后的各个图像帧;

15、获取畸变矫正后的各个图像帧之间的拼接缝;

16、根据预设的多波段融合算法和所述各个图像帧之间的拼接缝,对畸变矫正后的各个图像帧进行拼接处理,获得所述待采集场景的全景图像。

17、在一些实施例中,所述根据所述各个图像帧的优化处理后的相机参数,对所述各个图像帧进行畸变矫正,得到畸变矫正后的各个图像帧,包括:

18、根据所述各个图像帧的优化处理后的相机参数,对所述各个图像帧进行球面投影处理,得到畸变矫正后的各个图像帧。

19、在一些实施例中,所述将进行畸变矫正后的各个图像帧进行拼接获得所述待采集场景的全景图像,包括:

20、根据不同图像帧之间的内点数,构建加权无向图,所述加权无向图中的每一个节点对应所述多个图像帧中的一个图像帧,所述加权无向图中任意两个节点之间边的权重为两个节点对应的两个图像帧之间的内点数;

21、根据预设的最大生成树算法,获取所述加权无向图中的最大生成树从而得到多个图像帧的拼接顺序;

22、根据所述多个图像帧的拼接顺序,将进行畸变矫正后的各个图像帧,进行拼接获得所述待采集场景的全景图像。

23、在一些实施例中,所述在所述各个图像帧中获得基准图像帧以及所述基准图像帧的相机参数,根据所述基准图像帧的相机参数以及所述配准参数,获得所述各个图像帧对应的相机参数,包括:

24、依次以所述最大生成树中各个节点作为根节点,根据预设的广度优先算法,获取在以各个节点作为根节点的情况下,各个节点对应的广度搜索树的深度数值;

25、选取深度数值最大的节点对应的图像帧为所述基准图像帧,将所述基准图像帧的相机坐标系作为基准相机坐标系,所述基准相机坐标系的平面方向与世界坐标系的平面方向一致;

26、获取所述摄像头的焦距;

27、在所述基准图像帧为根节点的目标广度搜索树中,根据所述基准图像帧对应的基准相机坐标系、所述摄像头的焦距、以及所述目标广度搜索树中相邻节点对应的图像帧之间的单应矩阵,获取除所述基准图像帧外的其他图像帧的相机坐标系从而获得所述各个图像帧对应的相机参数。

28、在一些实施例中,所述获取所述摄像头的焦距,包括:

29、获取所述多个图像帧中,内点数大于预设阈值的两个目标图像帧;

30、获取所述两个目标图像帧间的目标旋转矩阵;

31、根据所述两个目标图像帧的单应矩阵、所述目标旋转矩阵和预设的相机内参数求解公式,获取所述摄像头的焦距;

32、所述相机内参数求解公式为:

33、h=k*r*k-1,

34、其中,h为所述两个目标图像帧的单应矩阵,r为所述目标旋转矩阵,k为所述摄像头的相机内参数的矩阵表示。

35、本技术实施例提供的全景图像处理装置,所述装置设置有摄像头,包括:

36、图像采集模块,用于通过所述摄像头,获取待采集场景的多个图像帧,各个图像帧包含所述待采集场景的至少部分场景信息;

37、参数获取模块,用于获取所述各个图像帧对应的图像特征点;根据所述各个图像帧对应的图像特征点获得各个图像帧中任意两个图像帧之间的配准参数;在所述各个图像帧中获得基准图像帧以及所述基准图像帧的相机参数,根据所述基准图像帧的相机参数以及所述配准参数,获得所述各个图像帧对应的相机参数;

38、图像拼接模块,用于根据所述各个图像帧对应的相机参数对所述各个图像帧进行畸变矫正,将进行畸变矫正后的各个图像帧进行拼接获得所述待采集场景的全景图像。

39、本技术实施例提供的计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本技术实施例所述的方法。

40、本技术实施例提供的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本技术实施例提供的所述的方法。

41、本技术实施例所提供的全景图像处理方法、装置、计算机设备和计算机可读存储介质,有益效果至少包括:在各个图像帧中获取基准图像帧,以基准图像帧的相机参数和任意两个图像帧之间的配准参数,获取各个图像帧对应的相机参数,能够提高各个图像帧的相机参数的一致性,进而提高后续根据各个图像帧对应的相机参数对各个图像帧进行畸变校正的准确性。此外,相机参数对各个图像帧进行畸变校正,相较于相关领域中依赖视觉算法如根据色彩、亮度差异等进行校正,运算量小,提高了全景图拼接的效率。同时通过对经过畸变校正处理后的图像帧进行拼接,得到的全景图能够呈现更自然的效果,提高全景图像的质量并提高用户观感。


技术特征:

1.一种全景图像处理方法,其特征在于,所述方法应用于电子设备,所述电子设备设置有摄像头,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,任意两个图像帧之间的配准参数为任意两个图像帧之间的单应矩阵,所述根据所述各个图像帧对应的图像特征点获得各个图像帧中任意两个图像帧之间的配准参数,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述各个图像帧对应的相机参数对所述各个图像帧进行畸变矫正,将进行畸变矫正后的各个图像帧进行拼接获得所述待采集场景的全景图像,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述各个图像帧的优化处理后的相机参数,对所述各个图像帧进行畸变矫正,得到畸变矫正后的各个图像帧,包括:

5.根据权利要求2所述的方法,其特征在于,所述将进行畸变矫正后的各个图像帧进行拼接获得所述待采集场景的全景图像,包括:

6.根据权利要求5所述的方法,其特征在于,所述在所述各个图像帧中获得基准图像帧以及所述基准图像帧的相机参数,根据所述基准图像帧的相机参数以及所述配准参数,获得所述各个图像帧对应的相机参数,包括:

7.根据权利要求6所述的方法,其特征在于,所述获取所述摄像头的焦距,包括:

8.一种全景图像处理装置,其特征在于,所述装置设置有摄像头,包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。


技术总结
本申请实施例公开了一种全景图像处理方法及装置、设备、存储介质,所述方法应用于设置有摄像头的电子设备,包括:通过摄像头,获取待采集场景的多个图像帧;获取各个图像帧对应的图像特征点;根据各个图像帧对应图像特征点获得各个图像帧中任意两个图像帧之间的配准参数;在各个图像帧中获得基准图像帧以及基准图像帧的相机参数,根据基准图像帧的相机参数和配准参数,获得各个图像帧对应的相机参数;根据各个图像帧对应的相机参数对各个图像帧进行畸变矫正,将进行畸变矫正后的各个图像帧进行拼接获得待采集场景的全景图像。能够根据各个图像帧的相机参数对各个图像帧进行畸变校正,实现更自然的全景图像拼接,提高图像的质量并提升用户观感。

技术研发人员:席浩
受保护的技术使用者:闻泰通讯股份有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1819428.html

最新回复(0)