本技术实施例涉及计算机视觉，尤其涉及一种多相机系统的外参标定方法和装置。
背景技术：
1、多相机系统可应用在3维(3d)重建、运动捕捉、多视点视频等应用中，多相机系统包括至少两个相机(或者称为摄像头)，例如常见的双摄系统，双摄系统因其具备更宽阔的视场角、更优质的暗光画质以及多一维深度信息的获取能力，已被广泛应用于手机的拍照、扩展现实(extended reality，xr)设备的空间感知，xr是虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)和混合现实(mixed reality，mr)等多种技术的统称。
2、目前多相机系统的外参标定方式有很多，例如通过2d-2d约束的对极几何方法、3d-2d的透视n点(perspective-n-point，pnp)方法、3d-3d的迭代最近点(iterativeclosest point，icp)方法等，这几种方法都有较强的约束性，需要多个相机之间必须满足共视条件。共视是指多个相机观察到相同的特征点，利用共视特征点进行标定。
3、但是，在很多的使用场景下，多个相机之间为若共视，弱共视指代共视少特征点少或共视数据质量差，但对相机的外参有较高的需求。若使用传统的标定方法，则存在以下几点问题：由于多个相机是弱共视状态，因此各相机采集的数据质量较差，较难提取出高精度点云数据；由于用于外参计算的数据量较少，因此计算的结果较难收敛到精确解，从而导致外参标定结果不准确。
技术实现思路
1、本技术实施例提供一种多相机系统的外参标定方法和装置，该方法基于相机运动过程中的空间关系和时间关系，构建相机的总残差，以总残差为目标进行优化得到相机外参，从而使得相机的外参标定更加准确。
2、第一方面，本技术实施例提供一种多相机系统的外参标定方法，包括：
3、通过相机采集对应的标定板在多个时刻的图像，所述相机在所述多个时刻的位置变化，所述多相机系统包括两个相机，每个相机对应一个标定板；
4、根据所述图像获取所述标定板上的各角点在各时刻的像素坐标的观测值；
5、根据各时刻所述两个相机和所述两个标定板的位姿的空间关系，确定所述标定板上的各角点在各时刻的像素坐标的第一估计值，根据所述标定板上各角点的像素坐标的观测值与第一估计值，确定所述相机在各时刻的第一残差；
6、根据各时刻所述两个相机和所述两个标定板的位姿的空间关系和时间关系，确定所述标定板上的各角点在各时刻的像素坐标的第二估计值，根据所述标定板上各角点的像素坐标的观测值与第二估计值，确定所述相机在各时刻的第二残差，所述时间关系包括所述相机在任意两个时刻之间的位姿变化；
7、根据所述两个相机在各时刻的第一残差和第二残差得到总残差；
8、以所述总残差为目标进行优化，求解得到所述两个相机的外参。
9、在一些实施例中，所述根据各时刻所述两个相机和所述两个标定板的位姿的空间关系，确定所述标定板上的各角点在各时刻的像素坐标的第一估计值，包括：
10、根据各时刻所述相机与对应的标定板之间的相对位姿、所述两个标定板之间的相对位姿、所述两个相机之间的相对位姿和所述标定板上各角点的三维坐标，确定所述标定板上的各角点在各时刻的像素坐标的第一估计值。
11、在一些实施例中，所述第二估计值包括第二子估计值和/或第三子估计值，所述第二残差包括所述第二子残差和/或所述第三子残差；
12、所述根据各时刻所述两个相机和所述两个标定板的位姿的空间关系和时间关系，确定所述标定板上的各角点在各时刻的像素坐标的第二估计值，包括：
13、根据各时刻所述相机与标定板之间的相对位姿和任意两个时刻所述相机的位姿变化，确定所述标定板上的各角点在各时刻的像素坐标的第二子估计值；
14、根据各时刻另一个相机与对应的标定板之间的相对位姿、所述两个标定板之间的相对位姿、所述两个相机之间的相对位姿和任意两个时刻所述相机的位姿变化，确定所述标定板上的各角点在各时刻的像素坐标的第三子估计值；
15、所述根据所述标定板上各角点的像素坐标的观测值与第二估计值，确定所述相机在各时刻的第二残差，包括：
16、根据所述标定板上各角点的像素坐标的观测值与第二子估计值，确定所述相机在各时刻的第二子残差；
17、根据所述标定板上各角点的像素坐标的观测值与第三子估计值，确定所述相机在各时刻的第三子残差。
18、在一些实施例中，相机0在第i时刻的第一残差通过如下公式确定：
19、
20、其中，表示相机0对应的标定板的第n个角点的像素坐标的第一估计值，pn表示所述第n个角点的三维坐标，pn表示所述第n个角点的像素坐标的观测值，∏表示相机0的投影函数，δtp表示所述两个标定板之间的相对位姿，δtc表示所述两个相机之间的相对位姿，m1j表示第j时刻相机1与标定板的相对位姿。
21、在一些实施例中，相机1在第i时刻的第一残差通过如下公式确定：
22、
23、其中，表示相机1对应的标定板的第n个角点的像素坐标的第一估计值，pn表示所述第n个角点的三维坐标，pn表示所述第n个角点的像素坐标的观测值，∏表示相机1的投影函数，δtp表示所述两个标定板之间的相对位姿，δtc表示所述两个相机之间的相对位姿，表示第j时刻相机0与标定板的相对位姿。
24、在一些实施例中，相机0在第i时刻的第二子残差通过如下公式确定：
25、
26、其中，表示相机0对应的标定板的第n个角点的像素坐标的第二子估计值，pn表示所述第n个角点的三维坐标，pn表示所述第n个角点的像素坐标的观测值，∏表示相机0的投影函数，表示第i时刻相机0与标定板的相对位姿，表示相机0在第i时刻至第j时刻的位姿变化。
27、在一些实施例中，相机1在第i时刻的第二子残差通过如下公式确定：
28、
29、其中，表示相机1对应的标定板的第n个角点的像素坐标的第二子估计值，pn表示所述第n个角点的三维坐标，pn表示所述第n个角点的像素坐标的观测值，∏表示相机1的投影函数，表示第i时刻相机1与标定板的相对位姿，表示相机1在第i时刻至第j时刻的位姿变化。
30、在一些实施例中，相机0在第i时刻的第三子残差通过如下公式确定：
31、
32、其中，表示相机0对应的标定板的第n个角点的像素坐标的第三子估计值，pn表示所述第n个角点的三维坐标，pn表示所述第n个角点的像素坐标的观测值，∏表示相机0的投影函数，δtp表示所述两个标定板之间的相对位姿，δtc表示所述两个相机之间的相对位姿，表示相机0在第i时刻至第j时刻之间的位姿变化，表示第i时刻相机1与标定板的相对位姿。
33、在一些实施例中，相机1在第i时刻的第三子残差通过如下公式确定：
34、
35、其中，表示相机1对应的标定板的第n个角点的像素坐标的第三子估计值，pn表示所述第n个角点的三维坐标，pn表示所述第n个角点的像素坐标的观测值，∏表示相机1的投影函数，δtp表示所述两个标定板之间的相对位姿，δtc表示所述两个相机之间的相对位姿，表示相机1在第i时刻至第j时刻之间的位姿变化，表示第i时刻相机0与标定板的相对位姿。
36、在一些实施例中，所述根据两个相机在各时刻的第一残差和第二残差得到总残差，包括：
37、所述总残差通过如下公式计算：
38、
39、其中，表示相机0在第i时刻的第一残差，表示相机1在第i时刻的第一残差，表示相机0在第i时刻的第二子残差，表示相机1在第i时刻的第二子残差，表示相机0在第i时刻的第三子残差，表示相机1在第i时刻的第三子残差。
40、在一些实施例中，各时刻所述相机与标定板的相对位姿可以通过透视n点pnp算法求解得到。
41、在一些实施例中，任意两个时刻所述相机的位姿变化通过对极几何方法求解得到。
42、在一些实施例中，所述以所述总残差为目标进行优化，求解得到所述两个相机的外参，包括：
43、根据任意两个时刻所述两个相机与标定板的相对位姿，以及两个相机之间的相对位姿，确定所述相机的外参的初始值；
44、根据所述相机的外参的初始值，对所述总残差进行优化，求解得到所述总残差最小时对应的所述相机的外参。
45、在一些实施例中，所述根据任意两个时刻所述两个相机与标定板的相对位姿，以及两个相机之间的相对位姿，确定所述相机的外参的初始值，包括：
46、根据第i时刻和第j时刻所述两个相机与标定板的相对位姿，构建如下方程：
47、
48、将所述方程转换为ax＝xb形式，其中，x＝δtc，根据转换后的形式求解得到所述相机外参的初始值；
49、其中，δtp表示所述两个标定板之间的相对位姿，δtc表示所述两个相机之间的相对位姿，表示第i时刻相机1与标定板的相对位姿，表示第j时刻相机1与标定板的相对位姿，m0i表示第i时刻相机0与标定板的相对位姿，表示第j时刻相机0与标定板的相对位姿。
50、另一方面，本技术实施例提供一种多相机系统的外参标定装置，包括：
51、图像采集模块，用于通过相机采集对应的标定板在多个时刻的图像，所述相机在所述多个时刻的位置变化，所述多相机系统包括两个相机，每个相机对应一个标定板；
52、像素坐标确定模块，用于根据所述图像获取所述标定板上的各角点在各时刻的像素坐标的观测值；
53、残差确定模块，用于根据各时刻所述两个相机和所述两个标定板的位姿的空间关系，确定所述标定板上的各角点在各时刻的像素坐标的第一估计值，根据所述标定板上各角点的像素坐标的观测值与第一估计值，确定所述相机在各时刻的第一残差；
54、所述残差确定模块，还用于根据各时刻所述两个相机和所述两个标定板的位姿的空间关系和时间关系，确定所述标定板上的各角点在各时刻的像素坐标的第二估计值，根据所述标定板上各角点的像素坐标的观测值与第二估计值，确定所述相机在各时刻的第二残差，所述时间关系包括所述相机在任意两个时刻之间的位姿变化；
55、所述残差确定模块，还用于根据所述两个相机在各时刻的第一残差和第二残差得到总残差；
56、优化模块，用于以所述总残差为目标进行优化，求解得到所述两个相机的外参。
57、另一方面，本技术实施例提供一种电子设备，所述电子设备包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如上述任一项所述的方法。
58、另一方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序使得计算机执行如上述任一项所述的方法。
59、另一方面，本技术实施例提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的方法。
60、本技术实施例提供的多相机系统的外参标定方法和装置，在对多相机系统的外参标定时，为两个相机各设置一个标定板，根据相机采集的图像获取标定板上的各角点在各时刻的像素坐标的观测值，根据各时刻两个相机和两个标定板的位姿的空间关系，构建相机在各时刻的第一残差，并且根据各时刻两个相机和两个标定板的位姿的空间关系和时间关系，构建相机在各时刻的第二残差，该时间关系包括相机在任意两个时刻之间的位姿变化，然后，根据第一残差和第二残差构建总残差，以总残差为目标进行优化，求解得到两个相机的外参。该方法基于相机运动过程中的空间关系和时间关系，构建相机的总残差，以总残差为目标进行优化得到相机外参，从而使得相机的外参标定更加准确。
1.一种多相机系统的外参标定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据各时刻所述两个相机和所述两个标定板的位姿的空间关系，确定所述标定板上的各角点在各时刻的像素坐标的第一估计值，包括：
3.根据权利要求2所述的方法，其特征在于，所述第二估计值包括第二子估计值和/或第三子估计值，所述第二残差包括所述第二子残差和/或所述第三子残差；
4.根据权利要求2所述的方法，其特征在于，相机0在第i时刻的第一残差通过如下公式确定：
5.根据权利要求2所述的方法，其特征在于，相机1在第i时刻的第一残差通过如下公式确定：
6.根据权利要求3所述的方法，其特征在于，相机0在第i时刻的第二子残差通过如下公式确定：
7.根据权利要求3所述的方法，其特征在于，相机1在第i时刻的第二子残差通过如下公式确定：
8.根据权利要求3所述的方法，其特征在于，相机0在第i时刻的第三子残差通过如下公式确定：
9.根据权利要求3所述的方法，其特征在于，相机1在第i时刻的第三子残差通过如下公式确定：
10.根据权利要求3所述的方法，其特征在于，所述根据两个相机在各时刻的第一残差和第二残差得到总残差，包括：
11.根据权利要求2-10任一项所述的方法，其特征在于，各时刻所述相机与标定板的相对位姿可以通过透视n点pnp算法求解得到。
12.根据权利要求2-10任一项所述的方法，其特征在于，任意两个时刻所述相机的位姿变化通过对极几何方法求解得到。
13.根据权利要求1-10任一项所述的方法，其特征在于，所述以所述总残差为目标进行优化，求解得到所述两个相机的外参，包括：
14.根据权利要求13所述的方法，其特征在于，所述根据任意两个时刻所述两个相机与标定板的相对位姿，以及两个相机之间的相对位姿，确定所述相机的外参的初始值，包括：
15.一种多相机系统的外参标定装置，其特征在于，包括：
16.一种电子设备，其特征在于，包括：
17.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至14中任一项所述的方法。
18.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至14中任一项所述的方法。
