本发明属于海洋监测,具体涉及一种基于双目立体视觉的影像采集系统、海浪影像匹配方法。
背景技术:
1、海浪是在海洋中一种非常常见且至关重要的物理现象。对海浪波动参数的观测及分析在海洋科学研究和海洋工程建设等方面都是最为基础的工作。性能可靠、技术先进、方便高效的海浪观测装置都被人类急切地需要,
2、现阶段,海浪观测的方法种类繁多,依据测量方法的不同,可大致分为人工观察法、仪器测量法和遥感反演法三种。人工观察具有极大的主观性和误差。仪器测量法主要依托重力式、声学式、压力式等仪器设备,代表有海洋浮标、声学测波仪等,它们是目前最常用的手法,相对而言比较可靠,但都有观测不够灵活,精度一般,数据受天气影响较大,设备容易丢失等缺点。遥感反演法包括卫星遥感技术、雷达测波技术和立体摄影海浪测量技术。卫星遥感和雷达观测海浪的优点是不与海面直接接触,适合对宽阔海观测,缺点是测量精度较低,且系统价格比较昂贵。
3、立体摄影海浪测量技术是利用架设在岸边、海上平台或船上的两台非量测相机(称为双目立体视觉系统),一般是工业相机,同步采集海面影像对,利用上位计算机处理这些海面影像对,通过透镜成像原理和影像匹配,精确测量海面起伏的三维时空分布,并据此获取海浪方向谱。立体摄影海浪测量技术具有设备简单,成本较低,部署方便,测量精度高等优点。它可以精确测量微尺度波、海面白冠覆盖率、海表面流场。也可以服务于石油平台、海洋牧场等海洋工程建设。
4、但在实际应用中,立体摄影海浪测量技术还存在诸多问题。一是双目相机同步拍摄的时间精度不高,得到的影像对海浪差异较大,严重影响了特征点匹配,导致三维重建出来的海浪模型误差较大。二是没有满足海洋作业特殊需求的相机控制软件,双目相机二次开发程度低,功能使用受到限制。三是由于海面光滑,纹理较弱,海面影像匹配的可靠性和精度都远远低于自然固体物,这对影像匹配工作是一项巨大的挑战。
技术实现思路
1、为了克服上述存在的缺陷与问题,本发明的目的在于提供一种基于双目立体视觉的影像采集系统,该系统部署方便,操作简单,成本较低,能够服务于立体摄影海浪测量。
2、本发明实施例的目的是提供一种基于该影像采集系统的海浪影像匹配方法,该方法解决了立体摄影海浪测量技术中因海面光滑纹理较弱,特征不明显而导致的影像匹配精度较低,可靠性不强的问题。
3、为了解决上述技术问题,本发明是这样实现的:
4、一方面,本发明实施例提供了一种基于双目立体视觉的影像采集系统,包括:
5、一双目相机,
6、一同步触发单元,连接所述双目相机,用于驱动双目相机的同步影像采集操作,所述同步触发单元包含:
7、一主控板,用于定时定量输出自定义频率的一方波信号,作为双目相机同步拍摄的外部触发信号;
8、一网络扩展板,连接所述主控板与至少一上位计算机,用于实现至少一上位计算机与该主控板之间的交互通信;
9、一光耦隔离驱动模块,用于隔离所述主控板的低压控制电路与双目相机触发侧的高压执行电路。
10、在一些实施例中,将所述主控板的一数字输入/输出引脚作为方波信号的输出针脚与gnd端通过导线分别与所述光耦隔离驱动模块的低压信号输入端和com端相连;
11、将双目相机各自的触发线一并与所述光耦隔离驱动模块的高压信号输出侧相连,各自的相机公共地线一并与光耦隔离驱动模块的gnd端相连;
12、所述光耦隔离驱动模块的vcc端与gnd端分别与该高压执行电路的直流开关电源的v+端和v-端相连。
13、在一些实施例中,所述网络扩展板采用排针直插的方式与所述主控板直接相连;和/或
14、通过网线将所述网络扩展板的网线端口与该至少一上位计算机相连。
15、在一些实施例中,该至少一上位计算机存储并执行一相机控制程序,所述相机控制程序包括:
16、一相机信息显示模块,配置为用于显示双目相机各项硬件信息和指标,及用于校验是否打开了目标相机并检查该目标相机是否处于正常的工作状态;
17、一影像实时显示模块,配置为用于实时显示双目相机捕获到的影像;
18、一相机参数设置模块,配置为用于调整双目相机的各项固有参数以达到最好的影像效果;
19、一相机触发设置模块,配置为用于选择相机快门方式、选择触发方式、设置软件触发参数;
20、一外部触发设置模块,配置为用于对所述同步触发单元进行控制与操作,设置外部触发参数,并将相应外部触发参数发送到该同步触发单元上;
21、一相机采集操作模块,配置为控制双目相机完成影像采集的操作;
22、一影像存储模块,配置为保存双目相机采集到的影像数据。
23、在一些实施例中,所述外部触发设置模块设置外部触发参数,包含:
24、根据一实际采集需求设置该方波信号的频率与启停时间,并将该方波信号的频率与启停时间通过该网络扩展板发送至该主控板上。
25、在一些实施例中,所述影像存储模块包含速存模式与转存模式,
26、将该双目相机采集到的影像数据通过该速存模式速存在一固态硬盘中进行预存储;
27、预存储的影像数据通过该转存模式转存入一机械硬盘中。
28、另一方面,本发明还提供了一种海浪影像匹配方法,采取上述的影像采集系统采集海浪影像序列,该方法包括:
29、标定双目相机的固有参数;
30、从所述影像采集系统采集的海浪影像序列中选取至少一影像对,每一影像对包含一左影像与一右影像;
31、对该至少一影像对的左影像与右影像进行初次匹配,并剔除粗差点,得到初次匹配结果;
32、在该至少一影像对的左影像上提取多个特征点;
33、结合所述初次匹配结果,对提取的该多个特征点进行影像匹配,得到最终匹配结果。
34、在一些实施例中,对该至少一影像对的左影像与右影像进行初次匹配之前,还包含:
35、对该至少一影像对进行滤波,包含:
36、采用wallis滤波算子对选取的至少一影像对进行滤波,滤波后生成的影像表示为:
37、
38、其中,gc(x,y)表示对影像g(x,y)滤波后生成的影像,x,y表示x,y坐标;mg和sg分别为影像中某一像素的一定区域的灰度平均值和灰度方差;mf和sf分别为影像均值和影像方差的目标值;c为影像反差扩展常数,b为影像亮度系数。
39、在一些实施例中,采用基于核线的金字塔影像匹配方法,对该至少一影像对的左影像与右影像进行初次匹配,包含:
40、在左影像上均匀选取多个目标点;
41、依据每一目标点在左相机坐标系的坐标与该目标点在像素坐标系的坐标;
42、在金字塔影像匹配时,沿核线搜索该目标点匹配的共轭点;
43、确定该目标点匹配的共轭点在右相机坐标系下的坐标、以及该共轭点在像素坐标系的坐标;
44、其中,该目标点的共轭点在右相机坐标系下的坐标满足:
45、
46、其中,一目标点在左相机坐标系下的坐标为a(xa,ya,-f),该目标点在像素坐标系下的坐标为(ua,va),该目标点的共轭点在右相机坐标系下的坐标为a'(xa',ya',-f'),该共轭点在像素坐标系的坐标为(ua',va');双目相机左、右两相机的畸变系数分别为k1、k1',左右两相机主光轴与底片的交点坐标分别为(x0,y0)、(x0',y0'),左右两相机的焦距分别为f、f'。
47、在一些实施例中,利用十字叉法剔除粗差点,包含:
48、若一目标点匹配到的共轭点到一交点的距离超过一距离阈值,则将该共轭点识别为粗差点并剔除;并
49、沿核线重新搜索该目标点的共轭点;
50、其中,第i行所有目标点对应的共轭点近似拟合而成的一条直线,与第j列所有目标点对应的共轭点近似拟合而成的一条直线相交生成一所述交点,第i行第j列的一目标点aij对应的一共轭点aij'应定在该交点附近。
51、在一些实施例中,所述在该至少一影像对左影像上提取特征点,包含:
52、以所述左影像的每一目标点为中心,确定一区域;
53、在每一区域提取至少一特征点。
54、在一些实施例中,结合所述初次匹配结果,对提取的该多个特征点进行影像匹配,得到最终匹配结果,包含:
55、结合所述初次匹配结果,再次采用基于核线的金字塔影像匹配方法搜索提取的每一特征点对应的共轭点的位置;
56、将每一特征点在左影像上标识,将该特征点对应的共轭点在右影像上标识;
57、通过最小二乘法对标识后的左影像与右影像进行匹配,得到所述最终匹配结果。
58、本发明实施例提供的影像采集系统,该系统基于双目立体视觉,相较于一般的影像采集系统,同步触发单元大大提高了双目相机拍摄的时间同步性,时间精度达到毫秒级,满足了现行的立体摄影海浪测量技术的需求。
59、同时,在本发明实施例提供的海浪影像匹配方法,解决了立体摄影海浪测量技术中因海面光滑纹理较弱,特征不明显而导致的影像匹配精度较低,可靠性不强的问题。
1.一种影像采集系统,其特征在于,包括:
2.根据权利要求1所述的系统,其特征在于,
3.根据权利要求1所述的系统,其特征在于,
4.根据权利要求3所述的系统,其特征在于,
5.一种海浪影像匹配方法,其特征在于,采取权利要求1-4任一项所述的影像采集系统采集海浪影像序列,该方法包括:
6.根据权利要求5所述的方法,其特征在于,对该至少一影像对的左影像与右影像进行初次匹配之前,还包含:
7.根据权利要求5所述的方法,其特征在于,
8.根据权利要求7所述的方法,其特征在于,
9.根据权利要求7所述的方法,其特征在于,所述在该至少一影像对左影像上提取特征点,包含:
10.根据权利要求9所述的方法,其特征在于,
