本发明涉及计算机视觉与系统控制领域，尤其涉及一种多模态系统的授时与同步控制装置与方法。
背景技术：
1、在自动驾驶和道路监控等领域中，多模态系统能够利用不同模态传感器间的互补特性实现对场景更全面的感知，从而在目标检测、语义分割等各种应用中取得更好的性能。由于多模态系统中各类传感器的触发机制、时钟控制以及数据传输方式之间都存在很大差异，所以会存在同步精度不足、系统采集频率受限等问题，这将直接导致多模态数据质量下降，从而影响各类应用的性能，所以如何实现多模态系统的授时与精准同步控制显得尤为重要。
2、以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。
技术实现思路
1、本发明提出了一种多模态系统的授时与同步控制装置及方法，解决多模态系统无法实现精准同步控制带来的不同模态数据时域偏差大，数据质量不稳定等问题，可实现对包含激光雷达、可见光相机、红外相机以及毫米波雷达等传感器的多模态系统的授时与精准同步控制。
2、为了达到上述目的，本发明采用以下技术方案：
3、一种多模态系统的授时与同步控制装置，包括：
4、全局授时模块，用于获取精准时间信息并实现对多模态系统中各模态传感器的授时；其中，所述各模态传感器包括激光雷达以及模态不同于激光雷达的一种或多种传感器；
5、帧头检测模块，用于实时监听所述激光雷达的传输数据并检测帧头作为触发的基准时刻；
6、控制信号多源输出模块，用于在所述触发的基准时刻输出对应频率的触发信号和/或触发报文以触发所述模态不同于激光雷达的一种或多种传感器。
7、进一步地：
8、所述多模态系统的授时与同步控制装置还包括周期校正模块，用于每隔预定时间t发出同步校正信号，所述控制信号多源输出模块根据所述同步校正信号在相应的触发基准时刻输出触发信号和/或触发报文，以按照预定的时间间隔进行同步触发。
9、所述模态不同于激光雷达的一种或多种传感器包括可见光工业相机、红外相机和毫米波雷达。
10、所述全局授时模块设置有pps信号和gprmc报文的接口，通过gprmc报文的解析算法，将其中的utc时间信息转换为对应字符编码年月日时分秒毫秒的bit流发送给所述可见光相机和所述红外相机，以实现对所述可见光相机和所述红外相机的授时；所述全局授时模块还将gprmc报文中的utc时间信息转换为毫米波雷达定义的授时can报文格式并通过can总线发送出去，以实现对所述毫米波雷达的授时。
11、所述帧头检测模块的驱动层经设置以使所述帧头检测模块仅监听所述激光雷达与上位机之间传输的信号而不发出任何报文。
12、所述帧头检测模块在对激光雷达与上位机之间通信的监听过程中，通过字符串匹配对所述激光雷达传输的所有数据包检测设定的数据帧起始标志。
13、对于所述激光雷达的每个采集周期t，所述帧头检测模块在每检测到一个数据帧时关闭mac层收包的中断，并在经过一个时长接近所述采集周期t的预设时间后打开mac层收包的中断；优选地，所述预设时间为0.9t。
14、所述控制信号多源输出模块设置有gpio口以及can接口，当检测到激光雷达的数据帧帧头时，同时从gpio口分别输出不同频率的标准方波信号和从can接口输出毫米波雷达定义的触发can报文，所述不同频率的标准方波信号用于触发可见光相机和红外相机，所述触发can报文用于触发毫米波雷达。
15、一种多模态系统的授时与同步控制方法，使用所述的多模态系统的授时与同步控制装置实现对多模态系统中各模态传感器的授时与同步控制。
16、一种多模态系统，包括激光雷达、模态不同于激光雷达的一种或多种传感器以及所述的多模态系统的授时与同步控制装置，其中，所述多模态系统的授时与同步控制装置在整个授时和同步过程中仅在所述激光雷达与上位机之间存在电路级别的连接。
17、在一些实施例中，一种多模态系统的授时与同步控制方法，包括：
18、z1：构建全局授时模块，获取精准时间信息并实现对多模态系统中各模态传感器的授时；
19、z2：构建帧头检测模块，实时监听传输数据并检测帧头作为触发的基准时刻；
20、z3：构建控制信号多源输出模块，输出多个不同频率的方波信号和can报文用以触发各模态传感器；
21、z4：构建周期校正模块，每隔时间t将各模态传感器的采集时刻校正到同一时刻，保证同步精度。
22、全局授时模块、帧头检测模块、控制信号多源输出模块以及周期校正模块四个模块，四个模块分别完成不同的任务，联合起来最终实现对于多模态系统的授时与精准同步控制。
23、在一些实施例中，步骤z1中全局授时模块需要设置pps信号和gprmc报文的接口，以及设置gprmc报文的解析算法，将其中的utc时间信息转换为对应字符编码年月日时分秒毫秒的bit流发送给后端可见光工业相机和红外相机，从而实现对可见光工业相机和红外相机的授时；全局授时模块实现了完整的can功能，能够将gprmc报文中的utc时间信息转换为毫米波雷达定义的授时can报文格式并通过can总线发送出去，从而实现对于毫米波雷达的授时。
24、在一些实施例中，步骤z2中将激光雷达与同步控制装置相连，然后将同步控制装置与上位机相连。更改帧头检测模块的驱动层代码，使其可以仅监听以太网上传输的信号而不发出任何报文，从而不会对激光雷达与上位机的通信产生任何影响。激光雷达在数据传输的过程中，其传输的数据包中存在固定的点云帧起始标志，将该起始标志设置为所需检测的标志位，帧头检测模块就会在对激光雷达与上位机之间通信的监听过程中通过字符串匹配对所有ip包检测设定的标志位。
25、在一些实施例中，步骤z3中控制信号输出模块需要设置gpio口以及can接口，当检测到激光雷达数据帧帧头时，同时从gpio口分别输出不同频率的标准方波信号和从can接口输出毫米波雷达定义的触发can报文，分别实现对可见光工业相机、红外相机等支持电信号外触发设备的触发以及对毫米波雷达等支持can报文触发设备的触发，从而实现多模态系统整体的同步控制。
26、在一些实施例中，步骤z4中考虑到单片机的负载以及同步控制过程中时域误差积累的可能性，本发明构建了周期校正模块，该模块使得并非每次检测到标志位都发出标准方波信号和触发can报文，而是每隔时间t重新发出一次标准方波信号以及触发can报文，即每隔时间t将各类设备的采集起始时刻校正到同一时刻，这样既降低了单片机的工作负载，减小了设备失效的可能性，又防止了同步控制过程中产生的时域误差积累。
27、在一些实施例中，基于单片机的多模态系统同步控制装置在整个授时和同步过程中仅在激光雷达与上位机之间存在电路级别的连接，激光雷达数据的带宽较小，且同步控制装置并不对数据进行任何处理，所以并不会对同步控制装置的正常工作状态产生影响，而可见光工业相机、红外相机和毫米波雷达的数据存储都是直接与上位机相连，所以本发明公开的同步控制装置并不会受到系统传感器数量和采集数据体量的限制，对各种配置的多模态系统都具有良好的普适性。
28、与现有技术相比，本发明的有益效果在于：
29、本发明提供的多模态系统的授时与同步控制装置，针对包括激光雷达以及模态不同于激光雷达的一种或多种传感器的多模态系统，一方面获取精准时间信息并实现对多模态系统中各模态传感器的授时，另一方面还实时监听激光雷达的传输数据并检测帧头作为触发的基准时刻，在所述触发的基准时刻输出对应频率的触发信号和/或触发报文以触发所述模态不同于激光雷达的一种或多种传感器，该授时与同步控制装置用于多模态系统中，能够有效解决多模态系统无法实现精准同步控制带来的不同模态数据时域偏差大，数据质量不稳定等问题，可实现对包含激光雷达、可见光相机、红外相机以及毫米波雷达等传感器的多模态系统的授时与精准同步控制，提高了多模态系统的数据采集质量，从而能够提升下游图像增强、目标检测和语义分割等应用的性能。
1.一种多模态系统的授时与同步控制装置，其特征在于，包括：
2.如权利要求1所述的多模态系统的授时与同步控制装置，其特征在于，还包括周期校正模块，用于每隔预定时间t发出同步校正信号，所述控制信号多源输出模块根据所述同步校正信号在相应的触发基准时刻输出触发信号和/或触发报文，以按照预定的时间间隔进行同步触发。
3.如权利要求1或2所述的多模态系统的授时与同步控制装置，其特征在于，所述模态不同于激光雷达的一种或多种传感器包括可见光工业相机、红外相机和毫米波雷达。
4.如权利要求3所述的多模态系统的授时与同步控制装置，其特征在于，所述全局授时模块设置有pps信号和gprmc报文的接口，通过gprmc报文的解析算法，将其中的utc时间信息转换为对应字符编码年月日时分秒毫秒的bit流发送给所述可见光相机和所述红外相机，以实现对所述可见光相机和所述红外相机的授时；所述全局授时模块还将gprmc报文中的utc时间信息转换为毫米波雷达定义的授时can报文格式并通过can总线发送出去，以实现对所述毫米波雷达的授时。
5.如权利要求3所述的多模态系统的授时与同步控制装置，其特征在于，所述帧头检测模块的驱动层经设置以使所述帧头检测模块仅监听所述激光雷达与上位机之间传输的信号而不发出任何报文。
6.如权利要求5所述的多模态系统的授时与同步控制装置，其特征在于，所述帧头检测模块在对激光雷达与上位机之间通信的监听过程中，通过字符串匹配对所述激光雷达传输的所有数据包检测设定的数据帧起始标志。
7.如权利要求5或6所述的多模态系统的授时与同步控制装置，其特征在于，对于所述激光雷达的每个采集周期t，所述帧头检测模块在每检测到一个数据帧时关闭mac层收包的中断，并在经过一个时长接近所述采集周期t的预设时间后打开mac层收包的中断；优选地，所述预设时间为0.9t。
8.如权利要求3至7任一项所述的多模态系统的授时与同步控制装置，其特征在于，所述控制信号多源输出模块设置有gpio口以及can接口，当检测到激光雷达的数据帧帧头时，同时从gpio口分别输出不同频率的标准方波信号和从can接口输出毫米波雷达定义的触发can报文，所述不同频率的标准方波信号用于触发可见光相机和红外相机，所述触发can报文用于触发毫米波雷达。
9.一种多模态系统的授时与同步控制方法，其特征在于，使用如权利要求1至8任一项所述的多模态系统的授时与同步控制装置实现对多模态系统中各模态传感器的授时与同步控制。
10.一种多模态系统，其特征在于，包括激光雷达、模态不同于激光雷达的一种或多种传感器以及如权利要求1至8任一项所述的多模态系统的授时与同步控制装置，其中，所述多模态系统的授时与同步控制装置在整个授时和同步过程中仅在所述激光雷达与上位机之间存在电路级别的连接。
