一种基于可见光和红外线的双目成像方法及系统

专利2025-04-08  5


本发明涉及双目成像,尤其涉及一种基于可见光和红外线的双目成像方法及系统。


背景技术:

1、目前,针对一些人工难以检测到的机器的部位或零件,往往会采用可见光相机拍摄、热成像传感器采集图像或超声波检测等技术来检测,不过利用单一维度采集故障信息,仍具有一些局限性:如可见光相机具有分辨率高、帧率高的特点,但不能检测温度分布,以及对光照要求比较高,而热成像传感器可以测量温度分布,以及在光线不足的情况下采集信息,但其分辨率低、帧率低,难以检测精密仪器的故障。

2、基于上述情况,一些检测设备采用双光谱检测的方法,将两种检测方式结合互补,如公开号为cn117074306a的中国发明专利,公开了一种基于双光谱led光源的检测仪及检测方法,通过第一光源、第二光源和传感器构成双光谱结构,以非接触、无损的方式检测水中有机物,双光谱结构可通过互相补充、协同作用提高检测的准确性和可靠性。

3、不过上述方案虽然能采用两种利用两种光源的特性来实现采集信息的互补,但并没有提供较好的将两种光源信息融合在一起的方法,工作人员对于利用成像结果仍然很难精准和清晰地判断所检测的水质情况,仍然具有一定局限性。


技术实现思路

1、针对现有技术的不足,本发明旨在提供一种基于可见光和红外线的双目成像方法,以解决现有技术中的双光谱检测得到的信息不能很好融合的问题,具体的技术方案如下:

2、一种基于可见光和红外线的双目成像方法,包括:可见光相机和热成像传感器分别在同一方向采集待测物品的可见光图像和热成像图像,并上传至处理单元,处理单元对可见光图像和热成像图像进行读取和数据融合,所述数据融合的步骤包括:

3、s1:处理单元提取可见光图像中的高频信息;

4、s2:处理单元将热成像图像的插值放大与步骤s1中提取的所述高频信息叠加,获得融合后的图像;

5、s3:处理单元为所述融合后的图像赋予伪彩色;

6、s4:处理单元将步骤s3中赋予伪彩色的图像中的rgb分量换算为yuv分量,并叠加到可见光图像中,并通过显示器显示。

7、作为一种优选的实施方式:步骤s1中,处理器利用高斯模糊法提取可见光图像中的高频信息。

8、由于本技术方案中的双目成像方法可服务于手机客户端,手机app上集成了opencv,因此可利用高斯模糊函数提取可见光图像中的高频信息,影像的低频和高频信息可用如下数学模型表述i=l+h其中,i表示影像,l和h分别表示影像对应的低频和高频信息,根据公式h=i-l把原始影像减去低频信息即可得到高频影像信息。

9、作为一种优选的实施方式:所述热成像图像由微控制单元通过12c接口读取,与所述可见光图像一起通过usb扩展器发送给所述处理单元。

10、本发明通过设置热成像传输接口,利用12c接口从热成像驱动中读取数据,然后与可见光图像一起打包利用usb的方式发送给处理单元,整个过程只需要一个循环即可。

11、作为一种优选的实施方式:所述处理单元包括两个分别用于读取可见光图像和热成像图像的数据库,两个数据库均采用异步回调的方式读取图像信息。

12、处理单元对可见光图像和热成像图像的读取都有对应的数据库支持,采用异步回调能够提高系统并发性能、提高系统响应速度以及简化代码逻辑。

13、作为一种优选的实施方式:所述处理单元对所述可见光图像和热成像图像进行读取的方法包括以下步骤:

14、t1:分别针对可见光图像和热成像图像初始化一个长度为2的队列;

15、t2:当发生回调时,新申请一块buffer,将yuv数据复制到该buffer内,将该buffer放入所在队列中,并建立一个线程运行,不断从该队列中读取数据;

16、t3:通过一个线程分别访问两个队列,当所述两个队列中都存在数据时,将两个队列中的数据取出并进行数据融合。

17、通过采用上述算法步骤,当线程访问两个队列内都有数据时才会读取两个队列中的数据进行数据融合,避免数据融合时出现错误。

18、作为一种优选的实施方式:步骤t2中,回调时若发现队列已满,则从队列中取出一块buffer丢弃,然后再将新的buffer放入队列。

19、当线程读取太慢时,回调时发现队列已满,此时用新的buffer代替原先队列中的buffer保证线程正常运行。

20、作为一种优选的实施方式:步骤t2中,回调时若发现队列为空,则跳过该回调,下一次回调时再从该队列中提取数据。

21、如果发现回调一直不来,线程会发现队列为空,则跳过该次回调,下一次回调时再从该队列中提取数据。因为每一次回调都会新申请一块buffer,因此buffer不存在并发问题,队列添加和删除访问的都是同一个数据结构,存在并发问题,操作时需要注意上锁。

22、本发明还提供了一种双目成像系统,包括:

23、可见光相机:用于采集待测物品的可见光图像;

24、热成像传感器:用于采集待测物品的热成像图像;

25、微控制单元:与所述热成像传感器电连接,所述微控制单元包括浮点运算单元,用于将所述热成像图像解算为热成像图像;

26、usb扩展器:分别与所述可见光相机和所述微控制单元电连接,用于接收所述可见光图像和热成像图像;

27、处理单元:与所述usb扩展器电连接,用于读取可见光图像和热成像图像并进行数据融合。

28、微控制单元通过i2c接口读取热成像传感器数据,然后通过usb接口传向usb 扩展器,可见光相机为一个通用免驱usb摄像头,也接到usb 扩展器上面,usb扩展器和处理单元连接,在处理单元的操作页面上会显示两个设备,一个是可见光相机,一个是热成像传感,应用层获取到两个传感器数据,通过算法进行融合,得到分辨率较高、质量较好的热成像图。

29、作为一种优选的实施方式:所述处理单元为手机的处理器。

30、通过设置处理单元为手机处理器,手机处理器具有较为强大的运算功能,同时也方便携带,手机也带有可见光摄像头,方便与热成像传感器一起采集待测物品的图像。

31、作为一种优选的实施方式:所述手机与所述热成像传感器可拆卸地固定在一起,以使所述手机上的可见光相机与所述热成像传感器朝向同一方向设置。

32、通过将手机与热成像传感器利用支架可拆卸地固定在一起,手机自带有可见光摄像头,能够与热成像传感器一起朝向相同方向采集待测物品的图像,同时也方便工作人员携带,方便检测一些人工难以触及的区域。

33、与现有技术相比,本发明通过处理单元接收可见光图像和热成像图像,利用可见光图像分辨率高、帧率高的特点,提取可见光图像中的高频信息,并将热成像图像的插值放大,尽可能扩大可见光图像与热成像图像的光谱之间的差异,从而在叠加图像时更为清晰,之后再为叠加后的图像赋予伪彩色,按照换算公式将赋予伪彩色的图像按照yuv的方式叠加到可见光中,由于可见光图像中本身包含了大量信息,相当于增加了热成像的信息量,使热成像图像拥有更多细节且清晰可见,拥有更高的分辨率和帧率,进一步完善了融合效果。


技术特征:

1.一种基于可见光和红外线的双目成像方法,包括:可见光相机和热成像传感器分别在同一方向采集待测物品的可见光图像和热成像图像,并上传至处理单元,处理单元对可见光图像和热成像图像进行读取和数据融合,其特征在于:所述数据融合的步骤包括:

2.如权利要求1所述的基于可见光和红外线的双目成像方法,其特征在于:步骤s1中,处理器利用高斯模糊法提取可见光图像中的高频信息。

3.如权利要求1所述的基于可见光和红外线的双目成像方法,其特征在于:所述热成像图像由微控制单元通过12c接口读取,与所述可见光图像一起通过usb扩展器发送给所述处理单元。

4.如权利要求1-3任一项所述的基于可见光和红外线的双目成像方法,其特征在于:所述处理单元包括两个分别用于读取可见光图像和热成像图像的数据库,两个数据库均采用异步回调的方式读取图像信息。

5.如权利要求4所述的基于可见光和红外线的双目成像方法,其特征在于:所述处理单元对所述可见光图像和热成像图像进行读取的方法包括以下步骤:

6.如权利要求5所述的基于可见光和红外线的双目成像方法,其特征在于:步骤t2中,回调时若发现队列已满,则从队列中取出一块buffer丢弃,然后再将新的buffer放入队列。

7.如权利要求5所述的基于可见光和红外线的双目成像方法,其特征在于:步骤t2中,回调时若发现队列为空,则跳过该回调,下一次回调时再从该队列中提取数据。

8.一种基于可见光和红外线的双目成像系统,其特征在于:应用于权利要求1-7任一项所述的双目成像方法,包括:

9.如权利要求8所述的基于可见光和红外线的双目成像系统,其特征在于:所述处理单元为手机的处理器。

10.如权利要求9所述的基于可见光和红外线的双目成像系统,其特征在于:所述手机与所述热成像传感器可拆卸地固定在一起,以使所述手机上的可见光相机与所述热成像传感器朝向同一方向设置。


技术总结
本发明公开了一种基于可见光和红外线的双目成像方法,包括:可见光相机和热成像传感器分别在同一方向采集图像,并传至处理单元,对两种图像进行读取和数据融合,数据融合的步骤包括:S1:提取可见光图像中的高频信息;S2:将热成像图像的插值放大与步骤S1中提取的高频信息叠加,获得融合后的图像;S3:为融合后的图像赋予伪彩色;S4:将赋予伪彩色的图像中的RGB分量换算为YUV分量,并叠加到可见光图像中,通过显示器显示。本发明通过改进了图像融合的算法,尽可能扩大可见光图像与热成像图像的光谱之间的差异,从而在叠加图像时更为清晰,融合后相当于增加了热成像的信息量,使热成像图像拥有更多细节,进一步完善了融合效果。

技术研发人员:江伟,陈咏怡,肖俊龙,何锦雁,徐博志,冷超杰
受保护的技术使用者:广东交通职业技术学院
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1818315.html

最新回复(0)