三晶片内窥镜成像方法及成像装置与流程

专利2026-07-12  6


本技术涉及内窥镜成像,具体涉及一种三晶片内窥镜成像方法及成像装置。


背景技术:

1、双曝光hdr是指通过高低两次曝光后图像融合,从而保证视场内的画面亮度均匀;既没有低曝光(under exposed)区域,也没有过曝光(over exposed)区域。双曝光hdr的一个缺点在于,需要前后两帧图像,一帧短曝光,一帧长曝光,因此会造成实际帧率的下降,也容易产生运动模糊。

2、由于内窥镜为实时采集实时显示的设备,通过双曝光实现hdr一直在内窥镜中无法应用。但由于体内组织结构的复杂,尤其场景中包含远景和近景时,不可避免有一定的画面比例出现过曝现象。如在同一场景下,应用远景和近景时,为了满足远景的照明需求,会造成近景过曝,为了满足近景的照明需求,又会造成远景图像过暗,显示不清楚的问题。

3、因此,为了解决这一问题,现有技术利用两个图像传感器获取的图像进行不同的曝光策略,再对曝光后的两个图像进行了融合实现了白光模式下内窥镜中双曝光hdr的实现,但是,在荧光模式下,需要有一路进行荧光信号的采集,导致无法实现上述双曝光hdr。


技术实现思路

1、本技术提供一种三晶片内窥镜成像方法及成像装置,能够在荧光模式和白光模式下均实现双曝光hdr功能。

2、根据第一方面,本技术提供一种三晶片内窥镜成像装置,包括:

3、光源组件,所述光源组件具有荧光模式,用于给待观察区域提供照明;

4、光学镜头组件,所述光学镜头组件用于接收来自待观察区域的成像光线;

5、分光元件,在荧光模式下,所述分光元件用于将所述成像光线一分为三,分别形成第一成像光线、第二成像光线和荧光成像光线;

6、第一图像传感器,所述第一图像传感器设置于所述第一成像光线的光路上,用以接收所述第一成像光线并光电转换形成第一图像;

7、第二图像传感器,所述第二图像传感器设置于所述第二成像光线的光路上,用以接收所述第二成像光线并光电转换形成第二图像;

8、第三图像传感器,所述第三图像传感器设置于所述荧光成像光线的光路上,用以接收所述荧光成像光线并光电转换形成荧光图像;

9、第一曝光控制器,所述第一曝光控制器用于对所述第一图像曝光以得到第一曝光图像;

10、第二曝光控制器,所述第二曝光控制器用于对所述第二图像曝光以得到第二曝光图像;

11、以及图像处理器,所述图像处理器用于将所述第一曝光图像和第二曝光图像融合为高动态白光图像,所述高动态白光图像和荧光图像处理融合,并输出为内窥镜图像。

12、一种实施例中,所述光源组件还包括白光模式,在白光模式下,所述分光元件用于将所述成像光线一分为二,分别形成第一成像光线和第二成像光线。

13、一种实施例中,所述光源组件包括白光光源和荧光激发光源,在白光模式下,所述白光光源用于给待观察区域提供白光照明,在荧光模式下,所述荧光激发光源用于给待观察区域提供激光照明。

14、一种实施例中,所述第一图像传感器为拜耳彩色传感器,所述第二图像传感器为单色传感器,所述第三图像传感器为拜耳彩色传感器或单色传感器中的一个。

15、一种实施例中,还包括显示组件,所述显示组件与所述图像处理器电连接,用于显示所述内窥镜图像。

16、一种实施例中,所述第一曝光控制器分别与所述第一图像传感器、图像处理器电连接,用于以第一曝光策略对所述第一图像曝光,以得到第一曝光图像;所述第二曝光控制器分别与所述第二图像传感器、图像处理器电连接,用于以第二曝光策略对所述第二图像曝光,以得到第二曝光图像,所述图像处理器用于将所述第一曝光图像和第二曝光图像处理融合为高动态白光图像;所述第三图像传感器与所述图像处理器电连接,用于接收所述荧光成像光线并光电转换形成荧光图像,所述图像处理器能够将所述高动态白光图像和荧光图像处理融合,并输出为内窥镜图像。

17、根据第二方面,本技术提供一种三晶片内窥镜成像方法,包括以下步骤:

18、在荧光模式下,将待观察区域的成像光线通过分光元件一分为三,分别形成第一成像光线、第二成像光线和荧光成像光线;

19、接收第一控制命令,利用第一成像传感器对第一成像光线进行光电转换形成第一图像,并采用第一曝光策略对第一图像进行第一曝光,得到第一曝光图像;

20、接收第二控制命令,利用第二成像传感器对第二成像光线进行光电转换形成第二图像,并采用第二曝光策略对第二图像进行第二曝光,得到第二曝光图像;

21、利用第三成像传感器对荧光成像光线进行光电转换形成荧光图像;

22、以及接收第三控制命令,对第一曝光图像、第二曝光图像和荧光图像采用算法融合输出内窥镜图像。

23、一种实施例中,所述第一曝光策略是将所述第一图像拆分为r通道图像、g通道图像和b通道图像,以所述r通道图像和b通道图像的最优曝光数值计算第一曝光策略的曝光参数,对所述第一图像进行曝光以形成第一曝光图像,所述第一曝光图像为rgb通道图像;所述第二曝光策略是将所述第二图像拆分为r通道图像、g通道图像和b通道图像,以所述g通道图像的最优曝光数值计算第二曝光策略的曝光参数,对所述第二图像进行曝光以形成第二曝光图像,所述第二曝光图像为g通道图像;对第一曝光图像、第二曝光图像和荧光图像采用算法融合输出内窥镜图像的方法是:利用第二曝光图像替换第一曝光图像中的g通道图像;将替换后的三个通道图像经去马赛克处理后形成高动态白光图像;将高动态白光图像和荧光图像融合输出为内窥镜图像。

24、一种实施例中,以所述r通道图像和b通道图像的最优曝光数值计算第一曝光策略的曝光参数的方法是:将第一图像划分为多个区域,对多个所述区域同时进行分区域测光,分别获取所述r通道图像和b通道图像处于最优亮度且无过曝的模式下的最优曝光数值,以所述r通道图像或b通道图像最优曝光数值作为曝光参数,或者以所述r通道图像和b通道图像最优曝光数值的加权平均值作为曝光参数;以所述g通道图像的最优曝光数值计算第二曝光策略的曝光参数的方法是:通过第一测光法、第二测光法或第三测光法中的一种分别获取所述g通道图像的最优曝光数值,以所述g通道图像的最优曝光数值作为第二曝光策略的曝光参数;所述第一测光法是将第二图像划分为多个区域,对多个所述区域同时进行测光,使得第二图像多个所述区域的各个像素亮度至少部分处于过曝模式;所述第二测光法是将第二图像划分为中心区域和边缘区域,对所述中心区域进行测光,使得中心区域的各个像素亮度处于最优亮度的模式,所述中心区域为待仔细观察的区域;所述第三测光法是利用图像识别和分割算法确定第二图像中的器械区域,对排除器械区域的剩余区域进行测光,使所述剩余区域的各个像素亮度处于最优亮度模式。

25、一种实施例中,还包括在白光模式下,将待观察区域的成像光线通过分光元件一分为二,分别形成第一成像光线和第二成像光线;

26、接收第一控制命令,利用第一成像传感器对第一成像光线进行光电转换形成第一图像,并采用第一曝光策略对第一图像进行第一曝光,得到第一曝光图像;

27、接收第二控制命令,利用第二成像传感器对第二成像光线进行光电转换形成第二图像,并采用第二曝光策略对第二图像进行第二曝光,得到第二曝光图像;

28、以及接收第三控制命令,对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像。

29、依据上述实施例中的内窥镜成像装置,通过分光元件和三个图像传感器的设置,每个传感器分别对应设置在分光元件分光后的一个成像光线的光路上,与曝光控制器、图像处理器配合,在白光模式下形成两路白光成像光线,二者融合能够实现双曝光hdr功能,在荧光模式下,分光元件能够将白光和荧光分路形成不同的图像,最后进行融合,在荧光模式下也能够实现双曝光hdr功能,从而使得内窥镜的成像在两种模式下均具有图像整场亮度一致、色彩还原高、分辨率好、信噪比更高的优点,使整个手术更加流畅,效率更高,突破了双曝光hdr技术在内窥镜中的应用。


技术特征:

1.三晶片内窥镜成像装置,其特征在于,包括:

2.根据权利要求1所述的三晶片内窥镜成像装置,其特征在于,所述光源组件还包括白光模式,在所述白光模式下,所述分光元件用于将所述成像光线一分为二,分别形成第一成像光线和第二成像光线。

3.根据权利要求2所述的三晶片内窥镜成像装置,其特征在于,所述光源组件包括白光光源和荧光激发光源,在白光模式下,所述白光光源用于给待观察区域提供白光照明,在荧光模式下,所述荧光激发光源用于给待观察区域提供激光照明。

4.根据权利要求3所述的三晶片内窥镜成像装置,其特征在于,所述第一图像传感器为拜耳彩色传感器,所述第二图像传感器为单色传感器,所述第三图像传感器为拜耳彩色传感器和单色传感器中的一个;

5.根据权利要求1所述的三晶片内窥镜成像装置,其特征在于,还包括显示组件,所述显示组件与所述图像处理器电连接,用于显示所述内窥镜图像。

6.根据权利要求1所述的三晶片内窥镜成像装置,其特征在于,所述第一曝光控制器分别与所述第一图像传感器、图像处理器电连接,用于以第一曝光策略对所述第一图像曝光,以得到第一曝光图像;所述第二曝光控制器分别与所述第二图像传感器、图像处理器电连接,用于以第二曝光策略对所述第二图像曝光,以得到所述第二曝光图像,所述图像处理器用于将所述第一曝光图像和所述第二曝光图像处理融合为所述高动态白光图像;

7.三晶片内窥镜成像方法,其特征在于,所述成像方法应用于如权利要求1-6中任一项所述的成像装置,包括以下步骤:

8.根据权利要求7所述的三晶片内窥镜成像方法,其特征在于,所述第一曝光策略是将所述第一图像拆分为r通道图像、g通道图像和b通道图像,以所述r通道图像和b通道图像的最优曝光数值计算第一曝光策略的曝光参数,对所述第一图像进行曝光以形成第一曝光图像,所述第一曝光图像为rgb通道图像;所述第二曝光策略是将所述第二图像拆分为r通道图像、g通道图像和b通道图像,以所述g通道图像的最优曝光数值计算第二曝光策略的曝光参数,对所述第二图像进行曝光以形成第二曝光图像,所述第二曝光图像为g通道图像;

9.根据权利要求8所述的三晶片内窥镜成像方法,其特征在于,以所述r通道图像和b通道图像的最优曝光数值计算第一曝光策略的曝光参数的方法是:将所述第一图像划分为多个区域,对多个所述区域同时进行分区域测光,分别获取所述r通道图像和b通道图像处于最优亮度且无过曝的模式下的最优曝光数值,以所述r通道图像或b通道图像最优曝光数值作为曝光参数,或者以所述r通道图像和b通道图像最优曝光数值的加权平均值作为曝光参数;

10.根据权利要求7所述的三晶片内窥镜成像方法,其特征在于,还包括在白光模式下,将待观察区域的成像光线通过分光元件一分为二,分别形成第一成像光线和第二成像光线;


技术总结
本申请提供一种三晶片内窥镜成像方法及成像装置,该成像装置包括光源组件、光学镜头组件、分光元件、第一图像传感器、第二图像传感器、第三图像传感器、第一曝光控制器、第二曝光控制器以及图像处理器,所述光源组件具有白光模式和荧光模式,所述光学镜头组件用于接收来自待观察区域的成像光线,在荧光模式下,所述分光元件用于将所述成像光线一分为三,分别形成第一成像光线、第二成像光线和荧光成像光线。通过分光元件与曝光控制器、图像处理器的配合,使得内窥镜的成像在两种模式下均能够实现双曝光HDR功能,且具有图像整场亮度一致、色彩还原高、分辨率好、信噪比更高的优点,使手术更加流畅,效率更高,突破了双曝光HDR技术在内窥镜中的应用。

技术研发人员:陆汇海
受保护的技术使用者:深圳市博盛医疗科技有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1831387.html

最新回复(0)