本公开涉及手术导航,特别涉及一种内镜导航系统、方法、电子设备及存储介质。
背景技术:
1、在内镜手术中,医生只能通过内镜的镜头提供的图像信息判断手术部位的情况,因此良好的手术视野对于内镜手术十分重要。
2、传统的内镜手术需要两位医生配合,一位通过手术器械进行手术操作,另一位按照需要调整内镜的位置。但这种方式除了需要较多的人力以外,对医生之间的配合都有较高的要求。
技术实现思路
1、为解决上述问题,本公开提供一种内镜导航系统、方法、电子设备及存储介质,能够通过采集的视频帧图像获取手术器械掩膜,并根据手术器械掩膜确定手术器械的主方向,进而根据手术器械的主方向生成内镜的移动方向,以降低手术的人工成本的同时,保证手术过程中视野良好。
2、第一方面,本公开提供了一种内镜导航系统,所述内镜导航系统包括:
3、掩膜获取模块,用于响应于触发视野遮挡信号,根据内镜获取的视频帧图像获取手术器械掩膜;其中,所述手术器械掩膜用于表征手术器械的形状以及所述手术器械在所述视频帧图像中的位置信息;
4、主方向获取模块,用于根据所述手术器械掩膜确定所述手术器械的主方向;其中,所述手术器械的主方向为沿所述手术器械的主轴经器械尖端位置向外延伸的方向;
5、导航模块,用于根据所述手术器械的主方向生成所述内镜的移动方向。
6、可选地,所述掩膜获取模块包括器械分割单元,所述器械分割单元用于利用实例分割网络对所述视频帧图像进行处理,以得到所述手术器械掩膜。
7、可选地,所述主方向获取模块包括:
8、器械尖端检测单元,用于根据所述手术器械掩膜获取所述手术器械的尖端位置;
9、主轴检测单元,用于基于所述手术器械掩膜确定所述手术器械的主轴。
10、可选地,所述主轴检测单元包括:
11、目标像素点获取子单元,用于基于所述手术器械掩膜确定目标像素点;
12、主轴确定子单元,用于根据所述目标像素点组成的直线确定所述手术器械的所述主轴。
13、可选地,所述目标像素点获取子单元用于根据所述手术器械的掩膜从对应所述手术器械的像素点中选取若干对像素点,对于每对所述像素点分别组成的直线,获取对应所述手术器械的其他像素点到所述直线的第一距离,根据对应相同所述直线的所述第一距离之和确定一对所述像素点作为所述目标像素点;其中,所述其他像素点为组成所述直线的所述像素点以外的像素点。
14、可选地,所述视野遮挡信号在所述手术器械的尖端位置处于所述内镜的视野的预设安全区域以外时触发;
15、所述导航模块包括第一内镜移动单元,所述第一内镜移动单元用于将所述内镜按照所述移动方向移动至所述预设安全区域内。
16、可选地,所述内镜导航系统还包括安全区域划分模块,所述安全区域划分模块用于将所述内镜的视野划分为若干个区域,基于所述若干个区域确定所述预设安全区域。
17、可选地,所述安全区域划分模块还用于响应于用户选择目标区域,将所述目标区域设置为所述预设安全区域。
18、可选地,所述导航模块用于生成多个所述移动方向;
19、所述导航模块还包括第二内镜移动单元,所述第二内镜移动单元用于响应于用户选择目标移动方向,将所述内镜按照所述目标移动方向进行移动。
20、第二方面,本公开提供了一种内镜导航方法,所述内镜导航方法包括:
21、响应于触发视野遮挡信号,根据内镜获取的视频帧图像获取手术器械掩膜;其中,所述手术器械掩膜用于表征手术器械的形状以及所述手术器械在所述视频帧图像中的位置信息;
22、根据所述手术器械掩膜确定所述手术器械的主方向;其中,所述手术器械的主方向为沿所述手术器械的主轴经器械尖端位置向外延伸的方向;
23、根据所述手术器械的主方向生成所述内镜的移动方向。
24、可选地,所述响应于触发视野遮挡信号,根据内镜获取的视频帧图像获取手术器械掩膜的步骤包括:利用实例分割网络对所述视频帧图像进行处理,以得到所述手术器械掩膜。
25、可选地,所述根据所述手术器械掩膜确定所述手术器械的主方向的步骤包括:
26、根据所述手术器械掩膜获取所述手术器械的尖端位置;
27、基于所述手术器械掩膜确定所述手术器械的主轴。
28、可选地,所述基于所述手术器械掩膜确定所述手术器械的主轴的步骤包括:
29、基于所述手术器械掩膜确定目标像素点;
30、根据所述目标像素点组成的直线确定所述手术器械的所述主轴。
31、可选地,所述基于所述手术器械掩膜确定目标像素点的步骤包括:根据所述手术器械的掩膜从对应所述手术器械的像素点中选取若干对像素点,对于每对所述像素点分别组成的直线,获取对应所述手术器械的其他像素点到所述直线的第一距离,根据对应相同所述直线的所述第一距离之和确定一对所述像素点作为所述目标像素点;其中,所述其他像素点为组成所述直线的所述像素点以外的像素点。
32、可选地,所述视野遮挡信号在所述手术器械的尖端位置处于所述内镜的视野的预设安全区域以外时触发;
33、所述根据所述手术器械的主方向生成所述内镜的移动方向的步骤还包括:将所述内镜按照所述移动方向移动至所述预设安全区域内。
34、可选地,所述内镜导航方法还包括:将所述内镜的视野划分为若干个区域,基于所述若干个区域确定所述预设安全区域。
35、可选地,所述将所述内镜的视野划分为若干个区域,基于所述若干个区域确定所述预设安全区域的步骤包括:响应于用户选择目标区域,将所述目标区域设置为所述预设安全区域。
36、可选地,所述根据所述手术器械的主方向生成所述内镜的移动方向的步骤还包括:根据所述手术器械的主方向生成多个所述移动方向;
37、响应于用户选择目标移动方向,将所述内镜按照所述目标移动方向进行移动。
38、第三方面,本公开提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行计算机程序时,实现第二方面所述的内镜导航方法。
39、第四方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现第二方面所述的内镜导航方法。
40、本公开的积极进步效果在于:本公开提供一种内镜导航系统、方法、电子设备及存储介质,能够通过采集的视频帧图像获取手术器械掩膜,并根据手术器械掩膜确定手术器械的主方向,进而根据手术器械的主方向生成内镜的移动方向,以降低手术的人工成本的同时,保证手术过程中视野良好。特别的是,本公开基于图像处理技术,设计的内镜导航系统单纯依赖采集的视频帧图像中器械尖端位置进行导航,对视频帧图像的质量要求较低,同时也不需要复杂的计算,便能够提供高精度的导航。
1.一种内镜导航系统,其特征在于,所述内镜导航系统包括:
2.根据权利要求1所述的内镜导航系统,其特征在于,所述掩膜获取模块包括器械分割单元,所述器械分割单元用于利用实例分割网络对所述视频帧图像进行处理,以得到所述手术器械掩膜。
3.根据权利要求2所述的内镜导航系统,其特征在于,所述主方向获取模块包括:
4.根据权利要求3所述的内镜导航系统,其特征在于,所述主轴检测单元包括:
5.根据权利要求4所述的内镜导航系统,其特征在于,所述目标像素点获取子单元用于根据所述手术器械的掩膜从对应所述手术器械的像素点中选取若干对像素点,对于每对所述像素点分别组成的直线,获取对应所述手术器械的其他像素点到所述直线的第一距离,根据对应相同所述直线的所述第一距离之和确定一对所述像素点作为所述目标像素点;其中,所述其他像素点为组成所述直线的所述像素点以外的像素点。
6.根据权利要求1所述的内镜导航系统,其特征在于,所述视野遮挡信号在所述手术器械的尖端位置处于所述内镜的视野的预设安全区域以外时触发;
7.根据权利要求6所述的内镜导航系统,其特征在于,所述内镜导航系统还包括安全区域划分模块,所述安全区域划分模块用于将所述内镜的视野划分为若干个区域,基于所述若干个区域确定所述预设安全区域。
8.根据权利要求7所述的内镜导航系统,其特征在于,所述安全区域划分模块还用于响应于用户选择目标区域,将所述目标区域设置为所述预设安全区域。
9.根据权利要求1-8中任一项所述的内镜导航系统,其特征在于,所述导航模块用于生成多个所述移动方向;
10.一种内镜导航方法,其特征在于,所述内镜导航方法包括:
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行计算机程序时,实现如权利要求10所述的内镜导航方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求10所述的内镜导航方法。