本公开涉及一种用于在对患者的外科手术中导航以跟踪/追踪在手术中使用的至少一个医学器械的外科手术导航系统。此外，本公开涉及根据并列权利要求的前序部分的导航塔、导航方法以及计算机可读存储介质。
背景技术：
1、通常，外科手术导航仅可以利用特殊器械来执行，该特殊器械具有带有标记、例如红外参考点的特殊标记系统或电磁追踪系统。这些器械被称为指针或指示器并且特别适于用其尖端标记在三维空间中的位置，该位置由导航系统检测。
2、现在为了在手术期间获得所需的导航信息，用户、例如外科医生必须中断其工作流程，将专门适配的(指针)器械拿在他的手中并且引导到所希望的位置，其中，(指针)器械的唯一功能是提供导航信息。在各个器械之间的这种连续变化不利地延长了对患者的手术并且还导致外科医生疲劳。此外，总是提供多个具有不同功能的医学器械。
3、此外，当前存在的问题是，导航系统通常使用外部摄像头系统，例如与手术区域间隔地布置的立体摄像头。因此在外科手术导航系统中，例如在基于红外的导航系统中，在手术区域的不清楚的环境中，视线内的可视区域被强烈地限制，尤其是当导航系统和手术显微镜同时使用时。器械的跟踪被暂时中断并且跟踪的准确度也恶化。此外，在用于摄像头系统的可敞开的可视区域方面要遵守限制，这些限制进一步使对患者的手术变得困难。
技术实现思路
1、因此本公开的任务和目标是提供一种外科手术导航系统、一种导航塔、一种导航方法以及一种计算机可读存储介质，其避免或至少减少了现有技术的缺点。尤其，应提供一种外科手术导航系统和导航方法，其提供医学器械的更高准确度的跟踪/追踪并允许手术区域的连续且不中断的跟踪和甚至更好的检测。用户、尤其是外科医生应当获得更好的和更安全的导航模式。此外，一个子任务是更好地支持并且更快地执行外科手术工作流程。另外的子任务可以视为，将现有的外科手术器械用作指针器或者至少仅须略微改变、尤其仅须补充现有的外科手术器械。此外，另外的子任务是，提高在手术期间的可供使用的导航时间。
2、本公开的任务在这种类型的外科手术导航系统方面根据本发明通过权利要求1的特征来解决，在这种类型的导航塔方面根据本发明通过权利要求9的特征来解决，在导航方法方面根据本发明通过权利要求10的特征来解决并且在计算机可读的存储介质方面根据本发明通过权利要求14的特征来解决。
3、因此本公开的基本构思可以在于，在外科手术导航系统和导航方法中，不是直接地和绝对地例如通过摄像头系统检测医学器械，而是间接地一方面通过成像医学装置的拍摄头的跟踪，该成像医学装置比摄像头系统更靠近手术区域布置，并且另一方面通过拍摄头本身对医学器械的跟踪，使得通过两个跟踪的串联连接可计算或可确定器械的位置和/或取向。如果患者相对于导航系统配准，则也相对于患者配准3d拍摄数据、尤其是手术前的3d拍摄数据、如mrt拍摄和/或ct拍摄，并且可以在3d拍摄数据中为导航确定器械的确定的位置和/或取向并且然后向用户呈现该位置和/或取向。
4、在一定程度上设置了具有至少两部分的顺序跟踪的器械的直接跟踪的解耦，即一部分是拍摄头的跟踪，并且另一部分是通过拍摄头进行的器械的独立跟踪。两个跟踪提供了两个单独的(坐标)变换，其被关联在一起以获得待跟踪器械的变换。由于该独立性，也可以使用不同的跟踪系统和/或方法，使得可以使用与拍摄头对准并且适于较大距离的追踪系统来跟踪拍摄头，同时也可以针对手术区域中的较小距离执行不同的并且特别适配的跟踪以跟踪器械。以这种方式甚至可以检测常见的、例如标准化的医学器械、尤其是外科手术器械，这在现有技术中是不可能的。
5、通过这种至少耦联/关联的两部分的或两阶段的串行跟踪，由于成像医学装置(尤其是立体显微镜)的(拍摄头)与所使用的器械之间的距离小，可以实现特别高的追踪准确度/高跟踪精度。同样以这种方式避免了例如在外部导航摄像头的情况下视线的问题，因为导航摄像头不必自己观察待跟踪的器械，而仅需要观察成像医学装置的拍摄头，尤其是具有手术显微镜的光学系统的显微镜头。还有利的是，外科手术工作流程不会由于使用导航系统而中断，因为通过由成像装置的拍摄头对器械的检测和跟踪也可以跟踪标准器械，并且不必用导航器械、如指针来更换。
6、而且，由于可以用于外科医生的净导航时间进一步增加，所以利用导航方法的手术变得更加安全。外科手术标准器械在其整个使用过程中都被导航。
7、换言之，提供一种用于在对患者的外科手术中导航以跟踪至少一个对象、尤其医学器械的外科手术导航系统，具有：呈现装置，尤其是监控器，用于呈现可视内容；至少一个待跟踪的对象，尤其是医学器械；医学成像装置，具有拍摄头，该拍摄头适于在患者中创建手术区域的光学拍摄或可视拍摄，以及在患者的外科手术区域中检测待跟踪的对象、尤其医学器械并且相对于拍摄头跟踪/追踪待跟踪的对象；(外部)追踪系统/跟踪系统，其适于至少检测成像装置的拍摄头并相对于追踪系统进行跟踪，以及检测并且尤其是跟踪具有用于配准的手术区域的患者的至少一个部分区段；数据提供单元，尤其是存储单元，所述数据提供单元适于提供所述患者的数字3d拍摄数据，尤其是手术前的3d拍摄数据；以及控制单元，所述控制单元适于处理所述成像装置的数据、所述追踪系统的数据以及所提供的3d拍摄数据，并且通过将从所述追踪系统到所述拍摄头的跟踪和从所述拍摄头到所述对象、尤其器械的跟踪的(变换或变换矩阵的)关联，确定待跟踪的对象、尤其器械、尤其器械的器械尖端的位置和/或取向，并且将其传递到关于追踪系统配准的患者的3d拍摄数据上并且通过呈现装置可视地输出所述3d拍摄数据。控制单元可以与关于患者配准的3d拍摄数据以及器械的该确定的/计算的位置和/或取向创建关联呈现并且通过呈现装置可视地输出该关联呈现。以这种方式，外科医生可以在例如手术监控器上在3d拍摄数据中显示(虚拟)器械，尤其是器械尖端的精确位置。
8、因此可以基于所检测的患者、所检测的拍摄头和通过拍摄头检测的器械，关于3d拍摄数据确定器械、尤其器械尖端的位置和/或取向。以这种方式，能够相对于患者的3d拍摄数据(3d图像)实现外科手术器械的位置确定和/或取向确定。
9、因此提供了一种导航系统，用于跟踪外科手术器械并显示其在手术期间相对于患者的3d拍摄数据(3d图像组)的位置、尤其是其方位，其中，利用光学系统跟踪该器械，再由导航系统的追踪系统追踪光学系统，并且患者也由导航系统跟踪(用于与3d拍摄数据配准)。
10、术语“位置”指的是三维空间中的几何位置，其尤其借助笛卡尔坐标系的坐标来说明。尤其该位置可以由三个坐标x、y和z说明。
11、术语“取向”又说明了在空间中的定向(大约在该位置处)。也可以说，通过取向以在三维空间中的方向说明或旋转说明来说明定向。尤其是，该取向可以借助三个角度来说明。
12、术语“方位”既包括位置也包括取向。尤其该方位可以借助六个坐标来说明，三个位置坐标x、y和z以及三个用于取向的角坐标。
13、在此，术语3d定义了，拍摄数据在空间上、即三维地呈现。患者的身体或身体的具有空间范围的至少一个部分区域可以在具有例如笛卡尔坐标系(x、y、z)的三维空间中数字地作为拍摄数据存在。
14、待跟踪的医学器械例如可以是吸管或镊子，利用其远侧的器械尖端可以特别精确地定义空间中的点。通过外科手术导航系统当然也可以跟踪(较小的)医学设备。
15、有利的实施方式在从属权利要求中被要求保护并且尤其在下面阐述。
16、根据优选的实施方式，所述医学成像装置是外科手术显微镜和/或医学内窥镜/手术内窥镜，其适于执行用于跟踪的空间检测，并且尤其具有用于检测深度信息的3d摄像头系统。例如在开颅手术中，手术显微镜在手术期间支持外科医生。利用外科手术导航系统的追踪系统来跟踪手术显微镜的显微镜头的位置。尤其，在手术期间使用立体手术显微镜来识别外科手术器械并且计算其相对于显微镜的图像传感器的相对位置。因此成像装置(视觉系统)可以是手术显微镜或手术内窥镜。尤其，外科手术导航系统因此可以与外科手术显微镜、尤其立体显微镜结合使用，其中，控制单元特别适于提供相应的导航数据。利用(通常的)手术显微镜能够将手术区域的感兴趣部分以几厘米的距离进行瞄准并且特别精确地定位和跟踪器械。
17、根据另外的优选实施方式，医学成像装置的拍摄头可以具有用于立体拍摄的立体摄像头，并且控制单元尤其是适于借助来自立体拍摄的机器视觉检测所述器械的、尤其所述器械尖端的相对于所述拍摄头的空间的三维的位置和/或取向。换句话说，成像装置可以包括具有深度信息的立体摄像头系统和/或3d摄像头系统。因此仅控制单元必须相应地适于评估，并且可以使用标准化的设备，例如具有端侧立体摄像头的立体显微镜或内窥镜。
18、根据本公开的另外的实施例，导航系统可以具有图像分析器件，该图像分析器件适于借助机器视觉从至少两个拍摄视角、尤其立体拍摄执行器械的空间三维检测。换句话说，导航系统可以包括具有至少一个摄像头的摄像头系统并且基于机器视觉执行器械的三维检测和跟踪。
19、优选地，控制单元可以适于借助图像处理(分析)技术和/或借助立体拍摄/立体图像的三角测量和/或借助立体拍摄的视差重叠的重建来确定器械的三维位置和/或取向。尤其，控制单元也可以适于借助3d重建的原理和根据立体拍摄的位置确定来执行导航。在此，尤其是对于立体拍摄的左图像中的每个像素，在右图像中查找相应的像素。这两个像素的位置被用于计算该像素的表观深度。备选地或附加地，可以使用图像处理技术来计算外科手术器械相对于拍摄头的方位(3d位置)。尤其，通过根据三角测量原理在左图像和右图像中识别器械，可以确定器械的方位(3d位置)。备选地或附加地，可以通过立体拍摄的视差重叠的重建来确定位置和/或取向。在这种深度图/视差图中识别器械并且直接由相应的深度值计算其方位(3d位置)。在此可以使用以下方法来执行器械的识别：用于左拍摄或右拍摄的每个彩色图像的图像处理方法；(同时)使用一对左拍摄和右拍摄的图像处理方法；使用单个视差图/深度图的图像处理方法；或者还有使用上述图像处理方法的组合的图像处理方法。尤其，机器视觉方法还包括在使用神经网络或图像变换(视觉变换器)情况下的深度学习方法；手工设计特征，例如线识别或颜色识别；或者3d模型到拍摄的适配。尤其，优选地通过机器视觉、通过外科手术(立体手术)显微镜跟踪至少一个器械，并且通过导航系统的追踪系统跟踪手术显微镜自身。
20、尤其，拍摄头所检测的预定的/限定的光学图案可以被设置、尤其是集成在待跟踪的医学器械的光学可见外侧上，尤其是在器械的远侧端部或端部区段上。所述控制单元本身适于识别和解密所述光学图案或将所述光学图案与存储在存储单元中的参考进行比较并且基于所检测的光学图案来确定器械尖端的相对于所述光学图案的位置或所述器械的几何形状。因此控制单元可以通过光学图案获得关于器械尖端的位置或器械的几何形状的信息。因此所述至少一个器械具有尤其集成在远侧端部或端部区段中的预定义的光学图案/光学标记并且由拍摄头检测。通过光学图案传输的信息可能是有用的，因为由于器械尖端的遮蔽或在器械的低对比度的情况下，难以识别器械尖端的准确位置。然而，识别器械的主体区段上的特定光学图案明显更简单，并且控制单元可以利用该信息来推断器械尖端的位置。一个优点是，提供了导航的还更好的人体工程学。尤其是，在导航系统中使用的外科手术器械不被修改或尤其通过优选在尖端的区域处或尖端的区域中的标记仅略微修改。与具有大刚性本体的传统导航器械相比，执行这种看起来相对简单和小的修改以更精确地跟踪器械。例如直接光学标记可以通过在器械上简单雕刻特定图案来实现，例如qr码、数据矩阵码、条形码、线、点或纹理。光学标记可以是qr码、至少两个具有彼此间有预定义距离的环或者其他明确的图案，控制单元可以解密该图案并且尤其可以将该图案与所存储的信息关联。这些光学标记尤其可以用于对器械尖端的位置进行编码和/或指示器械的几何形状。尤其是，预定的光学图案可以是qr码，并且在qr码中编码地存储从qr码到器械尖端的距离，从而能够确定器械尖端的位置。
21、根据另外的实施方式，光学图案可以是qr码，其中，在qr码中编码地保存从qr码到器械尖端的距离，从而能够确定器械尖端的位置。
22、尤其，借助图像处理技术，可以学习现有外科手术器械的可视外观以提供最佳识别精度。
23、根据实施方式，尤其通过经由所述拍摄头和/或所述追踪系统的初始三维检测，在存储单元中保存所述至少一个医学器械、尤其多个医学器械的几何形状，并且所述控制单元基于由所述拍摄头检测的待跟踪器械的部分区段和存储的几何结构来确定所述远侧尖端的位置、尤其是方位。器械的识别尤其可以通过使所述至少一个器械的可视或几何外观统一来简化。因此，不必改变器械并且已知的所存储的几何形状信息用于识别器械的3d形状并且最终确定器械的方位。
24、优选地，追踪系统可以具有基于红外的摄像头系统和/或基于电磁的系统和/或基于imu(惯性测量单元)的跟踪系统。在imu(惯性单元)的情况下，imu可尤其布置在拍摄头中以便跟踪拍摄头。
25、本公开的任务在医学移动式导航塔方面通过以下方式来解决，即，所述医学移动式导航塔具有：根据本公开的导航系统；以及具有用于移动式地放置导航塔的车轮的可行驶的基础/可移动的车。通过作为紧凑的移动式单元的设计方案，导航塔可以灵活地放置在手术室中的不同位置处。因此提出了一种具有根据本公开的导航系统的医学移动式的和可滚动的车，该车尤其具有实现控制单元的计算机和监控器。
26、在用于在患者的外科手术中导航以跟踪/追踪至少一个医学器械的导航方法方面，尤其在本公开的外科手术导航系统中，该任务通过步骤解决：
27、相对于所述患者的3d拍摄数据配准患者的、尤其是所述患者的部分区段；
28、通过医学成像装置的拍摄头检测和跟踪待跟踪的器械；
29、通过追踪系统检测和跟踪所述医学成像装置的拍摄头；
30、通过将所述拍摄头的跟踪与所述医学器械的跟踪关联，确定/计算所述医学器械的位置和/或取向；
31、尤其，将所述医学器械的所检测的位置和/或取向传递到所述3d拍摄数据(3da)；并且
32、通过呈现装置输出3d拍摄数据与医学器械的至少所述位置和/或取向的组合呈现。
33、根据实施方式，导航方法还可以具有步骤：通过成像医学装置创建立体拍摄；基于立体拍摄，通过图像处理技术和/或通过三角测量和/或通过视差重叠的重建来创建具有深度信息的深度图；以及基于所述立体拍摄和所述深度图确定所述器械的位置和/或取向。
34、尤其，在所述预定的光学图案是qr码并且在所述qr码中编码地存在所述qr码与所述器械尖端的距离的情况下，所述导航方法还具有步骤：对qr码进行解码；读取与所述器械尖端的距离；确定所述器械尖端的相对于所述拍摄头的位置并且经由所述跟踪拍摄头确定相对于所述3d拍摄数据的位置。
35、在计算机可读存储介质方面，所述任务通过以下方式被满足，即，计算机可读存储介质包括指令，该指令在由计算机实施时使得计算机实施根据本实施方式的导航方法的方法步骤。
36、与本公开的导航系统相关的任何公开都同样适用于本公开的导航方法，反之亦然。
1.一种用于在对患者(p)进行外科手术期间导航以跟踪至少一个医学器械的外科手术导航系统(1)，具有：
2.根据权利要求1所述的外科手术导航系统(1)，其特征在于，所述医学成像装置(6)是外科手术显微镜或医学内窥镜，所述外科手术显微镜或医学内窥镜适于执行用于跟踪的三维检测，尤其具有用于检测深度信息的3d摄像头系统。
3.根据权利要求1或2所述的外科手术导航系统(1)，其特征在于，所述医学成像装置(6)的拍摄头(8)具有用于立体拍摄(a)的立体摄像头，并且所述控制单元(14)尤其适于借助来自立体拍摄(a)的机器视觉检测所述器械(4)的、尤其所述器械尖端(16)的相对于所述拍摄头(8)的位置和/或取向。
4.根据权利要求3所述的外科手术导航系统(1)，其特征在于，所述控制单元(14)适于借助所述立体拍摄(a)的三角测量和/或借助所述立体拍摄(a)的视差重叠的重建来确定所述器械(4)的位置和/或取向。
5.根据前述权利要求中任一项所述的外科手术导航系统(1)，其特征在于，预定的光学图案(20)、尤其是qr码(24)和/或条形码和/或两个间隔开的环(30)布置在待跟踪的医学器械(4)的外侧上、尤其在所述器械(4)的远侧的端部区段上，尤其集成到所述器械(4)中，并且所述控制单元(14)适于将所述光学图案(20)解密或与存储在存储单元中的参考进行比较，并且基于所检测的光学图案(20)来确定器械尖端(16)的相对于所述光学图案(20)的位置或所述器械(4)的几何形状。
6.根据前述权利要求中任一项所述的外科手术导航系统(1)，其特征在于，尤其通过经由所述拍摄头(8)和/或所述追踪系统(10)的初始三维检测，在存储单元(12)中存储所述至少一个医学器械(4)、尤其多个医学器械的几何形状，并且所述控制单元(14)基于由所述拍摄头(8)检测的所述医学器械(4)的部分区段和存储的几何结构来确定所述器械尖端(16)的位置、尤其是方位。
7.根据前述权利要求中任一项所述的外科手术导航系统(1)，其特征在于，所述追踪系统(10)具有基于红外的摄像头系统和/或基于电磁的系统和/或基于imu的追踪系统。
8.根据前述权利要求中任一项所述的外科手术导航系统(1)，其特征在于，所述导航系统(1)具有图像分析器件，所述图像分析器件适于借助于机器视觉从至少两个拍摄视角、尤其是立体拍摄(a)执行对器械(4)的方位的三维空间检测。
9.一种医学移动式导航塔(100)，具有：
10.一种导航方法，用于在外科手术期间在患者(p)处导航，以便尤其在根据前述权利要求中任一项所述的外科手术导航系统(1)中跟踪至少一个医学器械(4)，其特征在于步骤：
11.根据权利要求10所述的导航方法，其特征在于，所述导航方法还具有步骤：
12.根据权利要求10或11所述的导航方法，其特征在于，所述导航方法还具有步骤：
13.根据权利要求12所述的导航方法，其特征在于，在所述预定的光学图案是qr码(24)并且在所述qr码(24)中编码地存在所述qr码(24)与所述器械尖端(16)的距离的情况下，所述导航方法具有步骤：
14.一种计算机可读存储介质，包括指令，所述指令在由计算机实施时使得所述计算机实施根据权利要求10至13中任一项所述的导航方法的方法步骤。
