一种基于近红外三目立体视觉的光学追踪系统及方法与流程

1.本发明涉及医疗器械技术领域，具体涉及一种基于近红外三目立体视觉的光学追踪系统及方法。


背景技术：

2.光学追踪系统主要由多目立体视觉平台和手术靶标组成。为了消除环境光对标记点提取的影响，系统往往在近红外波段工作。标定后的多相机从不同角度拍摄靶标，由于手术靶标是刚体，各个标记点与工作点之间的距离被提前标定，因此工作点的位置可以被计算获得。此方法可以被用到很多工作点被遮挡或难以测量的领域。例如，口腔种植手术，医生需要使用种植手机在患者缺牙位钻孔，医生的视线极易被遮挡，钻孔的深度和角度往往需要凭医生的经验进行判断。采用光学追踪系统，可以在种植手机上安装光学标记点，通过追踪光学标记点，获得种植手机钻头的位置，对其进行实时的定位和跟踪。
3.由于光学追踪系统在很多领域具有重要作用，过去几十年，大量的科研人员，在光学导航系统的研究中做出了自己的贡献。
4.早期的光学追踪系统主要应用于工业领域，从上世纪90年代开始，随着计算机辅助技术和光学定位技术发展，光学导航系统逐渐应用于医疗领域。
5.1990年，第一台红外手术导航系统stealthstation系统由medtronic公司推出后，手术导航的发展进入了井喷期。目前，在手术导航领域比较具有代表性的国外机构有霍普金斯大学国家科学基金工程中心的计算机集成外科手术系统与技术组、斯坦福大学图像导航实验室、卡耐基梅隆大学与西宾夕法尼亚医院合作的医学机器人与计算机辅助外科手术研究中心麻省理工学院计算机科学与人工智能实验室医学视觉组等。许多国外的医疗器械公司也竞相投入手术导航开发中，比如东芝、美敦力、西门子、飞利浦、通用医疗等。目前市场上大部分产品是光学手术导航系统。其中polaris系统被认为是导航仪的国际标准，而stealthstation系统是唯一通过fda认证可用于全身的手术导航系统。他们是目前手术导航系统的两大主流产品，代表着国际上手术导航系统的最高水平。以ndi公司的polaris系统为例，目前的技术水平为：测量精度为0.35mmrms；能同时跟踪9个被动手术器械和3个主动手术器械；数据最大更新率为60hz。国内对于手术导航系统的研究起步比较晚。从事这项研究的单位主要集中在上海交通大学、复旦大学、北京航空航天大学、清华大学、北京大学、浙江大学、华南理工大学、东南大学、安科公司和上海英迈吉东影设备有限公司等单位。复旦大学附属华山医院神经外科在1997年首度引进第一台手术导航设备；安科公司在1999年推出了第一台国产手术导航系统；复旦大学数字医学研究中心于2006年推出高精度神经外科手术导航系统。这些产品无论从精度上还是智能化水平上，与国际先进水平还有较大差距。而且从事研究的国内机构，研究方向主要偏重于理论，缺少能真正应用于实际外科手术中的高精度动态导航仪。因此，研发高精度智能口腔种植导航仪对提升国产医疗导航仪理论和装备水平、提高口腔种植的精确性及安全性、满足国人不断提高的口腔医疗需求有重要的实用价值。
6.目前的光学追踪系统存在两大问题，其一是精度低，现阶段光学追踪系统主要生产厂家为加拿大ndi北极星动态导航系统，精度可以达到0.35mm，但是由于双目视觉本身的限制，精度很难进一步提升；其二是遮挡问题，现有光学追踪系统一旦某一相机遮挡或光学标记点不在共同视野中，整个系统将无法工作。因此，提出一种基于近红外三目立体视觉的光学追踪系统及方法。


技术实现要素：

7.本发明所要解决的技术问题在于：如何解决目前的光学追踪系统存在的遮挡等问题，提供了一种基于近红外三目立体视觉的光学追踪系统。
8.本发明是通过以下技术方案解决上述技术问题的，本发明包括相机标定模块、数据采集模块、三维重建模块、手术器械重建模块、数据的读取与存储模块、实时显示与导航模；
9.所述相机标定模块，用于进行近红外三目视觉平台的标定；
10.所述数据采集模块，用于进行图像信息的采集；
11.所述三维重建模块，用于进行手术器械上光学标记点的空间位置三维重建；
12.所述手术器械重建模块，用于通过手术器械欧式距离特征识别手术器械；利用手术器械的结构特征和手术器械标记点的位置进行手术器械三维重建，得到手术器械的工作点三维空间位置和手术器械的姿态；
13.所述数据的读取与存储模块，用于进行口腔颌骨模型数据、手术器械模型数据以及其它辅助器械模型数据的加载和计算数据的存储；
14.所述实时显示与导航模块，用于对软件界面中的手术器械位置和姿态进行实时更新，并用于实时记录数据。
15.更进一步地，光学标记点包括主动式和被动式两种，被动式为反光球，主动式为红外发光二极管组件。
16.更进一步地，图像中的光斑中心对应为光学标记点。
17.更进一步地，手术器械上设置有至少三个红外发光二极管组件，所述红外发光二极管组件发出的红外光被相机采集，利用红外发光二极管组件在图像中所成光斑中心的位置求得手术器械的姿态，利用工作点与标记点的关系求取工作点位置。
18.本发明还提供了一种基于近红外三目立体视觉的光学追踪方法，利用上述的追踪系统对手术器械的位置和姿态进行实时追踪，包括以下步骤：
19.s1：利用左中右三台摄像机拍摄同一靶标，对采集的图像进行自适应阈值分割，利用查找连通域的方式求取标记点光斑，计算光斑中心并根据标定结果进行畸变矫正；
20.s2：进行左中右图像标记点匹配，根据左中右摄像机的内外参数，求得匹配后的标记点在左摄像机坐标系下的三维坐标；
21.s3：在将手术器械模型数据导入计算机时，利用标记点对手术器械进行注册；在手术器械实时跟踪的过程中，通过手术器械欧式距离特征识别手术器械；系统实现对手术器械上标记点的实时定位，计算出手术器械的旋转和平移矩阵；并利用手术器械的模型数据和手术器械标记点的位置信息，得到手术器械的工作点三维空间位置和手术器械的姿态，同时对软件界面中的手术器械位置和姿态进行实时更新。
22.更进一步地，在术前手术器械的标定过程中，测得手术器械上各标记点的坐标，计算各标记点间世界坐标系下欧式距离，作为手术器械的结构特征。
23.更进一步地，左摄像机坐标系下为标定后世界坐标系。
24.本发明相比现有技术具有以下优点：该基于近红外三目立体视觉的光学追踪系统，三台相机从斜上方进行摄像，采用相机与平面镜组合的形式，可以在相同的尺寸空间获得更大的基线距离，布局更加紧凑，处于同一平面，安装更加方便；通过调节反光镜的角度，可以调节相机的视场；还在相机的顶端安装小型的激光器，能够在测量前快速地确定相机光轴在空间的角度交会位置，能直观地估计出各相机在空间的聚焦区域，方便放置目标物，值得被推广使用。
附图说明
25.图1是本发明实施例二中的通讯结构框图；
26.图2是本发明实施例二中三台相机的位置示意图；
27.图3是本发明实施例二中软件处理流程图；
28.图4是本发明实施例二中相机同步处理示意图；
29.图5是本发明实施例三中的软件界面图。
30.图2中：1、平面镜；2、镜头；3、激光器；4、信号触发接口；5、数据传输接口；6、相机；7、滤波片；
31.图4中：21、相机；22、ps与pl；23、上位机。
具体实施方式
32.下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
33.实施例一
34.本实施例提供一种技术方案：一种基于近红外三目立体视觉的光学追踪系统，包括相机标定模块、数据采集模块、三维重建模块、手术器械重建模块、数据的读取与存储模块、实时显示与导航模；
35.所述相机标定模块，用于进行近红外三目视觉平台的标定；
36.所述数据采集模块，用于进行图像数据的采集；
37.所述三维重建模块，用于对手术器械上光学标记点的空间位置三维重建；
38.所述手术器械重建模块，用于通过手术器械欧式距离特征识别手术器械；利用手术器械的结构特征和手术器械标记点的位置进行手术器械三维重建，得到手术器械的工作点三维空间位置和手术器械的姿态；
39.所述数据的读取与存储模块，用于进行口腔颌骨模型数据、手术器械模型数据以及其它辅助器械模型数据的加载和计算数据的存储；
40.所述实时显示与导航模块，用于对软件界面中的手术器械位置和姿态进行实时更新，并用于实时记录数据。
41.在本实施例中，近红外三目视觉平台包括三台相机和三个反光镜，三台所述相机
安装在同一平面，位于手术位置的斜上方，三个所述反光镜分别设置在所述相机的镜头处，通过调节反光镜的角度，调节相机的视场区域。
42.在本实施例中，手术器械上设置有至少三个红外发光二极管组件，所述红外发光二极管组件发出的红外光被相机采集，利用红外发光二极管组件在图像中所成光斑中心的位置求得手术器械的姿态，利用工作点与标记点的关系求取工作点位置，标记点即红外发光二极管组件在图像中所成光斑中心。
43.本实施例还提供了一种基于近红外三目立体视觉的光学追踪方法，利用上述的追踪系统对手术器械的位置和姿态进行实时追踪，包括以下步骤：
44.s1：利用左中右三台摄像机拍摄同一靶标，对采集的图像进行自适应阈值分割，利用查找连通域的方式求取标记点光斑，计算光斑中心并根据标定结果进行畸变矫正；
45.s2：进行左中右图像标记点匹配，根据左中右摄像机的内外参数，求得匹配后的标记点在左摄像机坐标系下的三维坐标；
46.s3：在将手术器械模型数据导入计算机时，利用标记点对手术器械进行注册；在手术器械实时跟踪的过程中，通过手术器械欧式距离特征识别手术器械；系统实现对手术器械上标记点的实时定位，计算出手术器械的旋转和平移矩阵；并利用手术器械的模型数据和手术器械标记点的位置信息，得到手术器械的工作点三维空间位置和手术器械的姿态，同时对软件界面中的手术器械位置和姿态进行实时更新。
47.在本实施例中，在术前手术器械的标定过程中，测得手术器械上各标记点的坐标，计算各标记点间世界坐标系下欧式距离，作为手术器械的结构特征。
48.在本实施例中，左摄像机坐标系下为标定后世界坐标系。
49.实施例二
50.本实施例的光学追踪系统主要包括如下设计内容：
51.1、硬件系统设计
52.1.1、数据同步和实时处理设计
53.在硬件系统设计中，数据同步与实时处理为基本要求。三目立体视觉平台，三台相机拍摄同一时刻的多个靶标，且需要进行实时的处理和模型渲染，若不进行硬件加速，普通的工程机无法做到；三台相机同时采集，可以采用外部触发，需要提供外部时钟脉冲。xilinx可扩展处理平台zynq系列模块是较优的选择。相机与通过usb3.0接口与fpga芯片传输数据，利用fpga芯片做硬件加速。通讯结构框图如图1所示。
54.在图1中，ps为处理系统(processing system)，在本实施例中为fpga芯片；pl，可编程逻辑(programmable logic)，在本实施例中为xilinx可扩展处理平台zynq系列模块；axi全称advancedextensibleinterface，是xilinx从6系列的fpga开始引入的一个接口协议，主要描述了主设备和从设备之间的数据传输方式。
55.1.2、光学系统设计
56.硬件系统设计中，光学系统设计是重点，包括选择相机、发光二极管(靶标的构成核心)、滤波片和反光镜(平面镜)，使它们的光谱特性相互匹配，去除背景光干扰，以得到良好的图像质量，有利于提高光学追踪系统的精度。立体视觉是将图片2d信息恢复3d信息的过程。其中通过视差恢复深度方向信息，因此基线越长，深度方向重建精度越高。在窄基线前提下，基线越长，设备整体尺寸越大，越易受遮挡。如图2所示，为了进一步解决遮挡问题，
在实际手术过程中，三台相机从斜上方进行摄像，为了优化设计，采用相机与平面镜组合的形式。可以在相同的尺寸空间获得更大的基线距离、三台相机布局更加紧凑，处于同一平面安装方便，通过调节反光镜的角度，可以调节相机的视场区域。三目立体视觉平台中各外壳采用热膨胀系数较小的碳纤维材料，降低温度导致的基线改变对精度的影响。
57.2、软件系统设计
58.在控制软件设计阶段，采用自顶向下的模式进行设计。必须得划分相应的功能区域，功能与模块逐一对应，保障每个模块的独立性，同时也需要保障模块之间信息的共享与模块间层次关系。
59.模块包括：相机标定模块；数据采集模块；三维重建模块；手术器械重建模块；数据的读取与存储模块；实时显示与导航模块。主要内容：界面编写；近红外多摄像机标定算法；左中右图像采集和预处理算法；光学标记点的识别与三维重建算法；手术器械的分割算法；术前手术器械的注册算法；术中手术器械的识别与位置姿态更新算法。
60.如图3所示，左中右三台摄像机拍摄同一靶标，对采集的图像进行中值滤波处理，并对灰度信息进行统计，计算出合适阈值，进行自适应阈值分割，利用查找连通域的方式求取光学标记点在图像中的光斑，计算光斑中心并根据三目视觉相机标定结果对图像的畸变进行矫正，然后进行左中右图像光学标记点匹配，根据左中右摄像机的内外参数，求得匹配后的光学标记点在左摄像机坐标系下的三维坐标(左摄像机坐标系为标定后世界坐标系)。
61.在术前手术器械的标定过程中，测得手术器械上光学标记点的坐标，计算各光学标记点间世界坐标系下欧式距离，作为手术器械的结构特征。
62.在将手术器械模型数据导入计算机时，利用光学标记点对手术器械进行注册；在手术器械实时跟踪的过程中，通过手术器械欧式距离特征识别手术器械；三目视觉系统实现对手术器械上光学标记点的实时定位，可以计算出手术器械的旋转和平移矩阵；由于手术器械是刚体，利用手术器械的模型数据和手术器械光学标记点的位置信息，可以得到手术器械的工作点三维空间位置和手术器械的姿态。对软件界面中的手术器械位置和姿态进行实时更新。
63.手术器械光学标记点包括主动式和被动式两种，被动式为反光球，主动式为led。
64.手术导航部分通过立体图像配准将各个影像投射在同一个坐标系下，口腔模型的三维影像中带有光学标记点，术中通过匹配实际空间和三维影像中的光学标记点，使得计算机屏幕中可以实时显现手术器械在口腔内运动的位置和运动轨迹。
65.在手术导航过程中，可以实时查看导航的各项参数，包括手术器械的位置和姿态，并可以实时记录数据，便于术后分析。
66.基于三目立体视觉的光学追踪系统是一套完整的系统，由三目立体视觉平台、光学靶标、控制软件三部分组成，可独立完成对光学靶标的实时追踪、显示、记录等功能，也可与外科手术器械进行结合，代替医生的眼睛，实时显示手术器械与病灶部位解剖结构的位置和方向，最大限度降低手术创伤。在外科手术、机器人等领域具有广泛的应用前景。
67.实施例三
68.采用基于近红外三目立体视觉的光学追踪系统和口腔颌骨模型(设计有15个标记点)进行一系列实验。以口腔颌骨模型定位实验举例。
69.以下为操作过程说明：
70.1、将设备放置在合适的区域，并在前端放置标记板，设置相机参数，点击“开始采集”，采集一系列近红外标定板样张，采用matlab张氏标定包对三目视觉系统进行标定；
71.2、使用自编程序求取相机之间的基础矩阵；
72.3、点击“相机参数设置”，将标定结果填入自编软件；
73.4、选取“种植手机1”，靶标尖点绕某一定点进行旋转，拍摄五个位置，完成靶标注册；
74.5、主界面开始显示种植手机1的模型，并实时显示位置和姿态，靶标尖点坐标可以在数据显示框中读出；
75.6、靶标尖点点击口腔颌骨上凹坑，靶标尖点放置凹坑中，在软件界面，点击一次“注册”。需要注意，口腔颌骨固定，点击凹坑顺序需要与程序中标注顺序一致。五次点击后，口腔颌骨注册完成，颌骨模型出现在显示界面；
76.7、靶标尖点再次点击口腔颌骨上标记点，软件会记录坐标和偏差，完成定位实验。
77.需要说明的是，口腔颌骨位置与姿态的测量，也可以通过固定在颌骨上的光学标记点进行计算。现阶段，由于口腔颌骨夹持装置、万能连接杆、参考板还没用适配，因此采用这种方式去获得口腔颌骨世界坐标系下的位置和姿态。
78.综上所述，上述实施例的基于近红外三目立体视觉的光学追踪系统，三台相机从斜上方进行摄像，采用相机与平面镜组合的形式，可以在相同的尺寸空间获得更大的基线距离，布局更加紧凑，处于同一平面，安装更加方便；通过调节反光镜的角度，可以调节相机的视场；还在相机的顶端安装小型的激光器，能够在测量前快速地确定相机光轴在空间的角度交会位置，能直观地估计出各相机在空间的聚焦区域，方便放置目标物，值得被推广使用。
79.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于近红外三目立体视觉的光学追踪系统，其特征在于，包括相机标定模块、数据采集模块、三维重建模块、手术器械重建模块、数据的读取与存储模块、实时显示与导航模；所述相机标定模块，用于进行近红外三目视觉平台的标定；所述数据采集模块，用于进行图像信息的采集；所述三维重建模块，用于进行手术器械上光学标记点的空间位置三维重建；所述手术器械重建模块，用于通过手术器械欧式距离特征识别手术器械；利用手术器械的结构特征和手术器械光学标记点的位置进行手术器械三维重建，得到手术器械的工作点三维空间位置和手术器械的姿态；所述数据的读取与存储模块，用于进行患部模型数据的加载和计算数据的存储；所述实时显示与导航模块，用于对软件界面中的手术器械位置和姿态进行实时更新，并用于实时记录数据。2.根据权利要求1所述的一种基于近红外三目立体视觉的光学追踪系统，其特征在于：近红外三目视觉平台包括三台相机和三个反光镜，三台所述相机安装在同一平面，位于手术位置的斜上方，三个所述反光镜分别设置在所述相机的镜头处，通过调节反光镜的角度，调节相机的视场区域。3.根据权利要求2所述的一种基于近红外三目立体视觉的光学追踪系统，其特征在于：图像中的光斑中心对应为光学标记点。4.根据权利要求3所述的一种基于近红外三目立体视觉的光学追踪系统，其特征在于：光学标记点包括主动式和被动式两种，被动式为反光球，主动式为红外发光二极管组件。5.根据权利要求4所述的一种基于近红外三目立体视觉的光学追踪系统，其特征在于：手术器械上设置有至少三个红外发光二极管组件，所述红外发光二极管组件发出的红外光被相机采集，利用红外发光二极管组件在图像中所成光斑中心的位置求得手术器械的姿态，利用工作点与光学标记点的关系求取工作点位置。6.一种基于近红外三目立体视觉的光学追踪方法，其特征在于，利用如权利要求1～5任一项的追踪系统对手术器械的位置和姿态进行实时追踪，包括以下步骤：s1：利用左中右三台摄像机拍摄同一靶标，对采集的图像进行自适应阈值分割，利用查找连通域的方式求取光学标记点光斑，计算光斑中心并根据标定结果进行畸变矫正；s2：进行左中右图像光学标记点匹配，根据左中右摄像机的内外参数，求得匹配后的光学标记点在左摄像机坐标系下的三维坐标；s3：在将手术器械模型数据导入计算机时，利用光学标记点对手术器械进行注册；在手术器械实时跟踪的过程中，通过手术器械欧式距离特征识别手术器械；系统实现对手术器械上光学标记点的实时定位，计算出手术器械的旋转和平移矩阵；并利用手术器械的模型数据和手术器械光学标记点的位置信息，得到手术器械的工作点三维空间位置和手术器械的姿态，同时对软件界面中的手术器械位置和姿态进行实时更新。7.根据权利要求6所述的一种基于近红外三目立体视觉的光学追踪方法，其特征在于：在术前手术器械的标定过程中，测得手术器械上各光学标记点的坐标，计算各光学标记点间世界坐标系下欧式距离，作为手术器械的结构特征。8.根据权利要求7所述的一种基于近红外三目立体视觉的光学追踪方法，其特征在于：
左摄像机坐标系即为标定后世界坐标系。
技术总结
本发明公开了一种基于近红外三目立体视觉的光学追踪系统及方法，属于医疗器械技术领域，包括三台配置一致的相机、镜头、相机支架、云台、反光镜、红外带通滤波片、主动式靶标、Xilinx可扩展处理平台Zynq系列、上位机。本发明三台相机从斜上方进行摄像，采用相机与平面镜组合的形式，可以在相同的尺寸空间获得更大的基线距离，布局更加紧凑，处于同一平面，安装更加方便；通过调节反光镜的角度，可以调节相机的视场；还在相机的顶端安装小型的激光器，能够在测量前快速地确定相机光轴在空间的角度交会位置，能直观地估计出各相机在空间的聚焦区域，方便放置目标物，值得被推广使用。值得被推广使用。值得被推广使用。


技术研发人员：张志宏 陈佳 翟超 毕松林 刘红红 韩倩 吕静 田田 李梦琦
受保护的技术使用者：张志宏
技术研发日：2021.02.26
技术公布日：2021/6/29