基于影像辅助的医学诊断评估系统、方法、介质及终端与流程

1.本发明涉及影像分析技术领域，特别是涉及基于影像辅助的医学诊断评估系统、方法、介质及终端。


背景技术：

2.影像学评估是临床诊断中的重要辅助手段。然而，尽管高精度ct扫描重建技术以及薄层mr成像技术都已相对成熟，但受制于两者的成像原理，临床上进行影像学评估时往往需要同时参考ct、mr以及其他医学影像以做出准确的判断。以人工耳蜗植入术为例，在进行耳蜗植入后的影像学评估时往往需要将术前ct、术前mr及术后ct三组影像进行配准融合，同时辅以三维建模技术以对患者的耳蜗电极植入位置进行评估，这对临床医师而言往往要花费大量的时间，且要求医师对上述各类技术都有较为熟练的掌握。为进一步提高医学诊断评估的准确性，同时缩短医学诊断评估所需的时间，本发明设计了一种基于影像辅助的医学诊断评估方法及系统。
3.另外，除常规的影像配准之外，临床诊断时还可能用到诸如多平面重建(multiplanar reformation，mpr)、曲面重建(cerved projection reformation，cpr)、三维建模技术等其他辅助评价手段。仍然以人工耳蜗植入术为例，耳蜗植入的术后影像学评估，其主要评判指标是耳蜗电极与内耳基底膜的相对位置关系。为直观地体现出上述位置关系，在进行影像配准的同时，往往还需要辅以曲面重建(cpr)以及三维建模技术以进行较为精确的评估。然而，无论是曲面重建还是三维建模，其首要前提必然是配准融合的精度足够高。目前，常见的医学三维建模软件(如mimics、3d slicer等)，虽然可以实现包括图像分割、配准融合、曲面重建、三维建模等功能，但其配准融合往往以手动方式进行配准，在精度上上存在一定不足。另外，上述医学三维建模软件在操作上都有一定的门槛，需要一定的学习与实操才可熟练使用。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的目的在于提供基于影像辅助的植入手术的术后评估系统、方法、介质及终端，用于解决现有技术中术后影像评估不精准等技术问题。
5.为实现上述目的及其他相关目的，本发明的第一方面提供一种基于影像辅助的医学诊断评估系统，包括：影像导入模块，用于导入ct影像、mr影像及模态医学影像；影像配准模块，用于从所述ct影像、mr影像及模态医学影像中确定配准基底影像，并对所确定的配准基底影像粗调节后进行影像配准；曲面重建模块，用于对进行影像配准后的配准基底影像绘制出曲面路径，并根据所绘制的曲面路径生成重建曲面；三维建模模块，用于根据影像模态绘制相应蒙版，并根据蒙版计算生成三维模型后以特定格式进行保存。
6.于本发明的第一方面的一些实施例中，所述影像配准模块包括大体配准子模块，其执行如下步骤：粗配mr影像和ct影像的位置与角度；对mr和ct影像进行大体精确配准。
7.于本发明的第一方面的一些实施例中，所述影像配准模块包括局部配准子模块，其执行如下步骤：粗配mr影像和ct影像的位置与角度；选中需要精确配准的感兴趣区域；对mr影像、ct影像进行局部精准配准。
8.于本发明的第一方面的一些实施例中，所述三维建模模块根据影像模态绘制相应蒙版的方式包括：若影像模态为ct影像，则利用区域生长法绘制电极蒙版；若影像模态为mr影像，则通过手动绘制的方式绘制基底膜蒙版。
9.于本发明的第一方面的一些实施例中，所述曲面重建模块执行如下步骤：选择配准后的影像；根据影像手动绘制曲面路径；根据曲面路径生成重建曲面；微调重建曲面。
10.于本发明的第一方面的一些实施例中，所述三维建模模块根据蒙版计算生成三维模型后以stl文件或特定格式进行保存。
11.为实现上述目的及其他相关目的，本发明的第二方面提供一种基于影像辅助的医学诊断评估方法，包括：导入ct影像、mr影像及其他模态医学影像；从所述ct影像、mr影像及其他模态医学影像中确定配准基底影像，并对所确定的配准基底影像粗调节后进行影像配准；对进行影像配准后的配准基底影像绘制出曲面路径，并根据所绘制的曲面路径生成重建曲面；根据影像模态绘制相应蒙版，并根据蒙版计算生成三维模型后以特定格式进行保存。
12.于本发明的第一方面的一些实施例中，所述影像配准的方法包括大体配准方法或局部配准方法；所述大体配准方法包括粗配mr影像和ct影像的位置与角度；对mr和ct影像进行大体精确配准；所述局部配准方法包括粗配mr影像和ct影像的位置与角度；选中需要精确配准的感兴趣区域；对mr影像及ct影像进行局部精准配准。
13.为实现上述目的及其他相关目的，本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于影像辅助的医学诊断评估方法。
14.为实现上述目的及其他相关目的，本发明的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于影像辅助的医学诊断评估方法。
15.如上所述，本发明的基于影像辅助的医学诊断评估系统、方法、介质及终端，具有以下有益效果：
16.①
本发明可实现高精度的自动影像配准，提高了医学诊断评估的准确性。
17.②
本发明使用方便且使用门槛低，可以大幅缩短医师的评估时间。
18.③
本发明不仅可应用于各类耳科相关疾病(如听神经瘤、人工耳蜗植入的术后评估等)，还可进一步应用于骨科、神经外科等各类需要进行植入术式的术后评估，亦可用于各类肿瘤生长/复发速度的评估，使用范围非常广泛。
附图说明
19.图1显示为本发明一实施例中基于影像辅助的医学诊断评估系统的结构示意图。
20.图2显示为本发明一实施例中影像配准模块的大体配准方法的流程示意图。
21.图3显示为本发明一实施例中影像配准模块的局部配准方法的流程示意图。
22.图4显示为本发明一实施例中三维建模模块的工作流程示意图。
23.图5显示为本发明一实施例中曲面重建模块的工作流程示意图。
24.图6a显示为本发明一实施例中影像导入界面示意图。
25.图6b显示为本发明一实施例中基于大体配准方法的影像配准界面示意图。
26.图6c显示为本发明一实施例中基于局部配准方法的影像配准界面示意图。
27.图6d显示为本发明一实施例中曲面重建界面示意图。
28.图6e显示为本发明一实施例中三维建模界面示意图。
29.图7显示为本发明一实施例中基于影像辅助的医学诊断评估方法的流程示意图。
30.图8显示为本发明一实施例中电子终端的结构示意图。
具体实施方式
31.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
32.需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
33.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
34.再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
35.为进一步提高医学诊断评估的准确性，同时缩短医学诊断评估所需的时间，本发明设计了一种基于影像辅助的医学诊断评估方法及系统。为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
36.值得注意的是，本发明所提供的基于影像辅助的医学诊断评估系统、方法、介质及
终端，不仅可应用于各类耳科相关疾病(如听神经瘤、人工耳蜗植入术后评估等)，还可进一步应用于骨科、神经外科等各类需要进行植入术式的术后评估，亦可用于各类肿瘤生长/复发速度的评估，使用范围非常广泛，本发明也并不限定其所应用的具体手术类别或领域。
37.如图1所示，展示了本发明一实施例中基于影像辅助的医学诊断评估系统的结构示意图。本实施例中的医学诊断评估系统100主要包括影像导入模块101、影像配准模块102、曲面重建模块103、三维建模模块104。其中，所述影像配准模块102可按照需要自由选择配准时的基底影像，且可实现其他医学影像浏览器所具备的基本功能，包括但不限于如窗宽和窗位的调节，长度、角度、面积等基本参数的测量等。
38.在一些示例中，所述影像配准模块102可提供大体配准方法。所述大体配准方法的流程如图2所示，包括步骤s21～s24。步骤s21：导入ct影像；步骤s22：导入mr影像和其他模态医学影像；步骤s23：手动粗配mr和ct位置与角度；步骤s24：利用软件对mr和ct影像进行大体精确配准。
39.在一些示例中，所述影像配准模块102可提供局部配准方法。所述局部配准方法的流程如图3所示，包括步骤s31～s35。步骤s31：导入ct影像；步骤s32：导入mr影像和其他模态医学影像；步骤s33：手动粗配mr影像及ct位置与角度；步骤s34：选中需要精确配准的感兴趣区域；步骤s35：利用软件对mr影像及ct影像进行局部精准配准。
40.需说明的是，本实施例中涉及的蒙版是指选框的外部；区域生长法是一种影像分割技术，基本思想是将具有相似准则的像素合并起来构成区域，对每个需要分割的区域找出一个种子像素作为生长起点，并根据一定的判别准则，将种子像素周围相似的像素进行判别，相似性较高的像素进行合并，如此就像种子一样发芽生长。
41.所述三维建模模块104可根据影像模态进行手工绘制或区域生长以生成建模蒙版。所述三维建模模块104的工作流程如图4所示，包括步骤s41～s44。步骤s41：选择配准后的mr影像及ct影像；步骤s42：根据影像模态生成对应蒙版，即当影像模态为ct时刻选用区域生长法绘制电极蒙版，当影像模态为mr时可手动绘制基底膜蒙版(如利用画笔等工具绘制)；步骤s43：根据蒙版计算生成相应的三维模型；步骤s44：将三维模型输出为stl文件或其他特定格式文件并进行保存。
42.所述曲面重建模块103用于生成重建曲面，具体的工作流程如图5所示，包括步骤s51～s54。步骤s51：选择配准后的影像；步骤s52：根据影像手动绘制曲面路径；步骤s53：根据曲面路径生成重建曲面；步骤s54：微调重建曲面。
43.为便于理解，下文以jei otology 3d mr软件为例来说明，并结合图6a～6e来展示各个基本界面。其中，图6a展示的是影像导入界面，供用户导入影像。图6b展示的是基于大体配准方法的影像配准界面，图中选择配准影像的弹框中显示选择名为“post”的影像或选择名为“mr ciss3d_tra_iso_0.5(fiesta)_7”的影像。图6c展示的是基于局部配准方法的影像配准界面，局部配准需要先框选出感兴趣区(roi区域)，再根据感兴趣区进行高精度局部配准。图6d展示的是曲面重建界面，供选择配准后的术后ct影像并根据影像手动绘制曲面路径，再根据路径生成重建曲面。图6e展示的是三维建模界面，选择配准后的术前mr及术后ct影像；根据影像模态生成对应蒙版，根据蒙版计算生成相应的三维模型，并将三维模型输出为stl文件并进行保存。应理解的是，出于说明性目的而提供以上示例，并且以上示例不应被理解成是限制性的。
44.另需说明的是，以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，影像配准模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上影像配准模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
45.例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital signal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system
‑
on
‑
a
‑
chip，简称soc)的形式实现。
46.如图7所示，展示了本发明一实施例中基于影像辅助的医学诊断评估方法的流程示意图。本实施例中于影像辅助的医学诊断评估方法主要包括步骤s71～s74。
47.步骤s71：导入ct影像、mr影像及其他模态医学影像。
48.步骤s72：从所述ct影像、mr影像及其他模态医学影像中确定配准基底影像，并对所确定的配准基底影像粗调节后进行影像配准。
49.步骤s73：对进行影像配准后的配准基底影像绘制出曲面路径，并根据所绘制的曲面路径生成重建曲面。
50.步骤s74：根据影像模态绘制相应蒙版，并根据蒙版计算生成三维模型后以特定格式进行保存。
51.在一些示例中，所述影像配准的方法包括大体配准方法或局部配准方法；所述大体配准方法包括粗配mr影像和ct影像的位置与角度；对mr和ct影像进行大体精确配准；所述局部配准方法包括粗配mr影像和ct影像的位置与角度；选中需要精确配准的感兴趣区域；对mr影像及ct影像进行局部精准配准。
52.需说明的是，本实施例中基于影像辅助的医学诊断评估方法可应用于控制器，例如arm(advanced risc machines)控制器、fpga(field programmable gate array)控制器、soc(system on chip)控制器、dsp(digital signal processing)控制器、或者mcu(micorcontroller unit)控制器等；也可应用于台式电脑、笔记本电脑、平板电脑、智能手机、智能手环、智能手表、智能头盔、智能电视、个人数字助理(personal digital assistant，简称pda)等个人电脑；还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。
53.如图8所示，展示了本发明一实施例中电子终端的结构示意图。本实施例的电子终
端包括：处理器81、存储器82、通信器83；存储器82通过系统总线与处理器81和通信器83连接并完成相互间的通信，存储器82用于存储计算机程序，通信器83用于和其他设备进行通信，处理器81用于运行计算机程序，使电子终端执行如上基于影像辅助的医学诊断评估方法的各个步骤。
54.上述提到的系统总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
55.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
56.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于影像辅助的医学诊断评估方法。
57.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
58.于本发明提供的实施例中，所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、eeprom、cd
‑
rom或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、u盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
59.综上所述，本发明提供基于影像辅助的医学诊断评估系统、方法、介质及终端，本发明可实现高精度的自动影像配准，提高了医学诊断评估的准确性；本发明使用方便且使用门槛低，可以大幅缩短医师的评估时间；本发明不仅可应用于各类耳科相关疾病(如听神经瘤、人工耳蜗植入的术后评估等)，还可进一步应用于骨科、神经外科等各类需要进行植入术式的术后评估，亦可用于肿瘤生长/复发速度的评估，使用范围非常广泛。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
60.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

技术特征：
1.一种基于影像辅助的医学诊断评估系统，其特征在于，包括：影像导入模块，用途至少包括导入ct影像、mr影像；影像配准模块，用于从所述ct影像、mr影像及模态医学影像中确定配准基底影像，并对所确定的配准基底影像粗调节后进行影像配准；曲面重建模块，用于对进行影像配准后的配准基底影像绘制出曲面路径，并根据所绘制的曲面路径生成重建曲面；三维建模模块，用于根据影像模态绘制相应蒙版，并根据蒙版计算生成三维模型后以特定格式进行保存。2.根据权利要求1所述的医学诊断评估系统，其特征在于，所述影像配准模块包括大体配准子模块，其执行如下步骤：粗配mr影像和ct影像的位置与角度；对mr和ct影像进行大体精确配准。3.根据权利要求1所述的医学诊断评估系统，其特征在于，所述影像配准模块包括局部配准子模块，其执行如下步骤：粗配mr影像和ct影像的位置与角度；选中需要精确配准的感兴趣区域；对mr影像及ct影像进行局部精准配准。4.根据权利要求1所述的医学诊断评估系统，其特征在于，所述三维建模模块根据影像模态绘制相应蒙版的方式包括：若影像模态为ct影像，则利用区域生长法绘制电极蒙版；若影像模态为mr影像，则通过手动绘制的方式绘制基底膜蒙版。5.根据权利要求1所述的医学诊断评估系统，其特征在于，所述曲面重建模块执行如下步骤：选择配准后的影像；根据影像手动绘制曲面路径；根据曲面路径生成重建曲面；微调重建曲面。6.据权利要求1所述的医学诊断评估系统，其特征在于，所述三维建模模块根据蒙版计算生成三维模型后以stl文件或特定格式进行保存。7.一种基于影像辅助的医学诊断评估方法，其特征在于，包括：导入ct影像、mr影像及模态医学影像；从所述ct影像、mr影像及模态医学影像中确定配准基底影像，并对所确定的配准基底影像粗调节后进行影像配准；对进行影像配准后的配准基底影像绘制出曲面路径，并根据所绘制的曲面路径生成重建曲面；根据影像模态绘制相应蒙版，并根据蒙版计算生成三维模型后以特定格式进行保存。8.根据权利要求7所述的医学诊断评估方法，其特征在于，所述影像配准的方法包括大体配准方法或局部配准方法；所述大体配准方法包括粗配mr影像和ct影像的位置与角度；对mr和ct影像进行大体精确配准；所述局部配准方法包括粗配mr影像和ct影像的位置与角度；选中需要精确配准的感兴趣区域；对mr影像及ct影像进行局部精准配准。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7或8所述基于影像辅助的医学诊断评估方法。10.一种电子终端，其特征在于，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求7或8所述基于影像辅助的医学诊断评估方法。
技术总结
本发明提供基于影像辅助的医学诊断评估系统、方法、介质及终端，包括：影像导入模块，用于导入CT影像、MR影像及其他模态的医学影像；影像配准模块，用于从影像(可为术前或术后，治疗前、治疗后，或任意时间)序列中确定基底影像，并以确定的基底与其他影像进行自动或手动配准；曲面重建模块，对进行影像区域内特定的路径(可为曲线)进行标示，配准基底影像或所选影像，重建出围绕该径路图像(重建曲面)，并进行三维可视化显示；三维建模模块，用于根据影像模态绘制相应蒙版，并根据蒙版计算生成三维模型后，自动获得该模型各参数(如体积等)，以特定格式进行保存。实现高精度的自动影像配准，提高医学诊断评估的准确性；大幅缩短医师的评估时间。的评估时间。的评估时间。


技术研发人员：吴皓 贾欢
受保护的技术使用者：上海交通大学医学院附属第九人民医院
技术研发日：2021.03.29
技术公布日：2021/6/24