三维图像引导运动器官定位方法、系统及存储介质与流程

1.本发明是关于一种用于放射治疗中基于人工智能技术和数字x射线成像(dr)系统的三维(3d)图像引导运动器官定位方法、系统及存储介质，涉及放射治疗技术领域。


背景技术：

2.放射治疗的目的是使用放射性射线杀死肿瘤细胞的同时最大限度地保护患者的正常组织器官。但是在放射治疗中，由于患者呼吸运动等生理运动会导致患者体内一些组织器官及肿瘤靶区在治疗时会产生位移，导致患者治疗效果不佳。因此运动器官及靶区的保护和治疗是放射治疗的难点。
3.当前的图像引导放疗技术对于运动器官及肿瘤靶区进行引导的系统主要有：呼吸门控系统，采集患者的呼吸信号来预测患者体内组织器官随呼吸运动产生的位移来引导放疗；在患者运动器官及靶区内植入金标，使用两个相交dr成像设备来检测及跟踪植入金标的位置进行运动组织及器官的治疗；锥形束ct(cbct)及轨道ct(ct
‑
on
‑
rail)图像引导系统，将重建的cbct或轨道ct图像和治疗计划的ct图像进行配准，获取患者运功器官和靶区的状态和位置来引导患者治疗等。
4.但是已有技术中，呼吸门控系统只能根据患者的呼吸信号信息来预测患者体内一部分组织器官随着呼吸运动所产生的大致位移，该技术不能直接检测到患者体内组织器官的运动，并且不适用于患者体内其它生理运动所产生的组织器官运动。在患者体内植入金标会给患者造成二次损伤，不适用于体质较弱及年老年幼的患者，而dr成像系统只能追踪植入金标的位置，不能检测组织器官和肿瘤靶区的3d形状及坐标，没有实现真正意义上的3d引导，另外两个相交dr成像设备会给患者增加较大额外辐射剂量，系统价格昂贵。cbct及轨道ct成像系统会给患者增加额外的高辐射剂量，增加患者并发症的风险，并且cbct图像密度分辨率较低，系统价格昂贵和患者计划ct配准的精度和速度都不高。
5.综上，有必要研究在降低设备价格的同时实现运动器官和靶区3d高精度引导的方法及系统。


技术实现要素：

6.针对上述问题，本发明的目的是提供一种能够准确获得体内运动组织器官和肿瘤靶区的3d形状和位置变化信息，引导运动器官和靶区的放射治疗的基于人工智能技术和数字x射线成像系统的三维图像引导运动器官定位方法、系统及存储介质。
7.为实现上述目的，本发明采取以下技术方案：
8.第一方面，本发明提供一种三维图像引导运动器官定位方法，包括：
9.基于患者的实时dr图像，采用人工智能网络算法生成患者的虚拟3d
‑
ct图像集；
10.将患者的3d
‑
ct图像集采用组织器官自动分割算法自动分割出组织器官，并通过3d组织器官模型重建算法，重建患者的运动组织器官的3d模型；
11.将患者的虚拟3d
‑
ct图像集采用组织器官自动分割算法自动分割出虚拟组织器
官，并通过3d组织器官模型重建算法，重建患者的虚拟运动组织器官的3d模型；
12.将患者的运动组织器官的3d模型和虚拟运动组织器官的3d模型进行配准计算，输出指定运动组织器官的3d模型形状和运动偏移量。
13.进一步地，患者的实时dr图像通过采用dr成像设备进行获取。
14.进一步地所述dr成像设备包括一套x射线源及与之对应的成像平板；
15.所述x射线源安装在治疗室顶部，所述成像平板安装在治疗室地面部分，各自使用小角度轨道进行运动；或者，
16.所述x射线源和成像平板使用c型臂连接整体进行小角度运动。
17.进一步地人工智能网络算法通过训练验证获得，包括：使用dr成像设备拍摄患者的dr图像，同时使用ct系统拍摄同一患者同一部位的3d
‑
ct图像，使该患者的dr图像和3d
‑
ct图像一一对应，建立dr图像及与之对应的3d
‑
ct图像数据集；将建立的数据集中部分数据作为训练数据集，另一部分作为验证数据集，构建神经网络模型进行训练验证，并通过运算不断迭代获得人工智能网络的权重参数，进而获得训练好的人工智能网络模型。
18.进一步地，组织器官自动分割算法采用基于深度学习卷积神经网络模型，能够根据输入的ct图像自动分割出组织器官。
19.进一步地，3d组织器官重建算法能够重建出所有或者指定组织器官的3d模型，并能够对不同的组织器官进行不同颜色和模态的渲染显示，便于使用者观察分辨操作。
20.进一步地，配准计算采用3d组织器官配准算法进行手动和/或自动3d模型配准。
21.第二方面，本发明还提供一种三维图像引导运动器官定位系统，该系统包括：
22.虚拟图像生成单元，被配置为基于患者实时的dr图像，采用人工智能网络算法生成患者的虚拟3d
‑
ct图像集；
23.器官重建单元，被配置为将患者的3d
‑
ct图像集采用组织器官自动分割算法自动分割出组织器官，并通过3d组织器官模型重建算法，重建患者的运动组织器官的3d模型；
24.虚拟器官重建单元，被配置为将患者的虚拟3d
‑
ct图像集采用组织器官自动分割算法自动分割出虚拟组织器官，并通过3d组织器官模型重建算法，重建患者的虚拟运动组织器官的3d模型；
25.偏移计算单元，被配置为将患者的运动组织器官的3d模型和虚拟运动组织器官的3d模型进行配准计算，输出选定运动组织器官的3d模型形状和运动偏移量。
26.第三方面，本发明还提供一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现本发明第一方面所述三维图像引导运动器官定位方法。
27.第四方面，本发明还提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本发明第一方面所述三维图像引导运动器官定位方法。
28.本发明由于采取以上技术方案，其具有以下优点：
29.1、本发明提供的人工智能算法根据少量dr图像生成患者虚拟3d
‑
ct图像，将虚拟3d
‑
ct图像和计划ct图像进行手动和/或使用人工智能算法自动分割出体内运动组织器官及肿瘤靶区，进行3d重建和配准，获得体内运动组织器官和肿瘤靶区的3d形状和位置变化信息，引导运动器官和靶区的放射治疗，解决常规dr图像和cbct图像引导中的缺陷和不足；
30.2、本发明实施需要的设备成本较低，只需要单个dr成像设备，同时不使用体内植入金标方式即能获得患者体内组织器官的3d状态和位置信息，与cbct设备相比，对患者的额外辐射剂量较低且设备价格低廉；
31.综上，本发明可以广泛应用于放射治疗中。
附图说明
32.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：
33.图1为本发明实施例的三维图像引导运动器官放疗方法流程示意图；
34.图2为本发明实施例的dr成像设备原理图；
35.图3为本发明虚拟3d
‑
ct图像生成人工智能网络算法原理图。
具体实施方式
36.下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
37.应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。
38.为了便于描述，可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系，这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。
39.计算机技术特别是人工智能技术在计算机视觉及医学图像处理分割和多模态图像生成上表现出优异的性能，多模态图像的生成和自动分割技术实现的越来越多。
40.实施例1
41.基于人工智能技术，如图1所示，本实施例提供的3d
‑
dr图像引导运动组织器官定位的方法，包括以下内容：
42.s1：设置有dr成像设备。
43.具体地，根据图2所示的dr成像设备原理图，本实施例的dr成像设备包括一套x射线源及与之对应的成像平板，用于获取患者实时的dr图像。该系统设备可以将x射线源1安装在治疗室顶部，成像平板安装在治疗室地面部分，各自使用小角度轨道进行运动，运动模式由相应控制系统控制，保证运动方向的一致性和位置的精确性；当然根据需要也可以将x
射线源和成像平板使用c型臂连接在一起，作为一个整体进行小角度运动，在此不做限定，根据实际情况进行选用。
44.在一些实现中，本实施例的dr成像设备能够以治疗室中心点为原点，进行小角度旋转成像，其中，其中，治疗室坐标轴xyz中，坐标原点是治疗室的束流等中心点，x轴平行于治疗室地面，指向治疗床零度方向，y轴平行于治疗室地面，指向治疗床90
°
方向，z轴垂直于治疗室地面，指向治疗室顶部。
45.在另一些实现中，本实施例的小角度定义
‑
15度～ 15度之间。
46.s2、获得人工智能网络的权重参数，训练得到人工智能网络算法模型，包括：
47.s21：建立患者的dr图像以及3d
‑
ct图像数据集，用于人工智能网络算法模型的训练及验证。
48.具体地，使用dr成像设备拍摄患者的dr图像，同时使用ct系统拍摄同一患者同一部位的3d
‑
ct图像，使该患者的dr图像和3d
‑
ct图像一一对应，建立dr图像及与之对应的3d
‑
ct图像数据集。将建立的数据集中80％数据作为训练数据集，20％作为验证数据集，先构建模型然后训练验证。
49.s22：构建人工智能网络算法模型。
50.根据图3所示的虚拟3d
‑
ct图像生成人工智能网络算法原理图，该算法能够实现输入少量例如1～8张dr图像，输出虚拟3d
‑
ct数据集的功能。
51.人工智能网络算法模型，在进行训练验证时，输入的n幅dr图像及与之对应的m层3d
‑
ct图像，n的值取值范围大于等于1，每一张dr图像拍摄角度是不同的，虽然在理论上n的值越大越好，但是随着n的值的增大，所要拍摄的dr图像越来越多，给患者增加的额外辐射剂量也越来越多，所产生的经济成本也越大，因此n值不宜超过8。m的层数参考治疗计划ct层数确定，一般m的层数接近或者等于治疗计划ct，层厚也应该和治疗计划ct层厚相同和尽量接近，以便将虚拟3d
‑
ct和治疗计划3d
‑
ct进行配准。
52.s23：以s21中建立的dr图像集及与之对应的3d
‑
ct图像训练验证s22中人工智能网络算法模型，通过运算不断迭代获得人工智能网络的权重及参数，该参数包含网络模型每个神经元的权重及神经元参数。
53.s3：获取患者实时dr图像，以实时生成的dr图像，使用训练好的人工智能网络算法，生成当前患者的虚拟3d
‑
ct图像；
54.具体地，实时dr图像，是指患者在进行当前分次治疗中所拍摄的dr图像，该dr图像用于获取患者当前组织器官的状态。
55.s4：构建基于深度学习卷积神经网络的组织器官自动分割算法，该算法通过使用ct图像及与之对应的医生手动分割组织器官进行训练验证后，可以根据ct图像自动精准分割出ct图像上的组织器官和肿瘤靶区。
56.具体地，基于深度学习的组织器官自动分割算法，该算法使用深度学习卷积神经网络模型，能够根据输入的ct图像自动分割出组织器官，该算法的训练验证数据来自于有丰富经验的医师手动勾画的组织器官及对应的ct，训练集验证数据集的质量必须得到保证，该算法能够输出特定运动组织器官和靶区，用于三维重建和配准。
57.s5：构建常规3d组织器官模型重建算法，实现输入3d
‑
ct图像和/或通过自动生成和/或医生手动生成的组织器官轮廓集，能够重建并输出运动组织器官和靶区的3d模型。
58.具体地，上述3d组织器官重建算法能够重建出所有或者指定组织器官的3d模型，并对不同的组织器官进行不同颜色和模态的渲染显示，便于使用者观察分辨操作。
59.s6：使用3d组织器官重建算法，根据当前患者的计划ct数据和/或组织器官轮廓集及生成的患者虚拟ct数据和/或组织器官轮廓集分别进行三维重建，分别得到当前患者的治疗计划和虚拟的3d特定运动组织器官和靶区；
60.s7：构建3d模型配准算法，用于将输入的多个3d模型配准，输出特定运动组织器官和靶区的3d模型形状和运动偏移量；
61.具体地，常规3d组织器官配准算法可以根据重建出的3d组织器官模型，进行手动和/或自动3d模型配准，精准输出运动组织器官和靶区的3d状态和位置变化偏移量，偏移量参数是将当前患者的计划ct数据和/或组织器官轮廓集及生成的患者虚拟ct数据和/或组织器官轮廓集生成的3d组织器官进行配准获得的。
62.s8：使用3d模型配准算法，将患者治疗计划3d
‑
ct和虚拟3d
‑
ct的3d运动组织器官和靶区作为输入进行自动或/和手动配准计算，输出特定运动组织器官和靶区的3d模型形状和运动偏移量；
63.s9：根据3d运动组织器官和肿瘤靶区当前的3d形状和运动偏移量，应用于引导放射治疗的实施。
64.在一些实现中，是否符合治疗要求的标准，该标准由医师联合研究及工程技术人员根据放疗法律法规和行业标准确定。
65.综上所述，本实施例使用人工智能技术将2d
‑
dr图像进行3d重建，得到患者的虚拟3d
‑
ct图像，将重建的虚拟3d
‑
ct和患者治疗计划3d
‑
ct图像实行组织器官自动分割并进行三维重建和配准，得到患者运动组织器官和靶区的3d状态和位置变化偏移量，从而引导患者进行运动靶区的精准放疗。
66.实施例2
67.上述实施例1提供了三维图像引导运动器官定位方法，与之相对应地，本实施例提供一种三维图像引导运动器官定位系统。本实施例提供的定位系统可以实施实施例1的三维图像引导运动器官定位方法，该定位系统可以通过软件、硬件或软硬结合的方式来实现。例如，该定位系统可以包括集成的或分开的功能模块或功能单元来执行实施例1各方法中的对应步骤。由于本实施例的定位系统基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例1的部分说明即可，本实施例的定位系统的实施例仅仅是示意性的。
68.本实施例提供的一种三维图像引导运动器官定位系统，该系统包括：
69.虚拟图像生成单元，被配置为基于患者实时的dr图像，采用人工智能网络算法生成患者的虚拟3d
‑
ct图像集；
70.器官重建单元，被配置为将患者的3d
‑
ct图像集采用组织器官自动分割算法自动分割出组织器官，并通过3d组织器官模型重建算法，重建患者的运动组织器官的3d模型；
71.虚拟器官重建单元，被配置为将患者的虚拟3d
‑
ct图像集采用组织器官自动分割算法自动分割出虚拟组织器官，并通过3d组织器官模型重建算法，重建患者的虚拟运动组织器官的3d模型；
72.偏移计算单元，被配置为将患者的运动组织器官的3d模型和虚拟运动组织器官的
3d模型进行配准计算，输出选定运动组织器官的3d模型形状和运动偏移量。
73.实施例3
74.本实施例提供一种与本实施例1所提供的三维图像引导运动器官定位方法对应的处理设备，处理设备可以是用于客户端的电子设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例1的定位方法。
75.所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。总线可以是工业标准体系结构(isa，industry standard architecture)总线，外部设备互连(pci，peripheral component)总线或扩展工业标准体系结构(eisa，extended industry standard component)总线等等。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例1所提供的三维图像引导运动器官定位方法。
76.在一些实现中，存储器可以是高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
77.在另一些实现中，处理器可以为中央处理器(cpu)、数字信号处理器(dsp)等各种类型通用处理器，在此不做限定。
78.实施例4
79.本实施例1的三维图像引导运动器官定位方法可被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例1所述的定位方法的计算机可读程序指令。
80.计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
81.需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围。

技术特征：
1.一种三维图像引导运动器官定位方法，其特征在于包括：基于患者的实时dr图像，采用人工智能网络算法生成患者的虚拟3d
‑
ct图像集；将患者的3d
‑
ct图像集采用组织器官自动分割算法自动分割出组织器官，并通过3d组织器官模型重建算法，重建患者治疗计划的运动组织器官的3d模型；将患者的虚拟3d
‑
ct图像集采用组织器官自动分割算法自动分割出虚拟组织器官，并通过3d组织器官模型重建算法，重建患者的虚拟运动组织器官的3d模型；将患者治疗计划的运动组织器官的3d模型和虚拟的运动组织器官的3d模型进行配准计算，输出指定运动组织器官的3d模型形状和运动偏移量。2.根据权利要求1所述的三维图像引导运动器官定位方法，其特征在于，患者的实时dr图像通过采用dr成像设备进行获取。3.根据权利要求2所述的三维图像引导运动器官定位方法，其特征在于，所述dr成像设备包括一套x射线源及与之对应的成像平板；所述x射线源安装在治疗室顶部，所述成像平板安装在治疗室地面部分，各自使用小角度轨道进行运动；或者，所述x射线源和成像平板使用c型臂连接整体进行小角度运动。4.根据权利要求1所述的三维图像引导运动器官定位方法，其特征在于，人工智能网络算法通过训练验证获得，包括：使用dr成像设备拍摄患者的dr图像，同时使用ct系统拍摄同一患者同一部位的3d
‑
ct图像，使该患者的dr图像和3d
‑
ct图像一一对应，建立dr图像及与之对应的3d
‑
ct图像数据集；将建立的数据集中部分数据作为训练数据集，另一部分作为验证数据集，构建神经网络模型进行训练验证，并通过运算不断迭代获得人工智能网络的权重参数，进而获得训练好的人工智能网络模型。5.根据权利要求1所述的三维图像引导运动器官定位方法，其特征在于，组织器官自动分割算法采用基于深度学习卷积神经网络模型，能够根据输入的ct图像自动分割出组织器官。6.根据权利要求1所述的三维图像引导运动器官定位方法，其特征在于，3d组织器官重建算法能够重建出所有或者指定组织器官的3d模型，并能够对不同的组织器官进行不同颜色和模态的渲染显示，便于使用者观察分辨操作。7.根据权利要求1所述的三维图像引导运动器官定位方法，其特征在于，配准计算采用3d组织器官配准算法进行手动和/或自动3d模型配准。8.一种三维图像引导运动器官定位系统，其特征在于，该系统包括：虚拟图像生成单元，被配置为基于患者实时的dr图像，采用人工智能网络算法生成患者的虚拟3d
‑
ct图像集；器官重建单元，被配置为将患者的3d
‑
ct图像集采用组织器官自动分割算法自动分割出组织器官，并通过3d组织器官模型重建算法，重建患者治疗计划的运动组织器官的3d模型；虚拟器官重建单元，被配置为将患者的虚拟3d
‑
ct图像集采用组织器官自动分割算法自动分割出虚拟组织器官，并通过3d组织器官模型重建算法，重建患者的虚拟运动组织器官的3d模型；
偏移计算单元，被配置为将患者治疗计划的运动组织器官的3d模型和虚拟运动组织器官的3d模型进行配准计算，输出选定运动组织器官的3d模型形状和运动偏移量。9.一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现根据权利要求1到7任一项所述三维图像引导运动器官定位方法。10.一种计算机存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1到7任一项所述三维图像引导运动器官定位方法。
技术总结
本发明涉及一种三维图像引导运动器官定位方法、系统及存储介质，方法包括：基于患者的实时DR图像，采用人工智能网络算法生成患者的虚拟3D


技术研发人员：申国盛 李强 刘新国 戴中颖 金晓东 贺鹏博
受保护的技术使用者：中国科学院近代物理研究所
技术研发日：2021.03.25
技术公布日：2021/6/29