一种基于机器学习的整形手术术后体貌预测方法与流程

1.本发明涉及医学整形预测领域，特别涉及一种基于机器学习的整形手术术后体貌预测方法。


背景技术：

2.随着经济发展和人们精神文化水平的提高，要求进行体态整形手术的患者数量逐年增多，颌面骨骼整形手术就是其中比较有代表性的一种。在颌面骨骼整形手术中，患者最关心的问题之一就是术后自己的面貌将得到多大的改善，而目前商用的整形手术仿真软件主要致力于截骨、正畸等硬组织的手术仿真及方案设计，而对于术后的软组织和面貌改变仅基于计算机图形学进行面部3d图像的轮廓形变预测，与真实的术后效果存在较大差异。经发明人研究，发现造成前述问题的主要原因是，现有技术缺乏对患者术后效果的客观量化的定性分析预测，而且容易出现术后真实效果与患者自己期望的改善效果相距甚远、引发患者对治疗结果不满等情况。
3.机器学习作为人工智能的热门研究领域，是研究使计算机学习模仿人类某些特有的思维过程和智能行为，如推理、思考、概括或从过去的经验中总结学习的一门学科，近年来机器学习技术得到了高速发展，已被大量应用于目标分类、目标检测、目标分割等医学图像处理领域。


技术实现要素：

4.本发明要解决的技术问题是：提供一种基于机器学习的整形手术术后体貌预测方法，用以提升整形手术效果预测的精准程度。
5.为实现上述目的，本发明采用的技术方案是：一种基于机器学习的整形手术术后体貌预测方法，包括以下步骤：
6.s1.训练样本数据预处理：将以往整形手术患者术前及术后的整形部ct影像数据进行预处理和配准，提取并标注骨骼及软组织数据；
7.s2.通过机器学习算法对训练样本数据进行训练学习：将术前骨骼数据、术前软组织数据、术后骨骼数据、患者的年龄及性别信息作为输入，将术后软组织数据作为输出，利用机器学习算法对数据进行学习训练，使得机器学习模型通过样本的训练学习掌握手术部位骨骼变化引起的软组织形变的潜在规律；
8.s3.术后软组织预测：基于新患者的年龄、性别、术前骨骼数据、术前软组织数据以及手术方案所预测的术后骨骼数据，并利用步骤s2训练得到的机器学习模型，对准备进行整形手术的新患者的术后软组织进行预测；
9.s4.术后体貌图像预测：利用准备进行形手术的新患者的术后软组织预测数据，对准备进行整形手术的新患者的术后体貌图像进行预测。
10.具体的，本发明中的所述整形部可以为颌面部，颌面部整形相应的手术部位为颌骨。
11.进一步的，步骤s1具体可包括：
12.s1
‑
1.从以往整形手术患者术前及术后的整形部ct影像文件中提取3d体素数据和患者的年龄、性别信息，并将术前及术后的3d体素数据调整为相同的朝向与空间分辨率；
13.s1
‑
2.利用不受整形手术影响的整形部骨骼上的至少3个不共线的关键点，将经过步骤s1
‑
1得到的术前与术后的3d体素进行配准，并将术前与术后的3d体素空间尺寸调整为统一大小；
14.s1
‑
3.根据骨骼及软组织的密度差异，提取并标注经过s1
‑
2处理后的3d体素数据中的骨骼和软组织数据。
15.进一步的，步骤s1
‑
1中，将术前及术后的3d体素数据调整为相同的朝向的步骤可包括：
16.用三维矩阵对3d体素数据进行保存，三维矩阵的三个维度依次定义为x、y、z方向，利用矩阵变换操作对3d体素数据进行统一朝向处理，矩阵变换操作时将3d体素数据的横断面法线向头顶的方向调整为x正方向，矢状面法线向右手的方向调整为y正方向，冠状面法线向前的方向调整为z正方向。
17.进一步的，步骤s1
‑
2中，对于不共线的关键点在术前及术后3d体素中的空间坐标，可通过最小二乘方程计算术前及术后3d体素之间的变换矩阵，再利用变换矩阵将术后3d体素进行变换，实现术后3d体素与术前3d体素的配准。
18.进一步的，若步骤s1
‑
2将术前与术后的3d体素的空间尺寸调整为l
×
m
×
n尺寸，则步骤s2具体可包括：
19.将年龄值乘以l
×
m的全1矩阵作为年龄层，将性别值乘以l
×
m的全1矩阵作为性别层；将年龄层、性别层和经过步骤s1
‑
3得到的l
×
m
×
n维的术前骨骼数据、l
×
m
×
n维的术前软组织数据、l
×
m
×
n维的术后骨骼数据在所述z方向进行层叠，得到l
×
m
×
(3n 年龄值 性别值)维的数据作为输入，将l
×
m
×
n维的术后软组织数据作为输出，采用三维卷积深度神经网络对所述输入输出数据进行训练学习，使得三维卷积深度神经网络通过样本的训练学习掌握手术部位骨骼变化引起的软组织形变的潜在规律。
20.进一步的，步骤s3具体可包括：
21.s3
‑
1.从新患者术前整形部ct影像文件中提取3d体素数据和患者的年龄、性别信息，并将术前的3d体素数据调整为与步骤s1
‑
1中的3d体素数据相同的朝向与空间分辨率；
22.s3
‑
2.将经过步骤s3
‑
1得到的3d体素数据调整为与步骤s1
‑
2中统一的空间尺寸大小；
23.s3
‑
3.采用与步骤s1
‑
3同样的方法，提取并标注经过步骤s3
‑
2得到的3d体素数据中的骨骼和软组织；
24.s3
‑
4.依据制定的手术方案和经过步骤s3
‑
2得到的术前3d体素数据中的骨骼数据，得到预测的术后骨骼数据；
25.s3
‑
5.将经过步骤s3
‑
2得到的术前骨骼数据、术前软组织数据、经过步骤s3
‑
2得到的预测的术后骨骼数据、经过步骤s3
‑
1得到的患者的年龄及性别信息输入到步骤s2中训练好的机器学习模型中，得到预测的术后软组织数据。
26.进一步的，步骤s4具体可包括：
27.s4
‑
1.提取新患者术前软组织数据的表面层，并与新患者术前3d体貌图像进行配
准；
28.s4
‑
2.将经过步骤s3预测得到的软组织预测数据与新患者术前软组织数据进行对比，计算软组织预测数据的外表面相对于术前的3d位移量，所述3d位移量即软组织外表面预测位移量；
29.s4
‑
3.将经过步骤s4
‑
2得到的软组织外表面预测位移量施加到经过步骤s4
‑
1得到的配准后的术前3d体貌图像，得到预测的术后3d体貌图像。
30.进一步的，步骤s4
‑
2中，可通过等值面提取算法分别从术前和术后软组织数据中提取表面层数据，构建通过术前软组织表面层上每一个点ai与3d体素数据中心点o的三维直线o
‑
ai，计算直线o
‑
ai与术后软组织表面层的交点bi，则软组织外表面的预测位移量difi通过计算bi与ai之差得到。
31.进一步的，步骤s4
‑
3中，可找到术前3d体貌图像中每个点fi对应的欧氏距离最近的术前软组织外表面上的点di，将各个fi的三维坐标减去对应点di通过步骤s4
‑
2得到的预测位移量difi，得到施加了预测位移量之后的术前3d体貌图像，即预测的术后3d体貌图像。
32.本发明的有益效果是：本发明通过机器学习对大量以往患者的术后软组织形变及面貌改善效果进行自动学习，具有结果可靠、预测精准等优点，可提升手术效果预测的精准程度，为医患提供重要的术前参考。本发明可适用于颌面整形手术、正畸手术等各种通过矫正骨骼来引起软组织外形改变的整形手术术后体貌预测。
附图说明
33.图1为实施例提供的一种基于机器学习的颌面整形手术软组织形变及术后面貌预测流程图。
具体实施方式
34.为了提升整形手术效果预测的精准程度，本发明提供了一种基于机器学习的整形手术术后体貌预测方法，包括以下步骤：
35.s1.训练样本数据预处理：将以往整形手术患者术前及术后的整形部ct影像数据进行预处理和配准，提取并标注骨骼及软组织数据；
36.s2.通过机器学习算法对训练样本数据进行训练学习：将术前骨骼数据、术前软组织数据、术后骨骼数据、患者的年龄及性别信息作为输入，将术后软组织数据作为输出，利用机器学习算法对数据进行学习训练，使得机器学习模型通过样本的训练学习掌握手术部位骨骼变化引起的软组织形变的潜在规律；
37.s3.术后软组织预测：基于新患者的年龄、性别、术前骨骼数据、术前软组织数据以及手术方案所预测的术后骨骼数据，并利用步骤s2训练得到的机器学习模型，对准备进行整形手术的新患者的术后软组织进行预测；
38.s4.术后体貌图像预测：利用准备进行形手术的新患者的术后软组织预测数据，对准备进行整形手术的新患者的术后体貌图像进行预测。
39.该方法通过机器学习技术对以往的病例样本数据进行学习训练，可以从大量样本中总结出术后软组织及容貌改变的量化规律，提升整形手术效果预测的精准程度，为医患提供重要的术前参考。
40.下面以颌面整形手术软组织形变及术后面貌预测为例对本发明技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一种优选实施例，并不用于限制本发明，对于本领域的技术人员来说，对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
41.如图1所示，实施例提供的一种基于机器学习的颌面整形手术软组织形变及术后面貌预测方法，其具体实施步骤如下：
42.s1，训练样本数据预处理：将以往颌面整形手术患者术前及术后的头部ct影像数据进行预处理和配准，提取并标注骨骼及软组织数据。
43.本步骤包括：
44.s1
‑
1，从以往颌面整形手术患者术前及术后的头部ct影像dicom文件中提取3d体素数据和患者的年龄、性别信息，并将术前及术后的3d体素数据调整为相同的朝向与空间分辨率，例如，用三维矩阵对3d体素数据进行保存，三维矩阵的三个维度依次定义为x、y、z方向，并利用矩阵变换操作对3d体素数据进行统一朝向处理：矩阵变换操作时，将3d体素数据的横断面法线向头顶的方向调整为x正方向、矢状面法线向右手的方向调整为y正方向、冠状面法线向前的方向调整为z正方向；并利用矩阵插值算法将三个维度的空间分辨率调整统一，如0.5mm；
45.s1
‑
2，利用额骨、顶骨、鼻骨、颞骨、颧骨等不受颌面整形手术影响的头部骨骼上的至少3个不共线的关键点，例如，手动或通过ct影像自动标定算法标定经过步骤s1
‑
1得到的3d体素数据中顶结节、左额结节、右额结节、左额颧突、右额颧突5个不共线点在术前及术后3d体素中的空间坐标，通过最小二乘方程计算术前及术后3d体素之间的变换矩阵，再利用变换矩阵将术后3d体素进行变换，实现术后3d体素与术前3d体素的配准，将术前与术后的3d体素进行配准，再通过裁边和补零将术前与术后的3d体素的空间尺寸调整为统一大小，如统一为512
×
512
×
512的尺寸；
46.s1
‑
3，根据骨骼及软组织的密度差异，提取并标注经过s1
‑
2处理后的3d体素数据中的骨骼和软组织。例如，分别设定软组织密度阈值下限th_1、软组织密度阈值上限th_2、骨骼密度阈值th_3，将患者术前与术后的3d体素中密度大于th_3的部分标注为2，代表骨骼部分；3d体素中密度大于th_1且不大于th_2的部分标注为1，代表软组织部分；未标注为骨骼和软组织的部分标注为0，代表非骨骼非软组织的部分。按照上述方式提取得到的术前骨骼数据为512
×
512
×
512尺寸的3d体素数据，骨骼部分为1，其余部分为0；得到的术前软组织数据为512
×
512
×
512尺寸的3d体素数据，软组织部分为2，其余部分为0；得到的术后骨骼数据为512
×
512
×
512尺寸的3d体素数据，骨骼部分为1，其余部分为0；得到的术后软组织数据为512
×
512
×
512尺寸的3d体素数据，软组织部分为2，其余部分为0；
47.s2，通过机器学习算法对大量训练样本数据进行训练学习：将经过步骤s1
‑
3得到的术前骨骼数据、术前软组织数据、术后骨骼数据、经过步骤s
‑
1得到的患者的年龄及性别信息作为输入，将术后软组织数据作为输出，利用机器学习算法对数据进行学习训练。例如，将年龄值乘以512
×
512的全1矩阵作为年龄层；将性别值设置为男性为1、女性为2，将性别值乘以512
×
512的全1矩阵作为性别层；将年龄层、性别层和经过步骤s1
‑
3得到的512
×
512
×
512维的术前骨骼数据、512
×
512
×
512维的术前软组织数据、512
×
512
×
512维的术
后骨骼数据在所述z方向进行层叠，得到512
×
512
×
(1 1 512 512 512)＝512
×
512
×
1536维的数据作为输入，将512
×
512
×
512维的术后软组织数据作为输出，采用类似v
‑
net结构的三维卷积深度神经网络对所述输入输出数据进行训练学习，使得三维卷积深度神经网络通过大量样本的训练学习掌握颌面部骨骼变化引起的软组织形变的潜在规律，从而实现根据输入的术前骨骼数据、术前软组织数据及术后骨骼数据预测出术后软组织数据。
48.s3，利用机器学习模型，对准备进行颌面整形手术的新患者的软组织形变进行预测。
49.本步骤包括：
50.s3
‑
1，从新患者术前头部ct影像dicom文件中提取3d体素数据和患者的年龄、性别信息，采用实施例步骤s1
‑
1中的相同方法，将术前的3d体素数据调整至统一方向和空间分辨率；
51.s3
‑
2，采用实施例步骤s1
‑
2中相同的方法，将经过步骤s3
‑
1得到的3d体素数据调整为与步骤s1
‑
2中统一的空间尺寸大小；
52.s3
‑
3，采用与实施例步骤s1
‑
3中相同的方法，提取并标注经过步骤s3
‑
2得到的3d体素数据中的骨骼和软组织；
53.s3
‑
4，依据医生在术前制定的手术方案和经过步骤s3
‑
2得到的术前3d体素数据中的骨骼数据，得到预测的术后骨骼数据，例如，可借助mimics等仿真软件进行手术方案设计，设计完成后导出软件生成的术后仿真3d骨骼模型，再经过映射算法得到预测的术后骨骼数据；
54.s3
‑
5，将经过步骤s3
‑
2得到的术前骨骼数据、术前软组织数据、经过步骤s3
‑
2得到的预测的术后骨骼数据、经过步骤s3
‑
1得到的患者的年龄及性别信息输入到步骤s2中训练好的机器学习模型中，例如，与实施例步骤s2相对应地，将年龄值乘以512
×
512的全1矩阵作为年龄层，将性别值设置为男性为1、女性为2；将性别值乘以512
×
512的全1矩阵作为性别层；将年龄层、性别层和经过步骤s3
‑
3得到的512
×
512
×
512维的术前骨骼数据、512
×
512
×
512维的术前软组织数据、经过步骤s3
‑
4得到的512
×
512
×
512维的预测术后骨骼数据在所述z方向进行层叠，得到512
×
512
×
(1 1 512 512 512)＝512
×
512
×
1536维的数据，作为实施例步骤s2中已训练好的三维卷积深度神经网络的输入，得到512
×
512
×
512维的预测术后软组织数据。
55.s4，对准备进行颌面整形手术的新患者的术后3d面部图像进行预测。
56.本步骤包括：
57.s4
‑
1，提取经过步骤s3
‑
2得到的术前软组织数据的表面层，与新患者术前3d面部图像进行配准，例如，可通过等值面提取算法从术前软组织数据中提取表面层数据，再通过icp配准算法实现所述表面层数据和3d面部图像的配准；
58.s4
‑
2，将经过步骤s3
‑
5得到的软组织预测数据与经过步骤s3
‑
2得到的术前软组织数据进行对比，计算软组织预测数据的外表面相对于术前的3d位移量，所述3d位移量即软组织外表面预测位移量，例如，通过等值面提取算法分别从术前和术后软组织数据中提取表面层数据，构建通过术前软组织表面层上每一个点ai与3d体素数据中心点o的三维直线o
‑
ai，计算直线o
‑
ai与术后软组织表面层的交点bi，则软组织外表面的预测位移量difi可通过计算bi与ai之差得到；
59.s4
‑
3，将经过步骤s4
‑
2得到的软组织外表面预测位移量施加到经过实施例步骤s4
‑
1得到的配准后的术前3d面部图像，例如，找到术前3d面部图像中每个点fi对应的欧氏距离最近的术前软组织外表面上的点di，将各个fi的三维坐标减去对应点di通过实施例步骤s4
‑
2得到的预测位移量difi，得到施加了预测位移量之后的术前3d面部图像，即预测的术后3d面部图像。

技术特征：
1.一种基于机器学习的整形手术术后体貌预测方法，其特征在于，包括以下步骤：s1.训练样本数据预处理：将以往整形手术患者术前及术后的整形部ct影像数据进行预处理和配准，提取并标注骨骼及软组织数据；s2.通过机器学习算法对训练样本数据进行训练学习：将术前骨骼数据、术前软组织数据、术后骨骼数据、患者的年龄及性别信息作为输入，将术后软组织数据作为输出，利用机器学习算法对数据进行学习训练，使得机器学习模型通过样本的训练学习掌握手术部位骨骼变化引起的软组织形变的潜在规律；s3.术后软组织预测：基于新患者的年龄、性别、术前骨骼数据、术前软组织数据以及手术方案所预测的术后骨骼数据，并利用步骤s2训练得到的机器学习模型，对准备进行整形手术的新患者的术后软组织进行预测；s4.术后体貌图像预测：利用准备进行形手术的新患者的术后软组织预测数据，对准备进行整形手术的新患者的术后体貌图像进行预测。2.如权利要求1所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，所述整形部为颌面部，所述手术部位为颌骨。3.如权利要求1或2所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，步骤s1具体包括：s1
‑
1.从以往整形手术患者术前及术后的整形部ct影像文件中提取3d体素数据和患者的年龄、性别信息，并将术前及术后的3d体素数据调整为相同的朝向与空间分辨率；s1
‑
2.利用不受整形手术影响的整形部骨骼上的至少3个不共线的关键点，将经过步骤s1
‑
1得到的术前与术后的3d体素进行配准，并将术前与术后的3d体素空间尺寸调整为统一大小；s1
‑
3.根据骨骼及软组织的密度差异，提取并标注经过s1
‑
2处理后的3d体素数据中的骨骼和软组织数据。4.如权利要求3所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，步骤s1
‑
1中，将术前及术后的3d体素数据调整为相同的朝向的步骤包括：用三维矩阵对3d体素数据进行保存，三维矩阵的三个维度依次定义为x、y、z方向，利用矩阵变换操作对3d体素数据进行统一朝向处理，矩阵变换操作时将3d体素数据的横断面法线向头顶的方向调整为x正方向，矢状面法线向右手的方向调整为y正方向，冠状面法线向前的方向调整为z正方向。5.如权利要求4所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，步骤s1
‑
2中，对于不共线的关键点在术前及术后3d体素中的空间坐标，通过最小二乘方程计算术前及术后3d体素之间的变换矩阵，再利用变换矩阵将术后3d体素进行变换，实现术后3d体素与术前3d体素的配准。6.如权利要求4所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，若步骤s1
‑
2将术前与术后的3d体素的空间尺寸调整为l
×
m
×
n尺寸，则步骤s2具体包括：将年龄值乘以l
×
m的全1矩阵作为年龄层，将性别值乘以l
×
m的全1矩阵作为性别层；将年龄层、性别层和经过步骤s1
‑
3得到的l
×
m
×
n维的术前骨骼数据、l
×
m
×
n维的术前软组织数据、l
×
m
×
n维的术后骨骼数据在所述z方向进行层叠，得到l
×
m
×
(3n 年龄值 性别值)维的数据作为输入，将l
×
m
×
n维的术后软组织数据作为输出，采用三维卷积深度神经
网络对所述输入输出数据进行训练学习，使得三维卷积深度神经网络通过样本的训练学习掌握手术部位骨骼变化引起的软组织形变的潜在规律。7.如权利要求3所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，步骤s3具体包括：s3
‑
1.从新患者术前整形部ct影像文件中提取3d体素数据和患者的年龄、性别信息，并将术前的3d体素数据调整为与步骤s1
‑
1中的3d体素数据相同的朝向与空间分辨率；s3
‑
2.将经过步骤s3
‑
1得到的3d体素数据调整为与步骤s1
‑
2中统一的空间尺寸大小；s3
‑
3.采用与步骤s1
‑
3同样的方法，提取并标注经过步骤s3
‑
2得到的3d体素数据中的骨骼和软组织；s3
‑
4.依据制定的手术方案和经过步骤s3
‑
2得到的术前3d体素数据中的骨骼数据，得到预测的术后骨骼数据；s3
‑
5.将经过步骤s3
‑
2得到的术前骨骼数据、术前软组织数据、经过步骤s3
‑
2得到的预测的术后骨骼数据、经过步骤s3
‑
1得到的患者的年龄及性别信息输入到步骤s2中训练好的机器学习模型中，得到预测的术后软组织数据。8.如权利要求1或2所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，步骤s4具体包括：s4
‑
1.提取新患者术前软组织数据的表面层，并与新患者术前3d体貌图像进行配准；s4
‑
2.将经过步骤s3预测得到的软组织预测数据与新患者术前软组织数据进行对比，计算软组织预测数据的外表面相对于术前的3d位移量，所述3d位移量即软组织外表面预测位移量；s4
‑
3.将经过步骤s4
‑
2得到的软组织外表面预测位移量施加到经过步骤s4
‑
1得到的配准后的术前3d体貌图像，得到预测的术后3d体貌图像。9.如权利要求8所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，步骤s4
‑
2中，通过等值面提取算法分别从术前和术后软组织数据中提取表面层数据，构建通过术前软组织表面层上每一个点ai与3d体素数据中心点o的三维直线o
‑
ai，计算直线o
‑
ai与术后软组织表面层的交点bi，则软组织外表面的预测位移量difi通过计算bi与ai之差得到。10.如权利要求8所述的一种基于机器学习的整形手术术后体貌预测方法，其特征在于，步骤s4
‑
3中，找到术前3d体貌图像中每个点fi对应的欧氏距离最近的术前软组织外表面上的点di，将各个fi的三维坐标减去对应点di通过步骤s4
‑
2得到的预测位移量difi，得到施加了预测位移量之后的术前3d体貌图像，即预测的术后3d体貌图像。
技术总结
本发明涉及医学整形预测领域，公开了一种基于机器学习的整形手术术后体貌预测方法，用以提升整形手术效果预测的精准程度。本发明包括：将以往整形手术患者术前及术后的整形部CT影像数据进行预处理和配准，提取并标注骨骼及软组织数据；通过机器学习算法对训练样本数据进行训练学习；基于新患者的年龄、性别、术前骨骼数据、术前软组织数据以及手术方案所预测的术后骨骼数据，并利用训练得到的机器学习模型，对准备进行整形手术的新患者的术后软组织进行预测；利用准备进行形手术的新患者的术后软组织预测数据，对准备进行整形手术的新患者的术后体貌图像进行预测。本发明适用于通过矫正骨骼来引起软组织外形改变的整形手术术后体貌预测。体貌预测。体貌预测。


技术研发人员：祝颂松 李昊翰 陈杉 杨浅 毕瑞野 赵文丽 姜楠 陈浩哲 吴国民 应彬彬
受保护的技术使用者：四川大学
技术研发日：2021.03.02
技术公布日：2021/6/29