本发明涉及计算机视觉领域，具体地，涉及基于深度学习的牙根外吸收检测系统。
背景技术：
1、传统的牙齿正畸治疗步骤繁多、治疗时间长，且整个正畸过程十分依靠医生的主观经验。牙齿正畸阶段过程中，评估患者牙根吸收程度是临床医生最为关注的问题。牙根吸收是正畸治疗过程中常见的并发症，牙根吸收会产生冠根比例失调，会使牙齿的稳定性降低，进行性的牙根吸收还会造成牙齿松动甚至脱落。
2、锥形束计算机断层扫描(cbct)是一种广泛用于牙科问题研究的诊断成像技术。通过准确的牙齿分割，医生可以做出更准确的治疗决策和计划。为了重建3d牙齿模型，牙齿的准确分割至关重要。目前，这项工作由专业操作人员手动完成，然而，操作员手动标记是一项耗时的任务，并且结果的准确性取决于操作员。从cbct图像中自动准确地分割单个牙齿对于建立有效的计算机辅助诊断系统以进行正畸、牙种植体模拟和其他牙科治疗至关重要。
3、从条件快速变化的cbct图像中准确识别和分割牙齿目前来说有一定的难度，主要原因包括：现目前借助医学图像处理软件手动完成牙根测量是目前牙根数据分析的主要方式，需要完成人工手动标注后生成牙齿的三维模型，再手动标记关键点建立坐标系完成牙根的三维量化分析。现有技术的主要缺点：1.效率低：人工标注以及测量单个患者的牙根数据耗时约8个小时。2.误差大：根尖细小，根骨灰度值接近等原因是牙齿标注的主要困难，手动分割对医师的水平经验要求高，临床医师水平参差不齐，人引起的误差大。3.不能满足临床需求：医生紧张的临床时间无法对牙根吸收做到精准全面的判断，临床上牙根吸收的风险监测存在漏洞。
4、为了能高效利用cbct对牙根吸收进行精准三维量化分析的技术，本技术所要解决的技术问题是：1.利用cbct完成精准高效的牙齿图像分割。2.利用牙齿三维模型快速实现牙齿形态的三维量化分析。
5、针对问题1，业界已经提出了各种方法来相应解决，这些方法可以分为两类：需要手工制作特征的传统方法和通常需要大量样本的深度学习方法。传统方法通常是半自动的，需要人工处理，且人工操作。需要人工参与的半自动分割方法如水平集、阈值分割、区域生长等能粗略地分割出牙齿的大致范围，但是需要人后期手动修改，非常耗费时间，且由于牙根和骨骼分界不清，导致牙根的边界划分容易受到个人主观因素的影响，可重复性不高，不能很好的满足不同病情患者的个性化需求。这导致目前缺乏一个高效的途径利用cbct对牙根吸收进行三维量化分析的研究。
6、通常采用完全卷积网络(fcn)作为分层学习的主要组成部分，然后，这些方法以实例分割或语义分割的形式将局部到全局的特征集成到牙齿轮廓中，实例分割首先检测或定位不同牙齿的位置，然后分割目标。这种方法可能会将相邻的牙齿错误分类到同一类别中，因为它们在cbct图像中看起来相似。语义分割方法对牙齿的所有描述执行密集组像素到体素的预测。然而，由于相对较大的输入图像的感知范围有限，这些语义分割网络无法将单个牙齿准确地标记为多个类别。此外，由于相似的灰度，这些方法可能会将骨骼分割成牙齿。当前的深度学习方法的性能仅限于牙齿分割的特定任务，这主要是由于它们易于使用通用网络架构。因此，目前在基于深度学习的cbct图像分割领域中，仍然需要建立一种能够准确将牙齿cbct图像进行分割的方法。
7、cnn是一种深度神经网络。典型的cnn结构由若干个卷积层、池化层和全连接层组成。cnn全连接层与全连接神经网络一样，不同的是增加的卷积层和池化层。与全连接神经网络不同，cnn卷积层的输入输出不再是二维的向量而是单通道或多通道的二维图像，这类网络最后的输出向量表示输入图像属于每一类的概率，适用于处理图像级的分类和回归任务。传统的基于cnn的分割方法为了对一个像素分类，需使用该像素周围的一个图像块作为cnn的输人用于训练和预测。这种方法有以下几个缺点。一是，存储开销很大。二是，计算效率低。相邻的像素块基本上是重复的，对每个像素块逐个计算卷积有很大程度的重复。三是，像素块的大小限制了感知区域的大小，导致分类的性能受到限制。fcn由long等于2015年提出。fcn可以接受任意尺寸的输入图像采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸，因此可以对每个像素都产生一个预测，同时保留原始输入图像中的空间信息。最后，fcn在上采样的特征图上进行逐像素分类，解决语义级别的图像分割问题。fcn与cnn最大的区别在于将cnn最后的全连接层换成了卷积层，输出是一张与输人具有相同尺寸且已标记了标签的图像。以fcn为框架的实例分割方式或语义分割方式来分层学习和集成局部到全局的特征用于牙齿分割。fcn仍有一些缺点，比如得到的分割结果还不够精细。同时，由于fcn是对各个像素进行分类，没有充分考虑像素之间的相互关系，分割结果缺乏空间一致性。
8、针对问题2，目前关于牙齿形态的三维量化分析仍需要半自动测量。半自动的方法通常将牙齿的三维模型导入医学图像处理软件中，手动标记点来测量牙齿的长度，以及利用软件自带的功能完成面积以及体积的测算。目前关于牙根吸收的主要研究手段仍需要人参与手动测算。2012年开始通过cbct对患者正畸后牙根吸收展开研究，主要还是以在cbct平片上测量二维线距为主。近些年cbct能借助一些商业软件在cbct上手动分割牙齿，再转化为三维牙齿模型，完成牙根吸收的三维量化分析。2021年第一次有学者利用cbct转换成牙齿的三维结构的形式对牙根吸收的体积变化进行了研究，发现当体积发生变化时，根长可能不会发生显著变化，认为体积是更加精准衡量牙根吸收的指标，其采用阈值分割的方法实现了牙齿三维模型的重建，并得出了正畸前后整颗牙齿表面积以及体积的变化，利用表面偏差分析比较根管治疗后的牙齿以及活髓牙的牙根吸收的程度，增加了对牙根吸收局部的认知。牙齿三维形态的量化研究中，长度测量没有金标准。2022年alqahtani等人提出了第一个应用算法自动完成牙根吸收的三维量化分析，将编写的代码导入到3d-matic中完成冠根分离，将同一患者正畸前后的同一颗牙齿的牙根进行配准，测量牙根长度变化。该研究将正畸前后同一颗牙齿的牙冠配准后再将牙根重叠加上去的方法避免了之前大量研究参考坐标系随着牙根吸收的而发生偏移的情况。大量研究采用将牙冠中心点与根尖点的连线建立测量根长的长轴，但该长轴会随着牙根形态的改变发生位移，不是一个稳定的参考系。但该项研究并没有具体描述如何实现牙根牙冠分离，以及研究人员默认每一位患者同牙位的牙齿牙冠长度一致，忽略釉牙骨质界作为牙冠与牙根的解剖分界线的事实。正畸过程中牙冠部分是一个较为稳定的部分，利用牙冠的解剖标志点进行定点才能避免减小牙根吸收时，坐标系变化引起的误差。但人工操作耗时长，人工标记点误差大，可重复性低，不能满足临床需求。
技术实现思路
1、本发明目的是精准高效的完成牙齿图像分割。
2、为实现上述目的，本发明提供了基于深度学习的牙根外吸收检测系统，所述系统包括：
3、数据处理单元，用于获得正畸前后的口腔内三维图像数据；
4、牙齿分割单元，用于采用结合多尺度语义信息、显式解剖连接及牙齿包围盒的牙齿分割模型对正畸前后的口腔内三维图像数据进行牙齿分割，得到正畸前后的牙齿分割结果数据；
5、处理单元，用于将正畸前后的牙齿分割结果数据网格化获得正畸前后的牙齿分割结果网格数据，将正畸前后的牙齿分割结果网格数据转换为正畸前后的三维点云数据，基于正畸前后的三维点云数据获得正畸前后的牙根体积变化量数据、牙根长度变化量数据和牙根表面积变化量数据；
6、输出单元，用于基于正畸前后的牙根体积变化量数据、牙根长度变化量数据和牙根表面积变化量数据判断是否发生牙根外吸收，并输出判断结果。
7、其中，本系统能够对正畸前后的口腔内三维图像数据中的各种类型牙齿进行准确和全自动的分割，特别是针对牙根的精准分割，提高分割精度。
8、本系统在处理正畸前后的口腔内三维图像数据时能够提取不同尺度的语义信息。牙齿的形状和结构在不同尺度上都有独特的特征。这样的多尺度特征提取有助于更全面地捕捉牙齿的几何形状和结构信息，进而能够对牙齿进行准确和全自动的分割。
9、本系统中的牙齿分割模型采用显式解剖连接及牙齿包围盒：通过结合显式解剖连接和牙齿包围盒的信息，考虑到了牙齿之间的连接关系和整体的解剖结构。这对于更准确地分割牙齿、防止错判或漏判具有重要作用。显式解剖连接可能通过引入上下文信息，使得模型更好地理解牙齿之间的关联，提高分割精度。
10、本系统采用多模态信息处理：本发明利用正畸前后的口腔内三维图像数据的横断面和矢状面切片定位和分类牙齿，再将二维坐标映射回三维坐标，不仅可以更好地还原牙齿在cbct体积中的空间位置达到空间一致性，还能减少直接用三维数据定位的运算复杂度，再利用三维牙齿数据提取牙齿形状特征，结合了多个方向上的信息，而不仅仅是单一的视角。这样的多模态信息处理有助于模型更全面地理解牙齿的形状和位置，本发明能够利用牙齿三维模型快速实现牙齿形态的三维量化分析。
11、本系统采用全自动分割：本发明所设计的整个系统是全自动的，无需人为干预。特征提取和牙根吸收量均有计算机辅助完成，这种全自动性质使得方法更易于使用，极大地减少了人工成本，并且可以在大规模的数据集上进行高效训练和应用。
12、在一些实施例方式中，申请人在实际应用中发现以下新的技术问题，在获得正畸前后的口腔内三维图像数据的方式中有采用cbct扫描设备以及其他扫描设备的，采用不同的扫描设备获得的图像的分辨率不同，比如采用cbct扫描设备获得的正畸前后的口腔内三维图像数据的分辨率较低，采用某些扫描设备获得的图像的分辨率较高，而针对牙根表面积，从其数学计算方式来看，一个光滑表面的物体出现一个凹坑状的吸收的话，面积反而会增大，在实际应用中正畸后的牙齿表面就可能会出现凹坑，因此，按照传统的计算方式，牙根表面积变化量应该是一个正值，但是这需要扫描设备的分辨率足够高才能够分辨出这些凹坑，如果分辨不出这些凹坑，那么牙根表面积变化量应该是一个负值，因此，为了解决上述问题，为了准确的计算出牙根表面积变化量，进而准确的判断是否发生牙根外吸收，本发明对牙根表面积变化量计算及判断进行了相应的设计改进，具体为：
13、所述输出单元的判断方式具体为：
14、判断正畸前后的牙根体积变化量数据是否小于第一阈值，若小于则判断发生牙根外吸收；
15、判断牙根长度变化量数据是否小于第二阈值，若小于则判断发生牙根外吸收；
16、获得口腔内三维图像数据的分辨率，若分辨率小于第一分辨率阈值，则判断牙根表面积变化量数据是否小于第三阈值，若牙根表面积变化量数据小于第三阈值则判断发生牙根外吸收，如cbct的分辨率比较粗糙，没办法检测出那种很精细的凹坑状吸收；若分辨率大于或等于第一分辨率阈值，则判断牙根表面积变化量数据是否大于第四阈值，若牙根表面积变化量数据大于第四阈值则判断发生牙根外吸收。
17、在一些实施例方式中，所述牙齿分割模型对正畸前后的口腔内三维图像数据进行牙齿分割的方式为：
18、构建训练集，对牙齿分割模型进行训练，获得训练后的牙齿分割模型，包括：将训练集中的口腔内三维图像数据输入到牙齿分割模型的编码器中进行多尺度特征提取，通过牙齿分割模型的解码器网络还原牙齿几何形状特征，通过牙齿分割模型的分割掩膜层获得牙齿分割结果数据；
19、获得正畸前后的口腔内三维图像数据的横断面和矢状面切片能够减少计算量，将横断面和矢状面切片发送给训练后的牙齿分割模型的编码器，获得多尺度特征图；
20、将多尺度特征图通过训练后的牙齿分割模型的定位器处理得到感兴趣区域，基于感兴趣区域通过训练后的牙齿分割模型的分类器及激活函数处理得到分类结果，通过训练后的牙齿分割模型的定位器得到牙齿包围框；
21、分别基于横断面和矢状面切片的牙齿包围框中心点所在的二维坐标(x,y1)和(y2,z)，映射获得三维坐标中心点(x,(y1+y2)/2,z)，根据所设定的三维包围框的长宽高数据和三维坐标中心点坐标，获得三维包围框的边界顶点坐标，基于三维包围框的边界顶点坐标获得三维包围框，基于分类结果和三维包围框获得包含分类结果的牙齿分割结果数据。
22、其中，在牙齿分割时的牙齿分割模型中采用显示解剖链接编码器和解码器，目的是为了使解码时能够利用编码提取的特征结合上下文信息获得分割结果。
23、牙齿三维结构的改变是正畸后牙根吸收的主要特征，长度，表面积以及体积是三维量化牙根形态改变的主要指标，通过以上数据反映牙根形态的改变。
24、在一些实施例方式中，所述基于正畸前后的三维点云数据获得正畸前后的牙根体积变化量数据、牙根长度变化量数据和牙根表面积变化量数据，具体包括：输入牙齿的三维点云数据；
25、根据点的接近度进行分组，由于三维牙齿是一个个网格组成，一个网格是一个平面，一个平面的点算作一组，分别通过数值积分和交叉乘积计算体积和面积。在计算体积和面积之前需要计算两个点之间的向量，即根据点的接近度将三维点云数据进行分组获得若干组数据，基于每组数据中的点a、b和c构建向量和
26、其中，
27、其中，一组数据对应一个网格，网格上的点a、b和c坐标分别为(x1,y1,z1)、(x2,y2,z2)和(x3,y3,z3)；和分别表示a点与b点之间的向量和a点与c点之间的向量；
28、牙根体积的计算方式为：
29、
30、
31、其中，为体积叉积向量，表示向量和在y轴与z轴方向上的叉积结果，为向量在y轴和z轴上的分量，为向量在y轴和z轴上的分量，x为一组数据中点的x坐标，volume为计算后的面积；
32、牙根表面积的计算方式为：
33、
34、
35、其中，为面积叉积向量，表示向量和在x轴、y轴和z轴方向上的叉积结果area为计算出的面积。
36、在一些实施例方式中，数据处理单元具体用于基于扫描设备对正畸前后的口腔内牙齿进行扫描成像获得正畸前后的口腔内三维图像数据。
37、在一些实施例方式中，牙齿分割模型包括掩膜分割支路和单类牙齿分类支路：掩膜分割支路包括：3个卷积块构成的编码器、3个卷积块构成的解码器和1个分割掩膜层；分类支路包括：5个卷积层和2个最大池化层构成的特征提取器、3个卷积块构成的定位器和3个卷积块构成的分类器。选择3个卷积块构成的编码器和3个卷积块构成的解码器，是为了在学习特征时具有适当的复杂性。过少的卷积块可能无法捕捉到复杂的牙齿结构和纹理，而过多会导致模型过拟合，对于本发明的数据格式及任务，3个效果是最优的。1个分割掩膜层用于生成牙齿的掩膜，这有助于将图像中的牙齿与背景分离。这是分割任务的关键，因为它提供了每个像素属于牙齿的概率或标签。选择5个卷积层和2个最大池化层构成特征提取器，是为了在牙齿分类任务中捕捉更全局和抽象的特征。多个层级的卷积和池化有助于提取不同层次的信息。选择3个卷积块构成的定位器，是为了在牙齿位置定位任务中学习更具代表性的局部特征。这些特征可以用于指导分类器更准确地确定牙齿的类别。同样地，选择3个卷积块构成的分类器，是为了在最后的分类阶段进行更细致的特征提取和判别。这有助于模型更准确地分类牙齿。
38、在一些实施例方式中，申请人在实施上述技术方案的过程中发现以下技术问题：传统的检测系统忽略了目标对象的年龄，这导致假设目标为几岁的儿童时，由于其处于生长发育的快速阶段，会出现牙根还在发育的情况，这个时候牙齿的长度、体积和表面积就会出现一个增长的现象，若以传统的判断方式进行判断则会出现误判以及判断不准确的情况，为了解决这个问题，本发明进行了改进，具体为：
39、所述输出单元还用于获得正畸前后的口腔对象的年龄信息，判断年龄信息是否小于年龄阈值，若口腔对象的年龄小于年龄阈值，则输出单元的判断方式具体为：
40、判断正畸前后的牙根体积变化量数据是否位于第一预设范围内，若位于第一预设范围内则判断没有发生牙根外吸收，若没有位于第一预设范围内，则判断发生牙根外吸收；
41、判断牙根长度变化量数据是否位于第二预设范围内，若位于第二预设范围内则判断没有发生牙根外吸收，若没有位于第二预设范围内，则判断发生牙根外吸收；
42、获得口腔内三维图像数据的分辨率，若分辨率小于第一分辨率阈值，则判断牙根表面积变化量数据是否位于第三预设范围内，若位于第三预设范围内则判断没有发生牙根外吸收，若没有位于第三预设范围内，则判断发生牙根外吸收；若分辨率大于或等于第一分辨率阈值，则判断牙根表面积变化量数据是否位于第四预设范围内，若位于第四预设范围内则判断没有发生牙根外吸收，若没有位于第四预设范围内，则判断发生牙根外吸收。
43、其中，本系统的输出单元还用于获得口腔对象的年龄信息，然后利用口腔对象的年龄信息判断其是否处于生长发育的快速阶段，若不处于则采用原有的牙根外吸收判断方式进行判断，即阈值判断方式，若处于，则增加一个误差范围即考虑到期牙根生长情况的误差范围，利用范围对牙根外吸收进行判断，提高了牙根外吸收判断的准确性。
44、本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
45、本系统能够通过扫描设备获取口腔内的三维图像，提供了对牙齿分布和结构的详细了解，使用基于cnn的编码器-解码器网络，结合多尺度语义信息和显式解剖连接实现了对cbct数据中牙齿的准确分割。
46、本系统采用多层次的特征提取方法，提高了对不同尺度信息的捕捉，增强了模型对复杂场景的适应能力。
47、本系统通过rpn结构处理，实现对牙齿实例的分类，并生成包围框，有助于准确定位每个牙齿，并且引入rpn结构，提高了对牙齿实例的精确定位，增加了系统的鲁棒性。
48、本系统将二维图像映射回三维，还原真实的牙齿形状，并且减小直接处理三维数据的计算量。
49、本系统考虑到了扫描设备分辨率以及年根生长的情况，提高了牙根外吸收判断的准确性。
50、总体而言，本系统的有益效果在于通过深度学习和计算方法实现了对cbct图像中牙齿的自动化分析，为牙齿疾病的早期诊断和治疗提供了重要的支持。
1.基于深度学习的牙根外吸收检测系统，其特征在于，所述系统包括：
2.根据权利要求1所述的基于深度学习的牙根外吸收检测系统，其特征在于，所述输出单元的判断方式具体为：
3.根据权利要求1所述的基于深度学习的牙根外吸收检测系统，其特征在于，所述牙齿分割模型对正畸前后的口腔内三维图像数据进行牙齿分割的方式为：
4.根据权利要求1所述的基于深度学习的牙根外吸收检测系统，其特征在于，牙根体积和牙根表面积的计算方式为：
5.根据权利要求1所述的基于深度学习的牙根外吸收检测系统，其特征在于，数据处理单元具体用于基于扫描设备对正畸前后的口腔内牙齿进行扫描成像获得正畸前后的口腔内三维图像数据。
6.根据权利要求1所述的基于深度学习的牙根外吸收检测系统，其特征在于，牙齿分割模型包括掩膜分割支路和单类牙齿分类支路：掩膜分割支路包括：3个卷积块构成的编码器、3个卷积块构成的解码器和1个分割掩膜层；分类支路包括：5个卷积层和2个最大池化层构成的特征提取器、3个卷积块构成的定位器和3个卷积块构成的分类器。
7.根据权利要求1所述的基于深度学习的牙根外吸收检测系统，其特征在于，所述输出单元还用于获得正畸前后的口腔对象的年龄信息，判断年龄信息是否小于年龄阈值，若口腔对象的年龄小于年龄阈值，则输出单元的判断方式具体为：
