本发明属于图像处理和计算机视觉，具体涉及一种基于视觉里程计和卷积神经网络的肠道稠密三维建模方法。
背景技术：
1、三维建模技术是将多个视角的图像或点云数据融合在一起，恢复场景三维几何结构的方法。目前针对体内肠道环境的三维技术主要分为基于医学影像的三维建模方法和基于内窥镜图像的的三维建模方法。前者利用计算机断层扫描(ct)和磁共振成像(mri)，获取人体肠道的三维模型，但是这种模型往往缺乏组织表面丰富的纹理信息，因此无法直接结合图像特征进行三维诊断分析，与图像间存在跨模态壁垒需要进行额外的数据配准，无法在肠镜检查和手术中提供实时的指导；后者利用内窥镜在肠道内部操作的实时图像，基于多视角几何的原理，对连续帧进行特征提取、匹配的三维重建等步骤获得带有纹理信息肠道的三维模型以及肠镜的运动轨迹，这一类方法可以为肠镜检查提供实时的三维依据辅助医生操作规划。
2、目前，基于肠镜图像的三维重建方法采用视觉里程计技术。视觉里程计(visualodometry,vo)是一种三维感知技术，通过连续图像帧实时跟踪相机的六自由度位姿信息，同时恢复环境的三维稀疏深度信息。该技术已广泛应用于日常场景，例如室内外移动机器人和智能车辆的定位和建图任务。随着肠镜检查对三维感知的需求不断增长以及肠镜智能诊断技术的发展，视觉里程计技术已逐渐扩展到更具挑战的人体肠道环境中，用于克服传统二维肠镜检查过程中观测视角狭隘和感知维度有限等限制对医生肠镜操作的影响。传统的视觉里程计技术依赖于图像间的视觉特征提取、匹配和跟踪来恢复相机姿态和环境深度信息。因此光照变化复杂、纹理单一的肠道环境会影响特征的匹配和对极约束的计算，从而导致估计的相机位姿准确性较低，并且重建的三维点云非常稀疏，无法完整地描述真实肠道的三维信息。
技术实现思路
1、本发明的目的是为了解决当前肠道三维重建所面临的问题，提供一种基于稀疏视觉里程计和卷积神经网络的人体肠道稠密三维建模方法。
2、本发明方法首先针对肠镜检查过程中由于光源随着肠镜移动而导致的图像光照不一致问题，提出了基于光源矫正的肠道环境鲁棒稀疏深度特征提取方法；然后提出基于深度补全的肠道三维建模方法，通过结合稀疏深度点与图像进行稠密深度估计并用于肠道三维建模；同时，通过最小化光度误差，估计肠道图像之间的位姿变化，将稠密深度图转换为三维稠密点云；最后，对肠道点云进行曲面拟合，生成具有颜色和纹理细节的高质量、稠密的三维肠道模型。具体如下：
3、步骤(1)基于直接稀疏测距，生成稀疏深度数据，包括：
4、(1-1)光源移动下肠道环境的光度矫正；肠镜检查过程中，光源通常会随着探针的运动而移动，光线的入射角度和强度会随着探针的位置和方向的变化而变化，对肠道图像进行光度矫正，保证每一帧肠镜图像受到光源的影响相同；
5、(1-2)在弱纹理的肠道环境下进行鲁棒的深度特征提取；采用直接稀疏测距获取稀疏深度数据，自适应地应对肠镜环境中的光照变化，在弱纹理的环境中生成丰富且稳定的几何三维点；通过构建图像金字塔，对每一帧结肠镜图像逐层逐像素计算梯度值，将高梯度值的特征点中的不成熟点进行深度细化；将所有深度点投影到二维图像平面，生成稀疏深度图，与对应的肠镜图像一起作为后续深度补全网络的输入。
6、步骤(2)基于深度补全的肠道三维建模，包括：
7、(2-1)跨模态融合的肠道稠密深度补全，通过肠道内窥镜深度补全网络实现，该网络采用由粗到精的策略，结合多尺度置信度和自注意力机制，实现稠密深度的特征提取，网络中加入结构感知模块；
8、(2-2)具有表面纹理的三维肠道点云重建；在完成肠道深度补全后，利用关键帧及其对应的稠密深度图，通过像素与像素之间的对应关系进行具有表面纹理的稠密三维肠道点云重建；
9、(2-3)肠道稠密三维建模，使用截断符号距离算法对得到的三维点云进行三角化拟合成曲面。
10、本发明在视觉里程计部分采用光源矫正，解决肠道内光源变化的问题，同时采用弱纹理环境下鲁棒的肠道稀疏深度估计方法，估计出鲁棒的肠道稀疏深度图；在卷积神经网络部分采用跨模态统合的肠道稠密深度估计，结合视觉里程计中生成的鲁棒的稀疏深度，生成准确的稠密的深度值；最后结合视觉里程计中生成的位置信息，通过具有表面纹理的高精度肠道稠密三维重建，最终生成稠密肠道三维模型。采用本发明方法生成的稠密肠道三维模型准确度高、连续性强。
1.基于视觉里程计和卷积神经网络的肠道稠密三维建模方法，其特征在于：
2.如权利要求1所述的基于视觉里程计和卷积神经网络的肠道稠密三维建模方法，其特征在于，步骤(1-1)采用基于光度响应模型的光度矫正方法：其中，i为内窥镜图像在图像序列编号，i′i(x)为光度矫正后的肠镜图像，ii(x)为光度矫正前的肠镜图像，ti为图像的曝光时间；f(·)是相机的响应函数，代表输入曝光和输出光度的关系；k(x)表示归一化的渐晕函数；li(x)是不受上述光学模块影响的真实光度；通过对内窥镜图像进行光度矫正，消除异常光度对特征提取和稀疏点生成的影响。
3.如权利要求2所述的基于视觉里程计和卷积神经网络的肠道稠密三维建模方法，其特征在于，步骤(1-2)中对不成熟点进行深度细化具体过程是：首先，对于每个点pi∈ii，找到滑动窗口中所有能观测到pi的图像帧ij，i和j为图像帧的序号；利用初始的镜头位姿估计每个点的深度范围[dmin,dmax]，dmin为深度最小值，dmax为深度最大值；其次，根据极点几何约束计算出特征像素的极线范围[pmin,pmax]，pmin为极线最小值，pmax为极线最大值；最后，使用相机的外参tij和内参k，将图像ii(x)中的点pi转换为极线l，即图像ij(x)中的红色线段：其中，和分别是点pi通过外极几何投影到ij上级线中最小和最大的像素点的坐标，和分别是pi在ii上的最大深度和最小深度值；然后在搜索范围内采用高斯牛顿优化法，求解更精确的点；通过对多幅图像进行上述迭代，得到内窥镜图像中特征像素的精确深度值。
4.如权利要求3所述的基于视觉里程计和卷积神经网络的肠道稠密三维建模方法，其特征在于，步骤(2-1)中，所述的肠道内窥镜深度补全网络，整个网络框架分为两个部分：首先是多尺度置信度预测模块，负责扩散稀疏深度图中的有效深度，生成带有置信图的稠密几何深度图；其次是基于u-net的深度补全网络，该网络使用多尺度置信度预测模块的深度特征图和对应的rgb图像作为输入，用于预测稠密的深度图；在编码器和解码器之间，加入了基于自注意力机制的结构感知模块，用于融合深层的纹理和几何特征；具体地，首先通过多尺度置信度预测模块处理原始稀疏深度图，得到稠密的置信图；然后将深度图及其置信图作为输入，在相应rgb图像的引导下进行深度补全；编码器生成粗略特征图后，通过结构感知模块进行进一步处理，生成增强的特征图；最后，增强的特征图输入到解码器部分，输出最终的稠密深度图。
5.如权利要求4所述的基于视觉里程计和卷积神经网络的肠道稠密三维建模方法，其特征在于，步骤(2-2)具体是：
6.如权利要求5所述的基于视觉里程计和卷积神经网络的肠道稠密三维建模方法，其特征在于，步骤(2-3)具体是：
