本发明涉及显微镜技术领域,尤其涉及一种具有双物镜的三维扫描显微镜及三维扫描方法。
背景技术:
物体表面微观三维形貌包括其表面结构、纹理走向、色彩度等特征,物体微观三维形貌检测技术在诸如机器视觉、图像识别以及医疗等领域得到了广泛地应用。目前,普通三维扫描显微镜通常是采用单物镜水平纵向扫描的方法,记录被测物体表面大量密集的点的三维坐标、反射率和纹理等信息,复建物体的三维形貌,但是在分辨率要求高、视场大、色彩真实度要求高等情况下,则不能收到满意的效果。综上,如何提供高精度的显微图像是亟待解决的问题。
技术实现要素:
有鉴于此,有必要提供一种具有双物镜的三维扫描显微镜及三维扫描方法,用以解决现有技术中的显微图像精度不高的技术问题。
本发明提供一种具有双物镜的三维扫描显微镜,包括:两个显微镜物镜、沿着每个所述显微镜物镜的光轴依次设置的物镜、镜筒透镜以及相机、用于承载待测物体的可调节载物台、至少一台步进电机、步进电机驱动器以及数据处理中心,其中,所述显微镜物镜,用于对准所述待测物体,使所述相机对所述待测物体进行显微拍摄;至少一台步进电机,用于带动所述可调节载物台往任意方向移动;所述步进电机驱动器与所述至少一台步进电机电连接,用于驱动所述至少一台步进电机的运行;所述数据处理中心分别与所述步进电机驱动器、所述相机电连接,其中,所述数据处理中心用于根据所述相机传输的拍摄图像调节所述步进电机驱动器的步进距离,直到所述相机之间形成的焦平面重叠区域在所述待测物体的表面,还用于对所述拍摄图像进行拼接重构,确定最终的显微图像。
进一步地,所述至少一台步进电机包括:带动所述可调节载物台沿x轴移动的第一步进电机和带动所述可调节载物台沿y轴移动的第二步进电机。
进一步地,所述相机选用ccd芯片类型,通过hdmi数字化接口上传数据至所述数据处理中心。
进一步地,两个所述显微镜物镜对应的光轴成预设角度。
进一步地,两个所述显微镜物镜的粘接处以及光路之间用不透光材料遮光板分隔。
本发明还提供一种三维扫描方法,基于如上所述的具有双物镜的三维扫描显微镜,所述三维扫描方法包括:
获取相机的拍摄图像;
根据所述拍摄图像调节步进电机驱动器的步进距离,直到所述相机之间形成的焦平面重叠区域在所述待测物体的表面;
对所述拍摄图像进行拼接重构,确定最终的显微图像。
进一步地,所述拍摄图像包括由第一步进电机拍摄的第一拍摄图像和由第二步进电机拍摄的第二拍摄图像,所述对所述拍摄图像进行拼接重构,确定最终的显微图像包括:
分别沿着所述第一拍摄图像、所述第二拍摄图像的两个方向进行小波分解,确定对应的第一分解图像和第二分解图像,其中,所述两个方向为水平方向和竖直方向;
将所述第一分解图像和所述第二分解图像进行双物镜匹配,并获取对应的视差图;
根据所述视差图的视差信息,对所述第一拍摄图像和所述第二拍摄图像进行拼接,确定所述显微图像
进一步地,所述分别沿着所述第一拍摄图像、所述第二拍摄图像的两个方向进行小波分解,确定对应的第一分解图像和第二分解图像包括:沿着所述第一拍摄图像、所述第二拍摄图像的两个方向进行小波分解,并设置低通滤波器和高通滤波器进行滤波,确定对应的所述第一分解图像和所述第二分解图像。
进一步地,所述将所述第一分解图像和所述第二分解图像进行双物镜匹配,并获取对应的视差图包括:
将滤波器运用到双物镜匹配的代价聚合过程,其中,所述滤波器用于保持所述拍摄图像的边缘结构信息;
使用半全局块匹配算法获取所述视差图,并运用中值滤波法进行所述视差图的优化。
进一步地,所述根据所述视差图的视差信息,对所述第一拍摄图像和所述第二拍摄图像进行拼接,确定所述显微图像包括:
基于所述视差图,利用渲染方法处理所述第一拍摄图像和所述第二拍摄图像;
对渲染处理后的所述第一拍摄图像和渲染处理后的所述第二拍摄图像进行拼接,得到对应范围内的所述显微图像。
进一步地,所述对处理后的所述第一拍摄图像和所述第二拍摄图像进行拼接,得到对应范围内的所述显微图像包括:
将渲染处理后的所所述第一拍摄图像和渲染处理后的所述第二拍摄图像之间的相应坐标位置相互对应,再对相邻两坐标位置的水平方向上的像素点进行带与带之间的拼接;
导出渲染处理后的所所述第一拍摄图像和渲染处理后的所述第二拍摄图像对应的像素点特征,并以所述像素点特征为标准,对视差图对应的重叠部分的对应特征区域进行搜索匹配,利用特征匹配算法将存在对应关系的特征对选择出来。
与现有技术相比,本发明的有益效果包括:通过设置显微镜物镜、镜筒透镜以及相机,对待测物体进行左右成像;通过设置少一台步进电机、步进电机驱动器,实现可调节载物台往任意方向的移动,保证相机之间形成的焦平面重叠区域在待测物体的表面,确定拍摄的准确性;通过设置数据处理中心,对拍摄图像进行数据处理,保证显微图像的高精度。综上,本发明利用伺服机构实现对焦平面范围图像的连续扫描,且两个物镜在不同角度对同一处进行扫描成像,使得该处成像质量更上一个台阶,再利用图像拼接技术得到更大尺度的显微图像。双物镜的配合使用、自动聚焦技术、连续扫描技术以及图像处理技术的使用,使得该显微镜工作效率更高、成像质量更好。
附图说明
图1为本发明提供的一种具有双物镜的三维扫描显微镜一实施例的结构示意图;
图2为本发明提供的双物镜一实施例的结合示意图;
图3为本发明提供的具有双物镜的三维扫描显微镜的扫描方法一实施例的流程示意图;
图4为本发明提供的图3中步骤s3一实施例的流程示意图;
图5为本发明提供的图4中步骤s32一实施例的流程示意图;
图6为本发明提供的图4中步骤s33一实施例的流程示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
本发明实施例提供了一种具有双物镜的三维扫描显微镜,结合图1来看,图1为本发明提供的一种具有双物镜的三维扫描显微镜一实施例的结构示意图,上述具有双物镜的三维扫描显微镜,包括:两个显微镜物镜、沿着每个显微镜物镜的光轴依次设置的镜筒透镜以及相机、用于承载待测物体的可调节载物台、至少一台步进电机、步进电机驱动器以及数据处理中心,其中,显微镜物镜,用于对准待测物体,使相机对待测物体进行显微拍摄;至少一台步进电机,用于带动可调节载物台往任意方向移动;步进电机驱动器与至少一台步进电机电连接,用于驱动至少一台步进电机的运行;数据处理中心分别与步进电机驱动器、相机电连接,其中,数据处理中心用于根据相机传输的拍摄图像调节步进电机驱动器的步进距离,直到相机之间形成的焦平面重叠区域在待测物体的表面,还用于对拍摄图像进行拼接重构,确定最终的显微图像。
其中,结合图1来看,将待测物体1放在载物台2上,具体包括左物镜3和右物镜6,与左物镜3对应依次设置第一镜筒透镜4和第一相机5,与右物镜6对应依次设置第二镜筒透镜7和第二相机8,至少一台步进电机包括第一步进电机9和第二步进电机10,对应连接与步进电机驱动器12,数据处理中心11分别与步进电机驱动器12、第一相机5和第二相机8电连接。
在本发明实施例中,通过设置显微镜物镜、镜筒透镜以及相机,对待测物体进行左右成像;通过设置少一台步进电机、步进电机驱动器,实现可调节载物台往任意方向的移动,保证相机之间形成的焦平面重叠区域在待测物体的表面,确定拍摄的准确性;通过设置数据处理中心,对拍摄图像进行数据处理,保证显微图像的高精度。
作为优选的实施例,至少一台步进电机包括带动可调节载物台沿x轴移动的第一步进电机和带动可调节载物台沿y轴移动的第二步进电机。作为具体实施例,本发明实施例由两台步进电机控制可调节在物体沿x轴、y轴水平移动。
作为优选的实施例,相机选用ccd芯片类型,通过hdmi数字化接口上传数据至数据处理中心。作为具体实施例,本发明实施例选用ccd芯片类型,其成像通透性、明锐度都很好,色彩还原、曝光可以保证基本准确。且两相机具有hdmi数字化接口,可以实时传输图像信息至数据处理中心。
作为优选的实施例,结合图2来看,图2为本发明提供的双物镜一实施例的结合示意图,两个显微镜物镜对应的光轴成预设角度。作为具体实施例,本发明实施例提供一种斜焦平面扫描法,由于两物镜结构设计上互成夹角β,所以两相机的焦平面与水平方向也具有偏角β,保证从不同角度观测到同一位置的图像信息,且构成斜焦平面扫描视场,其中,人工对载物台以及物镜位置进行调整,并且根据实际两物镜的焦平面位置以及景深情况确定该夹角β,相关的确定原则是:任意物镜既不阻挡另一物镜的焦平面,也不接触载物台。
作为优选的实施例,两个显微镜物镜的粘接处以及光路之间用不透光材料遮光板分隔。作为具体实施例,本发明实施例设置不透光材料遮光板,排除拍摄环境的干扰。
本发明实施例提供了一种三维扫描方法,结合图3来看,图3为本发明提供的具有双物镜的三维扫描显微镜的扫描方法一实施例的流程示意图,基于上述的具有双物镜的三维扫描显微镜,包括步骤s1至步骤s3,其中:
在步骤s1中,获取相机的拍摄图像;
在步骤s2中,根据拍摄图像调节步进电机驱动器的步进距离,直到相机之间形成的焦平面重叠区域在待测物体的表面;
在步骤s3中,对拍摄图像进行拼接重构,确定最终的显微图像。
在本发明实施例中,首先,对拍摄图像进行有效的获取;然后,根据拍摄的左右图像,调节进电机驱动器的步进距离,带动第一步进电机和第二步进电机对可调节载物台进行x轴和y轴方向的移动,保证焦平面重叠区域在待测物体的表面;最后,对拍摄图像进行图像拼接处理,以得到高分辨率的显微图像。
需要说明的是,由于两物镜结构设计上互成夹角β,所以两相机的焦平面与水平方向也具有偏角β,利用分别在水平和竖直方向进行滤波的方法实现小波多分辨率分解,得到水平子带和竖直子带的图像信息,然后将同一目标位置处两个显微镜焦平面水平方向图像进行拼接重构,竖直方向图像进行高层分析,然后与该点坐标信息对应存储在矩阵列表中。之后计算机再利用图像拼接技术将相邻图像带进行水平和竖直方向上的拼接,在图像处理中采用反卷积的方法,利用高层信息将拼接图像进行处理,可以得到高分辨率、更大尺度的显微三维图像实景。其中,在扫描的过程中,计算机通过分析竖直分量的高层信息判断实际观测范围是否超出物镜焦平面的景深范围,并自动地调整相机的焦距,以满足焦平面在物体表面。其次,扫描采用逐行扫描、连续存储的方式,即将各行图像信息逐行地连续存储在矩阵序列中。
作为优选的实施例,结合图4来看,图4为本发明提供的图3中步骤s3一实施例的流程示意图,步骤s3包括步骤s31至步骤s33,其中:
在步骤s31中,分别沿着第一拍摄图像、第二拍摄图像的两个方向进行小波分解,确定对应的第一分解图像和第二分解图像,其中,两个方向为水平方向和竖直方向;
在步骤s32中,将第一分解图像和第二分解图像进行双物镜匹配,并获取对应的视差图;
在步骤s33中,根据视差图的视差信息,对第一拍摄图像和第二拍摄图像进行拼接,确定显微图像。
作为具体实施例,本发明实施例利用对拍摄图像进行图像拼接处理,以得到高分辨率的显微图像。
作为优选的实施例,上述步骤s31具体包括:沿着第一拍摄图像、第二拍摄图像的两个方向进行小波分解,并设置低通滤波器和高通滤波器进行滤波,确定对应的第一分解图像和第二分解图像。作为具体实施例,本发明实施例将两相机采集的两幅相同场景不同角度的显微图像采用分别在水平和竖直方向进行滤波的方法实现小波多分辨率分解,计算机通过分析图像原始像素矩阵,分别设置低通和高通滤波器,得到水平子带和竖直子带的图像信息。
作为优选的实施例,结合图5来看,图5为本发明提供的图4中步骤s32一实施例的流程示意图,步骤s32包括步骤s321至步骤s322,其中:
在步骤s321中,将ref滤波器运用到双物镜匹配的代价聚合过程;
在步骤s322中,使用半全局块匹配算法获取视差图,并运用中值滤波法进行视差图的优化。
作为具体实施例,本发明实施例在图像处理软件中(一般在opencv的c 语言编译环境下,通过调用directshow开发包),然后再选择使用半全局块匹配(sgbm)的方法获取视差图,接着运用中值滤波的方式进行视差图优化。
作为优选的实施例,结合图6来看,图6为本发明提供的图4中步骤s33一实施例的流程示意图,步骤s33包括步骤s331至步骤s333,其中:
在步骤s331中,基于视差图,利用渲染方法处理第一拍摄图像和第二拍摄图像;
在步骤s332中,对第一拍摄图像和第二拍摄图像进行拼接,得到对应范围内的微观形貌图,并将第一拍摄图像和第二拍摄图像之间的相应坐标位置一一对应,再对相邻两坐标位置的水平方向上的像素点进行带与带之间的拼接;
在步骤s333中,采用基于特征值的拼接方法,通过像素导出对应的图像特征,并以图像特征为标准,对第一拍摄图像和所述第二拍摄图像之间的重叠部分的对应特征区域进行搜索匹配,利用特征匹配算法将存在对应关系的特征对选择出来。
作为具体实施例,本发明实施例利用具有高层信息的视差图的渲染技术(dibr)处理左右图像,之后计算机将对两水平图像进行拼接,得到该范围内的微观形貌图,并与相应坐标位置一一对应,之后再对相邻两坐标位置的水平方向上的图像进行带与带之间的拼接,采用基于特征值的拼接方法,通过像素导出图像的特征,然后以图像特征为标准,对图像重叠部分的对应特征区域进行搜索匹配,在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来,基于特征模板匹配特征点的拼接方法允许待拼接的图像有一定的倾斜,克服了获取图像时轴心必须一致的问题,同时允许相邻图像之间有一定色差,解决了斜焦平面成像轴心不一以及连续扫描时图像色差的问题,得到更大尺度的显微图像。
作为优选的实施例,上述步骤s333具体包括:
将渲染处理后的所所述第一拍摄图像和渲染处理后的所述第二拍摄图像之间的相应坐标位置相互对应,再对相邻两坐标位置的水平方向上的像素点进行带与带之间的拼接;
导出渲染处理后的所所述第一拍摄图像和渲染处理后的所述第二拍摄图像对应的像素点特征,并以所述像素点特征为标准,对视差图对应的重叠部分的对应特征区域进行搜索匹配,利用特征匹配算法将存在对应关系的特征对选择出来。
作为具体实施例,本发明实施例利用视差图进行像素点的匹配,从而进行有效的拼接处理。
本发明公开了一种具有双物镜的三维扫描显微镜及方法,通过设置显微镜物镜、镜筒透镜以及相机,对待测物体进行左右成像;通过设置少一台步进电机、步进电机驱动器,实现可调节载物台往任意方向的移动,保证相机之间形成的焦平面重叠区域在待测物体的表面,确定拍摄的准确性;通过设置数据处理中心,对拍摄图像进行数据处理,保证显微图像的高精度。对应控制方法中,首先,对拍摄图像进行有效的获取;然后,根据拍摄的左右图像,调节进电机驱动器的步进距离,带动第一步进电机和第二步进电机对可调节载物台进行x轴和y轴方向的移动,保证焦平面重叠区域在待测物体的表面;最后,对拍摄图像进行图像拼接处理,以得到高分辨率的显微图像。
本发明技术方案,利用伺服机构实现对焦平面范围图像的连续扫描,且两个物镜在不同角度对同一处进行扫描成像,使得该处成像质量更上一个台阶,再利用图像拼接技术得到更大尺度的显微图像。双物镜的配合使用、自动聚焦技术、连续扫描技术以及图像处理技术的使用,使得该显微镜工作效率更高、成像质量更好。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
1.一种具有双物镜的三维扫描显微镜,其特征在于,包括:两个显微镜物镜、沿着每个所述显微镜物镜的光轴依次设置的镜筒透镜以及相机、用于承载待测物体的可调节载物台、至少一台步进电机、步进电机驱动器以及数据处理中心:
其中,所述显微镜物镜,用于对准所述待测物体,使所述相机对所述待测物体进行显微拍摄;至少一台步进电机,用于带动所述可调节载物台往任意方向移动;所述步进电机驱动器与所述至少一台步进电机电连接,用于驱动所述至少一台步进电机的运行;所述数据处理中心分别与所述步进电机驱动器、所述相机电连接,其中,所述数据处理中心用于根据所述相机传输的拍摄图像调节所述步进电机驱动器的步进距离,直到所述相机之间形成的焦平面重叠区域在所述待测物体的表面,还用于对所述拍摄图像进行拼接重构,确定最终的显微图像。
2.根据权利要求1所述的具有双物镜的三维扫描显微镜,其特征在于,所述至少一台步进电机包括:带动所述可调节载物台沿x轴移动的第一步进电机和带动所述可调节载物台沿y轴移动的第二步进电机。
3.根据权利要求1所述的具有双物镜的三维扫描显微镜,其特征在于,所述相机选用ccd芯片类型,通过hdmi数字化接口上传数据至所述数据处理中心。
4.根据权利要求1所述的具有双物镜的三维扫描显微镜,其特征在于,两个所述显微镜物镜对应的光轴成预设角度。
5.一种三维扫描方法,其特征在于,基于根据权利要求1-4任一项所述的具有双物镜的三维扫描显微镜,所述三维扫描方法包括:
获取相机的拍摄图像;
根据所述拍摄图像调节步进电机驱动器的步进距离,直到所述相机之间形成的焦平面重叠区域在所述待测物体的表面;
对所述拍摄图像进行拼接重构,确定最终的显微图像。
6.根据权利要求5所述的三维扫描方法,其特征在于,所述拍摄图像包括由第一步进电机拍摄的第一拍摄图像和由第二步进电机拍摄的第二拍摄图像,所述对所述拍摄图像进行拼接重构,确定最终的显微图像包括:
分别沿着所述第一拍摄图像、所述第二拍摄图像的两个方向进行小波分解,确定对应的第一分解图像和第二分解图像,其中,所述两个方向为水平方向和竖直方向;
将所述第一分解图像和所述第二分解图像进行双物镜匹配,并获取对应的视差图;
根据所述视差图的视差信息,对所述第一拍摄图像和所述第二拍摄图像进行拼接,确定所述显微图像。
7.根据权利要求6所述的三维扫描方法,其特征在于,所述分别沿着所述第一拍摄图像、所述第二拍摄图像的两个方向进行小波分解,确定对应的第一分解图像和第二分解图像包括:沿着所述第一拍摄图像、所述第二拍摄图像的两个方向进行小波分解,并设置低通滤波器和高通滤波器进行滤波,确定对应的所述第一分解图像和所述第二分解图像。
8.根据权利要求7所述的三维扫描方法,其特征在于,所述将所述第一分解图像和所述第二分解图像进行双物镜匹配,并获取对应的视差图包括:
将滤波器运用到双物镜匹配的代价聚合过程,其中,所述滤波器用于保持所述拍摄图像的边缘结构信息;
使用半全局块匹配算法获取所述视差图,并运用中值滤波法进行所述视差图的优化。
9.根据权利要求8所述的三维扫描方法,其特征在于,所述根据所述视差图的视差信息,对所述第一拍摄图像和所述第二拍摄图像进行拼接,确定所述显微图像包括:
基于所述视差图,利用渲染方法处理所述第一拍摄图像和所述第二拍摄图像;
对渲染处理后的所述第一拍摄图像和渲染处理后的所述第二拍摄图像进行拼接,得到对应范围内的所述显微图像。
10.根据权利要求9所述的三维扫描方法,其特征在于,所述对处理后的所述第一拍摄图像和所述第二拍摄图像进行拼接,得到对应范围内的所述显微图像包括:
将渲染处理后的所所述第一拍摄图像和渲染处理后的所述第二拍摄图像之间的相应坐标位置相互对应,再对相邻两坐标位置的水平方向上的像素点进行带与带之间的拼接;
导出渲染处理后的所所述第一拍摄图像和渲染处理后的所述第二拍摄图像对应的像素点特征,并以所述像素点特征为标准,对视差图对应的重叠部分的对应特征区域进行搜索匹配,利用特征匹配算法将存在对应关系的特征对选择出来。
技术总结