本发明属于显微检测,具体是涉及一种显微系统下结合深度学习的微粒轴向位移的实时测量方法。
背景技术:
1、在显微系统中实时地对微粒的三维运动进行建模能够实现微粒的三维动力学研究。目前许多研究者已经实现显微系统下微粒的二维空间运动的精确建模。然而要将微球的运动模型拓展至三维仍然存在一定的限制,其中最重要的限制因素是显微镜的轴向分辨率。
2、随着技术的发展,已有的在液体中粒子的三维定位方法包括临界角法、数字全息显微法、立体成像法、色彩共焦系统法、散射光干涉法等。这些方法在三维运动的建模上打破技术瓶颈,但是它们不仅需要复杂的设备支持,而且测试流程复杂且耗时。此外,也有研究者在不引入额外设备的基础上,利用图像的像素平方梯度值建立对应的轴向位移的曲线关系。该方法虽然简单易实施,但是系统外界的环境光线容易影响成像结果进而影响采集到的图像,导致实验误差。因此,亟待发明一种简单且适用性高的微粒轴向位移的测量方法。
技术实现思路
1、本发明的目的在于针对现有技术存在的上述技术问题,提供一种显微系统下结合深度学习的微粒轴向位移的实时测量方法。微球在显微系统下的三维定位很难实现,而实验发现微球的一级衍射环半径在显微镜下的成像会由于其轴向位置的改变而发生改变。本发明结合改进的yolo v5深度学习方法,对微球的一级衍射环像的大小进行精确且实时的检测,进一步实时得到微球的轴向位置。在没有额外引进硬件设备的前提下,具有测量精确,适用性强,不易受环境光影响等优点。
2、本发明具体发明技术方案如下:
3、1)在显微系统成像光路的探测端利用ccd相机采集显微镜视场的图像;
4、2)运行显微系统,采集并保存用于深度学习模型训练的原始数据;
5、3)标注并扩充原始数据集,搭建、训练并测试深度学习模型;
6、4)检测微粒的一级衍射环半径并通过拟合获得标定曲线;
7、5)根据标定的曲线实时计算微粒的轴向位移。
8、在步骤2)中,所述运行显微系统,采集并保存用于深度学习模型训练的原始数据的具体步骤可为:
9、(1)将待测样品装载至位移台上,控制位移台使样品在显微镜下以固定步长沿着轴向运动;
10、(2)通过ccd相机记录在轴向运动过程中微粒像的一级衍射环的变化情况,保存为视频数据;利用视频处理工具逐帧提取视频中的图像,将关键帧图像保存为原始图像数据集。
11、在步骤3)中,所述标注并扩充原始数据集,搭建、训练并测试深度学习模型的具体步骤可为:
12、(1)对原始数据集中微粒的一级衍射环图像进行标注,将标注好的图像和标签保存为数据集;
13、(2)基于少量已标注的图像数据,利用图像数据增强方法对数据集进行扩充,获得包含大量图像的数据集;将数据集划分为训练集和测试集;
14、(3)搭建深度学习模型yolo v5目标检测模型,基于微粒图像特征,对模型的检测部分进行改进以提高模型性能;
15、(4)利用标注好并经过扩充的训练集来训练模型,且在测试集上对模型的检测性能进行测试。
16、在步骤4)中,所述检测微粒的一级衍射环半径并通过拟合获得标定曲线,具体步骤可为:
17、(1)利用训练好的模型对原始数据集中的微粒进行识别,将微粒一级衍射环的半径大小与微粒轴向位移关联;
18、(2)分析一级衍射环半径与微粒轴向位移的关系,根据其特征以及多种拟合结果选择合适的函数拟合标定数据,得到微粒一级衍射环的半径与轴向位移之间的非线性关系。
19、在步骤5)中,所述根据标定的曲线实时计算微粒的轴向位移,具体步骤为:
20、(1)利用训练好的深度学习模型,实时检测ccd相机视场下的图像,获取微粒像的一级衍射环的半径大小;
21、(2)利用python编写实时处理程序,将半径代入拟合关系式即可实时获得微球的轴向位移。
22、利用python编写实时处理程序,实时检测微球的轴向位移;该实时处理程序可自行编写的,利用python实现的。编写逻辑为:获取显微镜系统得到的图像->将图像读取到目标检测系统中->对图像进行微球的一级衍射环检测->获取一级衍射环半径->根据拟合关系转化半径为轴向位置->在界面上实时输出微球轴向位置。
23、本发明的有益效果如下:
24、(1)本发明创新性的采用微球像一级衍射环像半径来反映轴向位移。
25、(2)本发明中提出的实时测量方法适用于结合光镊的显微镜、荧光显微镜等多种显微系统,适用性广泛。
26、(3)将有监督目标检测算法用于显微系统中的微粒图像的处理分析中,用监督目标检测算法实现一级衍射环像的半径的检测;与传统的无监督算法相比,有监督学习可以拥有更好的检测性能,在更好的检测结果的支持下,在显微镜下实时识别并检测微粒的一级衍射环半径成为了可能。
27、(4)本发明结合了图像数据增强的方法,使得在少量人工标注的情况下能够利用计算机技术将训练图像数据集扩充数十倍。因此该方法快速简便,极大降低轴向位移的实时测量成本,减少人工标注的工作量和时间。
28、(5)实际应用过程中,通过相机实时获得微球像,并可结合利用python编写实时处理程序能够实时检测微球的轴向位移,检测具有实时性,可以动态测量微球的轴向位移。
29、(6)本发明对于流体动力学的研究和流体工程的设计具有重要意义,可以应用于流体力学、化学工程、材料科学、生物医学等领域。
1.结合深度学习的微粒轴向位移的实时测量方法,其特征在于包括以下步骤:
2.如权利要求1所述结合深度学习的微粒轴向位移的实时测量方法,其特征在于在步骤2)中,所述运行显微系统,采集并保存用于深度学习模型训练的原始数据的具体步骤为:
3.如权利要求1所述结合深度学习的微粒轴向位移的实时测量方法,其特征在于在步骤3)中,所述标注并扩充原始数据集,搭建、训练并测试深度学习模型的具体步骤为:
4.如权利要求1所述结合深度学习的微粒轴向位移的实时测量方法,其特征在于在步骤4)中,所述检测微粒的一级衍射环半径并通过拟合获得标定曲线,具体步骤为:
5.如权利要求1所述结合深度学习的微粒轴向位移的实时测量方法,其特征在于在步骤5)中,所述根据标定的曲线实时计算微粒的轴向位移,具体步骤为:
6.如权利要求5所述结合深度学习的微粒轴向位移的实时测量方法,其特征在于在步骤(2)中,所述实时获得微球的轴向位移利用python编写实时处理程序,实时检测微球的轴向位移;该实时处理程序的编写逻辑为:获取显微镜系统得到的图像->将图像读取到目标检测系统中->对图像进行微球的一级衍射环检测->获取一级衍射环半径->根据拟合关系转化半径为轴向位置->在界面上实时输出微球轴向位置。
