本发明属于啮齿动物悬尾实验技术领域,具体是基于深度学习的小鼠悬挂实验的自动化分析系统和方法。
背景技术:
悬挂实验是一种测量啮齿动物肌肉力量与平衡能力的常用方法,在悬挂实验中,实验人员将小鼠两前肢放置在铁丝上,随后放开,再盖上透明的塑料板,小鼠也因此不能翻身站在铁丝上。并且铁丝距离地面有一定高度,小鼠不会让自身轻易掉落,只能尽力抓取铁丝保持悬挂状态。在实验开始到动物掉落的这段时间内,记录动物的悬挂评分和悬挂时间,分别用来评估动物的平衡力与肌肉力量。
传统悬挂实验中,实验人员采取人工记录观察方法,存在费时费力、主观性强、精准度低等明显缺点。随着计算机科学、数学等学科的快速发展,我们也首次将计算机视觉技术已经运用于悬挂实验中,实现了半自动化或全自动化悬挂行为分析,大大提高了实验的效率与准确性。以往的悬挂实验中,实验人员只能通过使用秒表记录动物悬挂时间,用眼睛观察实验中动物抓取铁丝的最多肢数来评分。例如:两条后肢抓住铁丝,评分4分、一只后肢抓住铁丝,评分3分、两只前肢抓住铁丝,评分2分、一只前肢抓住铁丝,评分1分。由于小鼠在悬挂过程中存在转向、翻转身体的现象,导致实验人员在观察小鼠肢体时被小鼠的背部所遮挡,以及小鼠肢体快速触碰铁丝后又迅速放下的情况存在,使得实验人员观察得到的现象和数据并不准确,现提供基于深度学习的小鼠悬挂实验的自动化分析系统和方法。
技术实现要素:
本发明的目的在于提供基于深度学习的小鼠悬挂实验的自动化分析系统和方法。
本发明所要解决的技术问题为:如何降低小鼠悬挂实验中,人为因素对实验结果的影响,同时使得小鼠悬挂实验所获得的数据更加的准确。
本发明的目的可以通过以下技术方案实现:基于深度学习的小鼠悬挂实验的自动化分析系统,包括悬挂实验模块、数据传输模块、视频分析模块、存储模块以及预测模块;
所述视频分析模块用于对小鼠的追踪视频数据进行分析,具体分析过程包括以下步骤:
步骤s1:获取追踪视频数据中的追踪视频,对追踪视频中的铁丝进行标记,并将铁丝的一端记为原点,然后设置x、y轴坐标系;对悬挂实验的区域转化为像素点,获取小鼠的每个身体关键点的身体关键点像素值;
步骤s2:获取小鼠抓取铁丝未在水平方向上移动的时间,并将小鼠抓取铁丝未在水平方向上移动的时间记为悬挂时间xt;
获取小鼠抓取铁丝在水平方向上移动的时间,并将小鼠抓取铁丝在水平方向上移动的时间记为爬行时间pt;当小鼠在0.5s的时间内在x轴方向上移动超过na个像素点距离时,记为爬行了一次,获取小鼠的爬行次数pc;获取小鼠的移动轨迹的长度,并将小鼠的移动轨迹的长度记为爬行距离pl;
步骤s3:将追踪视频分解为m帧照片,筛选符合悬挂实验的区域的帧数中四肢分别抓取铁丝的帧数与四肢抓取铁丝的总帧数,并分别记为zsi和zs,通过公式zli=zsi/zs获得四肢抓取准确率zli;
步骤s4:获取小鼠在实验期间的最大运动速度以及平均运动速度,并分别记为峰值速度vmax和平均速度vp;将峰值速度vmax和平均速度vp通过数据传输模块发送至存储模块进行保存。
进一步地,所述悬挂实验模块包括视频数据采集单元和悬挂实验场景,悬挂实验模块用于完成悬挂实验过程,通过将小鼠放置在悬挂实验场景内,通过视频数据采集单元获取小鼠悬挂实验数据,具体过程包括以下步骤:
步骤x1:搭建悬挂实验场景,然后将小鼠放入悬挂实验场景中;
步骤x2:选取小鼠身上的13个身体关键点;连接小鼠的身体关键点从而获得小鼠的骨架线,如鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根等;
步骤x3:通过视频数据采集单元获得小鼠的追踪视频数据,将小鼠的追踪视频数据通过数据传输模块发送至视频分析模块,追踪视频数据包括相机拍摄的追踪视频以及追踪视频的拍摄时间。
进一步地,所述步骤x1中的悬挂实验场景包括悬挂箱和相机,悬挂箱内水平设置有一根铁丝,内壁黑化处理,相机位于悬挂箱斜上方45°,相距悬挂箱30cm处,相机拍摄范围覆盖整个铁丝长度,实验开始由相机全程录像。
进一步地,所述像素点的换算方式为:1cm=a个像素点。
进一步地,所述预测模块用于在身体关键点被遮挡时,对被遮挡的身体关键点位置进行预测,并给出被遮挡的身体关键点的预测数据值。
基于深度学习的小鼠悬挂实验的自动化分析方法,具体包括以下步骤:
步骤一:搭建悬挂实验场景,然后将小鼠放入悬挂实验场景中;
步骤二:建立x、y轴二维坐标系;
步骤三:获取小鼠的追踪视频数据,并发送至视频分析模块;
步骤四:通过视频分析模块对小鼠的追踪视频数据进行分析,并输出分析结果。
本发明的有益效果:本发明基于计算机视觉与深度学习技术实现全自动化追踪与精细行为指标提取,无需依靠实验人员实时记录,大大减少了实验时长,同时还提高了实验准确度;且在实验时无需对小鼠进行处理,即可实现13点身体关键点识别与追踪,大大降低了人为因素对实验结果的影响,同时基于13点身体关键点识别与追踪,可以检测小鼠在二维空间的相对位置,进而识别爬行次数、各肢抓取准确率、运动轨迹等更加精细指标,还将传统的悬挂时间进一步划分为爬行时间和悬挂时间,同时还设置有预测模块,能够使得在身体关键点出现被遮挡的情况时,对被遮挡的身体关键点的位置进行预测,并输出被遮挡的身体关键点的预测数据,从而降低了实验数据的人为因素影响,使得实验数据更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为基于深度学习的小鼠悬挂实验的自动化分析系统的原理框图。
具体实施方式
如图1所示,基于深度学习的小鼠悬挂实验的自动化分析系统,包括悬挂实验模块、数据传输模块、视频分析模块、存储模块以及预测模块;
实施例1
所述悬挂实验模块包括视频数据采集单元和悬挂实验场景,悬挂实验模块用于完成悬挂实验过程,通过将小鼠放置在悬挂实验场景内,通过视频数据采集单元获取小鼠悬挂实验数据,具体过程包括以下步骤:
步骤x1:搭建悬挂实验场景,然后将小鼠放入悬挂实验场景中;
步骤x2:选取小鼠身上的13个身体关键点;身体关键点包括鼻尖、眼睛、耳朵、头部中心、四肢、尾根、尾中以及尾尖;连接小鼠的身体关键点从而获得小鼠的骨架线,如鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根等;
步骤x3:通过视频数据采集单元获得小鼠的追踪视频数据,将小鼠的追踪视频数据通过数据传输模块发送至视频分析模块,追踪视频数据包括相机拍摄的追踪视频以及追踪视频的拍摄时间。
所述步骤x1中的悬挂实验场景包括悬挂箱和相机(型号:sonyhdr-cx680帧数:60帧分辨率:1280×720)。悬挂箱高37cm,底边长45cm,宽20cm;悬挂箱内水平设置有一根铁丝,悬挂箱中铁丝长45cm,直径3mm,内壁黑化处理。相机位于悬挂箱斜上方45°,相距悬挂箱30cm处,相机拍摄范围覆盖整个铁丝长度;实验开始由相机全程录像。
所述视频分析模块用于对小鼠的追踪视频数据进行分析,具体分析过程包括以下步骤:
步骤s1:获取追踪视频数据中的追踪视频,对追踪视频中的铁丝进行标记,并将铁丝的一端记为原点,然后设置x、y轴坐标系;对悬挂实验的区域转化为像素点,其中x轴像素点范围为q-w;y轴像素点范围为e-r;其q、w、e、r均为整数,且q<w,e<r;1cm=a个像素点,a为整数且a>0;获取小鼠的每个身体关键点的身体关键点像素值,所述身体关键点像素值为小鼠身体关键点所对应的x、y轴的坐标值;并将身体关键点像素值通过数据传输模块发送至存储模块进行保存;
步骤s2:获取小鼠抓取铁丝未在水平方向上移动的时间,并将小鼠抓取铁丝未在水平方向上移动的时间记为悬挂时间xt;
获取小鼠抓取铁丝在水平方向上移动的时间,并将小鼠抓取铁丝在水平方向上移动的时间记为爬行时间pt;当小鼠在0.5s的时间内在x轴方向上移动超过na个像素点距离时,记为爬行了一次,获取小鼠的爬行次数pc;n>0且n为整数;获取小鼠的移动轨迹的长度,并将小鼠的移动轨迹的长度记为爬行距离pl;
通过获得小鼠的运动数据,并根据小鼠的运动数据,生成小鼠的运动轨迹图,将小鼠运动数据和小鼠的运动轨迹图发送至存储模块进行保存;
步骤s3:将追踪视频分解为m帧照片,筛选符合悬挂实验的区域的帧数中四肢分别抓取铁丝的帧数与四肢抓取铁丝的总帧数,并分别记为zsi和zs,通过公式zli=zsi/zs获得四肢抓取准确率zli,其中i=1,2,3,4,分别表示小鼠的四肢;将小鼠的四肢抓取准确率通过数据传输模块发送至存储模块进行保存;
步骤s4:获取小鼠在实验期间的最大运动速度以及平均运动速度,并分别记为峰值速度vmax和平均速度vp;将峰值速度vmax和平均速度vp通过数据传输模块发送至存储模块进行保存;
步骤s5:获取骨架线的长度,并将骨架线的长度通过数据传输模块发送至存储模块进行保存;获取骨架线的方向,将骨架线的方向记为骨架方向,具体获取过程包括以下步骤:
步骤ss1:以骨架线两个身体关键点之一为原点o,将原点o与另外一个身体关键点p相连,形成身体关键点o到身体关键点p方向的矢量线;
步骤ss2:将所获得的矢量线与x轴正方向相交,获得矢量线与x轴正方向的夹角;
步骤ss3:将所获得的矢量线与x轴正方向的夹角记为骨架方向。
实施例2
小鼠在运动的过程中,身体关键点可能会出现被遮挡现象,所述预测模块用于在身体关键点被遮挡时,对被遮挡的身体关键点位置进行预测,并给出被遮挡的身体关键点的预测数据值;
相比较传统的悬挂实验,由于小鼠在悬挂过程中存在转向、翻转身体的现象,导致实验人员在观察小鼠肢体时被小鼠的背部所遮挡,以及小鼠肢体快速触碰铁丝后又迅速放下的情况存在,使得实验人员观察得到的现象和数据并不准确,本发明通过设置有预测模块,能够在小鼠的身体关键点被遮挡时,能够准确的预测被遮挡的身体关键点的位置,并给出预测数据值,从而降低了实验数据的人为因素影响,使得实验数据更加准确。
基于深度学习的小鼠悬挂实验的自动化分析方法,具体包括以下步骤:
步骤一:搭建悬挂实验场景,然后将小鼠放入悬挂实验场景中;
步骤二:建立x、y轴二维坐标系;
步骤三:获取小鼠的追踪视频数据,并发送至视频分析模块;
步骤四:通过视频分析模块对小鼠的追踪视频数据进行分析,并输出分析结果。
上述公式均是去除量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式,公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围,此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
1.基于深度学习的小鼠悬挂实验的自动化分析系统,其特征在于,包括悬挂实验模块、数据传输模块、视频分析模块、存储模块以及预测模块;
所述视频分析模块用于对小鼠的追踪视频数据进行分析,具体分析过程包括以下步骤:
步骤s1:获取追踪视频数据中的追踪视频,对追踪视频中的铁丝进行标记,并将铁丝的一端记为原点,然后设置x、y轴坐标系;将悬挂实验的区域转化为像素点,获取小鼠的每个身体关键点的身体关键点像素值;
步骤s2:获取小鼠抓取铁丝未在水平方向上移动的时间,并将小鼠抓取铁丝未在水平方向上移动的时间记为悬挂时间xt;
获取小鼠抓取铁丝在水平方向上移动的时间,并将小鼠抓取铁丝在水平方向上移动的时间记为爬行时间pt;当小鼠在0.5s的时间内在x轴方向上移动超过na个像素点距离时,记为爬行了一次,获取小鼠的爬行次数pc;获取小鼠的移动轨迹的长度,并将小鼠的移动轨迹的长度记为爬行距离pl;
步骤s3:将追踪视频分解为m帧照片,筛选符合悬挂实验的区域的帧数中四肢分别抓取铁丝的帧数与四肢抓取铁丝的总帧数,并分别记为zsi和zs,通过公式zli=zsi/zs获得四肢抓取准确率zli;
步骤s4:获取小鼠在实验期间的最大运动速度以及平均运动速度,并分别记为峰值速度vmax和平均速度vp;将峰值速度vmax和平均速度vp通过数据传输模块发送至存储模块进行保存。
2.根据权利要求1所述的基于深度学习的小鼠悬挂实验的自动化分析系统,其特征在于,所述悬挂实验模块包括视频数据采集单元和悬挂实验场景,悬挂实验模块用于完成悬挂实验过程,通过将小鼠放置在悬挂实验场景内,通过视频数据采集单元获取小鼠悬挂实验数据,具体过程包括以下步骤:
步骤x1:搭建悬挂实验场景,然后将小鼠放入悬挂实验场景中;
步骤x2:选取小鼠身上的13个身体关键点;连接小鼠的身体关键点从而获得小鼠的骨架线,如鼻尖-尾根、鼻尖-躯干中心、躯干中心-尾根等;
步骤x3:通过视频数据采集单元获得小鼠的追踪视频数据,将小鼠的追踪视频数据通过数据传输模块发送至视频分析模块,追踪视频数据包括相机拍摄的追踪视频以及追踪视频的拍摄时间。
3.根据权利要求2所述的基于深度学习的小鼠悬挂实验的自动化分析系统,其特征在于,所述步骤x1中的悬挂实验场景包括悬挂箱和相机,悬挂箱内水平设置有一根铁丝,内壁黑化处理,相机位于悬挂箱斜上方45°,相距悬挂箱30cm处,相机拍摄范围覆盖整个铁丝长度,实验开始由相机全程录像。
4.根据权利要求1所述的基于深度学习的小鼠悬挂实验的自动化分析系统,其特征在于,所述像素点的换算方式为:1cm=a个像素点。
5.根据权利要求1所述的基于深度学习的小鼠悬挂实验的自动化分析系统,其特征在于,所述预测模块用于在身体关键点被遮挡时,对被遮挡的身体关键点位置进行预测,并给出被遮挡的身体关键点的预测数据值。
6.基于深度学习的小鼠悬挂实验的自动化分析方法,其特征在于,具体包括以下步骤:
步骤一:搭建悬挂实验场景,然后将小鼠放入悬挂实验场景中;
步骤二:建立x、y轴二维坐标系;
步骤三:获取小鼠的追踪视频数据,并发送至视频分析模块;
步骤四:通过视频分析模块对小鼠的追踪视频数据进行分析,并输出分析结果。
技术总结