一种基于视频法的无人机机载生命体征探测方法与流程

1.本发明涉及大范围的生命探测、救援技术领域，尤其涉及一种基于视频法的无人机机载生命体征探测方法。


背景技术：

2.灾后搜救行动(search and rescue options)在任何灾难发生后都起着至关重要的作用。通常，由于道路不通、水路被淹以及高楼建筑被损毁，受灾地区很难到达。搜救工作包括搜寻失踪人员和在灾难现场治疗受伤人员。由于遇难者往往暴露在野外，处于脱水、大出血甚至是核辐射的影响下，时间对救援工作而言至关重要。一般来说，受灾区域面积很大，必须在尽可能短的时间内尽可能彻底地搜索。由于地面不平，天气恶劣，地形复杂等原因，地面搜救对救援人员来说非常困难。因此，救援团队急需自动化的搜救解决方案，以实现高质量、高效率的灾后搜救工作。
3.另外，在救援任务的执行过程中，仅仅实现对受害者的探测和跟踪是不够的。还必须检测人是否活着，这样活着的人才能首先获得救助。在此基础上，如果能获得更为详细的遇难者生命体征指标(包括心率、呼吸、体温等)，判定遇难者的身体状态，那么灾后救援效率将会得到极大提高。
4.现有的搜寻方式主要为生命雷达探测仪，生命雷达通过人体运动或者呼吸对电磁波产生多普勒效应，从而判断有无生命特征。当探测器发射电磁波后，如果遇到静止的物体例如墙壁、碎石块，电磁波返回的信号没有变化；如果遇到生命活动例如呼吸或运动，电磁波返回的频率会发生变化。接收器接收到反馈信号后，对信号进行积累、微分放大过滤等技术处理，在接收器上显示出异常点，就可能是生命体的位置，达到探测被困人员的目的。
5.但是，生命雷达存在着诸多缺点，主要包括：
6.1.探测范围小：生命雷达在空阔地带能够探测到的水平极限距离只有500m，在有障碍物阻挡的情况下测量距离可能下降到几十米，这在实际救援中是远远不够的。
7.2.需人工操作，不能完全自动化。实际救援中需要工作人员手持生命雷达不停改变位置寻找周围生命，便捷性差。
8.3.整体搜索时间长。市面上生命雷达一次完整的搜索时间从30秒到3分钟不等，即使是搜索时间最短的30秒雷达，受限于其搜索区域，完成一次灾区的完整搜索也需很长时间。
9.4.受外界干扰影响大。雷达所发射的电磁波在遇到金属物质时会被吸收和反射，不能显示正常的位置，对雷达生命探测仪的性能造成影响。并且在救援人员准备用雷达生命探测仪搜索时，需要将探测区域内所有活动人员清除，否则也会影响检测结果。
10.5.成本高。生命雷达通过反射电磁波分析人体低频信号，属于精密仪器，制造成本较高。市面上普通的雷达生命探测仪价格2万左右，较高性能的价格可达20万，且一次搜救行动中往往需要配备多台生命雷达。
11.另外，现有的基于无人机的灾后搜救方案，核心都是对无人机所拍图像进行目标
识别，通过纯视觉特征将遇难者从照片中标注出来，从而完成对遇难者的定位。但是，这些方案都没有解决检测遇难者是否存活的问题，这就导致仍旧存活的遇难者没有办法第一时间得到救助，无法实现精准救援。


技术实现要素：

12.针对现有方法的以上缺陷或改进需求，本发明提供了一种基于视频法的无人机机载生命体征探测方法，以能够实现大范围内的快速、高效、精确的生命探测。
13.为实现上述目的，本发明提供了以下的技术方案。
14.一种基于视频法的无人机机载生命体征探测方法，其特征在于，包括如下步骤：
15.s1：无人机巡航搜索：由无人机搭载摄像机对目标区域进行探测搜索，获取高分辨率影像；
16.s2：人体自动识别：对所拍画面进行实时扫描，通过视觉特征标记出人体位置；
17.s3：定位并接近目标：无人机利用视觉定位技术调整飞行高度，低空飞行到人体目标周围；
18.s4：生命特征检测：无人机依次通过人体微振动测量呼吸率、通过颈部微振动与人脸颜色变化测量心率、通过额头热红外成像测量体温，并综合得到最终检测结果。
19.进一步的，使用云台来最小化摄像机的振动并稳定镜头。
20.进一步的，所述步骤s2通过深度学习实现。
21.其中，所述通过人体微振动测量呼吸率具体包括如下步骤：1)采用人脸检测确定人脸区域，并结合人体几何关系规范呼吸区域；2)结合空间尺度及相位差异，采用基于相位的视频处理方法对呼吸区域进行时空相位处理；3)采用最大似然法进行呼吸初估计；4)结合呼吸初估计频率对原信号平滑滤波以优化波形；5)最后应用峰值检测完成呼吸率的二次估计。
22.所述通过颈部微振动与人脸颜色变化测量心率具体包括如下步骤：1)数据输入：获取连续s帧目标图像作为计算数据，同时对该数据做逆置变换；2)roi区域的选定：对每一帧进行人脸检测，得到只包含人脸信息的区域矢量作为roi区域；3)色域转换：将roi区域的色彩空间由rgb转换为yiq；4)空间滤波；
23.5)时域滤波；6)功率谱计算心率：通过对滤波后的bvp信号量进行功率谱计算，而后得出心率值。
24.rgb和yiq的转换关系如下式所示：
[0025][0026]
进一步的，所述空间滤波利用多尺度的图像高斯金字塔分解方法对视频进行空间分解，它通过对每帧图像进行连续地高斯平滑和降采样，得到多个层次的子带集合。
[0027]
进一步的，所述时域滤波利用基于光流法的理想带通滤波对金字塔分解后的帧序列进行理想带通滤波，得到所有帧图像的bvp信号。
[0028]
所述热红外成像还包括：采用人脸匹配算法进行人脸区域的定位；根据人类脸部比例关系可将额头区域标出；无人机低飞到目标额头附近，通过机身携带的红外摄像头获
取温度信号。
[0029]
本发明所述的方案与现有的技术相比，具有如下的有益效果是：
[0030]
1)灾害现场、野外战场的高效人体定位技术：通过深度学习实现，可有效实现在灾害现场、野外战场环境下，多种姿态人体的整体轮廓识别和视觉定位；
[0031]
2)基于微振动的高分辨率呼吸检测：基于相位的振动检测方法可以对选定的呼吸区域进行时空相位处理，在频域内将空间域拓展到多个方向相位域以提高空间分辨率，在突出呼吸区域的同时抑制了噪声干扰，最终得到良好的呼吸率波形或者进行呼吸率的动态监测。
[0032]
3)基于人脸微振动和颜色变化的精准心率检测算法，能够从消费级摄像机拍摄的图像中准确计算出人体心率。
[0033]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0034]
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
[0035]
图1是本发明一实施例所提供的基于视频法的无人机机载生命体征探测方法的流程示意图；
[0036]
图2是本发明一实施例所提供的生命体征检测的关键技术的实施流程图。
具体实施方式
[0037]
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0038]
本发明提供了一种基于视频法的无人机机载生命体征探测方法，如图1所示，包括以下的实施步骤：
[0039]
步骤s1：无人机巡航阶段，由无人机搭载摄像机对目标区域进行探测搜索，获取现场高分辨率影像；其中，视频数据是使用无人机摄像机捕获的，为了减少安装在无人机上的摄像机的振动，使用了一个标准的云台来最小化摄像机的振动并稳定镜头。优选地，视频以每秒30帧的速度进行采样，分辨率为3840
×
2160像素。
[0040]
步骤s2：人体自动识别：对所拍画面进行实时扫描，通过视觉特征标记出人体位置。可选地，还可以根据体动特征初步分析是否为活体，当初步分析结果为是时才继续执行s3，否则返回s1。所述步骤s2通过深度学习实现，可有效实现在灾害现场、野外战场环境下，多种姿态体的整体轮廓识别和视觉定位。
[0041]
步骤s3：定位并接近目标：无人机利用视觉定位技术调整飞行高度，低空飞行到人体目标周围。
[0042]
步骤s4：生命体征检测：无人机依次通过人体微振动测量呼吸率、通过颈部微振动
与人脸颜色变化测量心率、通过额头热红外成像测量体温，并综合得到最终检测结果。例如，通过将三个子检测结果通过加权判决来得到最终结果。
[0043]
以下结合图2所示，对生命体征检测的关键技术进行逐一说明。其中，步骤s4中通过人体微振动测量呼吸率具体包括如下步骤：首先，采用人脸检测确定人脸区域，并结合人体几何关系规范呼吸区域；然后，结合空间尺度及相位差异，采用基于相位的视频处理方法对呼吸区域进行时空相位处理，在突出呼吸区域的同时有效抑制了噪声干扰。接着，采用最大似然法进行呼吸初估计，并结合呼吸初估计频率对原信号平滑滤波以优化波形。最后应用峰值检测完成呼吸率的二次估计。
[0044]
步骤s4中通过颈部微振动与人脸颜色变化测量心率具体包括如下步骤：
[0045]
1)数据输入：获取链表的当前指针，从指针当前节点向后取连续s帧作为计算数据，同时，对该数据序列做逆置变换，其第i帧(i＝1,2,3
…
s)的输入按照公式(1)执行：
[0046]
frames[i]＝list[s
‑
i]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0047]
其中，frames[i]表示第i帧图像，list[s
‑
i]表示所取的链表子序列对应节点。
[0048]
2)roi区域的选定：利用opencv提供的人脸识别算法，对每一帧进行人脸检测，得到只包含人脸信息的区域矢量rect(x,y,w,h)，作为roi(region of interest，感兴趣区域)区域，其中rect表示一个矩阵区域，x和y表示矩阵的起始顶点，w和h表示矩阵的长和宽。
[0049]
3)色域转换：将人脸视频(roi区域)的色彩空间由rgb转换为yiq，使图像的亮度信息和色度信息分开，便于亮度和色度的单独处理。yiq是ntsc(national television standards committee)彩色电视系统使用的色彩空间，其中y通道存储图像的亮度(luminance)信息，i和q通道存储图像的色度(chrominance)信息。i表示从橙色到青色的颜色变化，q表示从紫色到黄绿色的颜色变化。rgb和yiq的转换关系如公式(2)所示。
[0050][0051]
4)空间滤波：利用一种多尺度的图像高斯金字塔分解方法对视频进行空间分解，它通过对每帧图像进行连续地高斯平滑和降采样，得到多个层次的子带集合。计算步骤如下：
[0052]
①
输入第j(j＝1,2,3
…
)帧图像作为第0层，计算分解层数l；
[0053]
②
对前一层图像先进行高斯滤波，后降采样，图像尺寸变为原来的1/4，记为次一层；
[0054]
③
将步骤
②
迭代执行l
‑
1次，得到第l层子带图像；
[0055]
④
j＝j 1，循环执行以上步骤，输出子带序列。
[0056]
5)时域滤波：利用一种基于光流法的理想带通滤波对金字塔分解后的帧序列进行理想带通滤波。计算步骤如下：
[0057]
①
输入整个图像帧序列，该序列共s帧，大小为w*h；
[0058]
②
取每一帧的第(x,y)点像素(x＝1,2,3
…
w，y＝1,2,3
…
h)在1～s帧的值作为该点的光流序列perframe[x][y]；
[0059]
③
对perframe[x][y]进行快速傅里叶变换，得到(x,y)点在视频帧序列中的时域分量，对该分量进行通频带为0.83～2.00hz的理想带通滤波，并进行傅里叶逆变换，得到第
i帧图像(x,y)像素的纯净的bvp(blood volume pulse，血液容积脉搏)信号量bvp[x][y][i]；
[0060]
④
x＝x 1，y＝y 1，循环执行以上步骤，输出所有像素的bvp信号。
[0061]
6)功率谱计算心率：通过对bvp[x][y][i]进行计算，得出心率值，计算步骤如下：
[0062]
①
将第i帧(i＝1,2,3
…
s)的所有像素点的bvp值进行求和，得到一维bvp信号量b[i]，该信号量可以间接表示bvp信号；
[0063]
②
对b进行快速傅里叶变换，得到其功率谱p
bvp
：
[0064]
f(t)＝fft(b(t))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0065]
p
bpp
(t)＝|f(t)|2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0066]
其中，fft是快速傅里叶变换函数；
[0067]
③
心率值h
r
的计算：
[0068]
t＝max{p
bvp
(t)}
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0069][0070]
其中，f
ps
视频的帧率；
[0071]
至此，一次基于人脸视频处理的心率检测基本完成。
[0072]
其中，步骤s4中基于热红外成像的体温检测具体如下：采用经典的或基于深度学习的人脸匹配算法进行人脸区域的定位；根据人类脸部比例关系可将额头区域标出；无人机低飞到目标额头附近，机身携带的红外摄像头获取温度信号。
[0073]
本发明通过多种先进算法实现关于生命体存活的检测，从而能够适用更多场景、准确度更高、搜救效率更高、成本更低。
[0074]
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和原则的前提下，可以在实施的形式及细节上进行任何的修改与变化、等同替换等，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

技术特征：
1.一种一种基于视频法的无人机机载生命体征探测方法，其特征在于，包括如下步骤：s1：无人机巡航搜索：由无人机搭载摄像机对目标区域进行探测搜索，获取高分辨率影像；s2：人体自动识别：对所拍画面进行实时扫描，通过视觉特征标记出人体位置；s3：定位并接近目标：无人机利用视觉定位技术调整飞行高度，低空飞行到人体目标周围；s4：生命特征检测：无人机依次通过人体微振动测量呼吸率、通过颈部微振动与人脸颜色变化测量心率、通过额头热红外成像测量体温，并综合得到最终检测结果。2.根据权利要求1所述的系统，其特征在于，使用云台来最小化摄像机的振动并稳定镜头。3.根据权利要求1所述的系统，其特征在于，步骤s2通过深度学习实现。4.根据权利要求1所述的系统，其特征在于，所述通过人体微振动测量呼吸率具体包括如下步骤：1)采用人脸检测确定人脸区域，并结合人体几何关系规范呼吸区域；2)结合空间尺度及相位差异，采用基于相位的视频处理方法对呼吸区域进行时空相位处理；3)采用最大似然法进行呼吸初估计；4)结合呼吸初估计频率对原信号平滑滤波以优化波形；5)最后应用峰值检测完成呼吸率的二次估计。5.根据权利要求4所述的系统，其特征在于，所述通过颈部微振动与人脸颜色变化测量心率具体包括如下步骤：1)数据输入：获取连续s帧目标图像作为计算数据，同时对该数据做逆置变换；2)roi区域的选定：对每一帧进行人脸检测，得到只包含人脸信息的区域矢量作为roi区域；3)色域转换：将roi区域的色彩空间由rgb转换为yiq；4)空间滤波；5)时域滤波；6)功率谱计算心率：通过对滤波后的bvp信号量进行功率谱计算，而后得出心率值。6.根据权利要求5所述的系统，其特征在于，rgb和yiq的转换关系如下式所示：7.根据权利要求5所述的系统，其特征在于，所述空间滤波利用多尺度的图像高斯金字塔分解方法对视频进行空间分解，它通过对每帧图像进行连续地高斯平滑和降采样，得到多个层次的子带集合。8.根据权利要求7所述的系统，其特征在于，所述时域滤波利用基于光流法的理想带通滤波对金字塔分解后的帧序列进行理想带通滤波，得到所有帧图像的bvp信号。9.根据权利要求5所述的系统，其特征在于，所述热红外成像还包括：采用人脸匹配算法进行人脸区域的定位；根据人类脸部比例关系可将额头区域标出；无人机低飞到目标额头附近，通过机身携带的红外摄像头获取温度信号。
技术总结
本发明公开了一种基于视频法的无人机机载生命体征探测方法，其特征在于，包括如下步骤：S1：无人机巡航搜索：由无人机搭载摄像机对目标区域进行探测搜索，获取高分辨率影像；S2：人体自动识别：对所拍画面进行实时扫描，通过视觉特征标记出人体位置；S3：定位并接近目标：无人机利用视觉定位技术调整飞行高度，低空飞行到人体目标周围；S4：生命特征检测：无人机依次通过人体微振动测量呼吸率、通过颈部微振动与人脸颜色变化测量心率、通过额头热红外成像测量体温，并综合得到最终检测结果。本发明能够实现大范围内的快速、高效、精确的生命探测。精确的生命探测。精确的生命探测。


技术研发人员：杨学志 沈晶 张肖 张龙 臧宗迪 吴克伟
受保护的技术使用者：合肥工业大学
技术研发日：2021.04.06
技术公布日：2021/6/29