本发明涉及行为检测，尤其涉及一种基于毫米波雷达与单目视觉融合的人体行为检测方法。
背景技术：
1、随着老龄化的趋势日益明显，老年人的安全问题成为社会关注的焦点。为了有效监控和预防老年人发生一些意外行为，需要利用人体行为检测技术及时发现老年人的异常活动状态，进行及时救助。在智能家居领域，人体行为检测技术的发展有助于摆脱手机、遥控器的控制，实现真正的人机交互，例如挥手关灯、感应操作等。在智慧医疗领域，大型医院与养老院的环境较为复杂，需要全面感知环境内的人体行为信息，对人员的意外行为进行及时预警。因此研究人体行为检测技术，对于保障人员的安全是十分必要的。
2、多传感器融合技术是对单一传感器技术的提升，在复杂情况下，单一传感器有其局限性，难以满足环境适应性和检测精确度的问题。采用多传感器融合技术可以优化当前环境的感知范围与感知精度，使得行为检测的结果更加精确。毫米波雷达作为一种无线感知设备，具有不受光线影响、非接触、高精度等特点，但其在复杂场景中可能会受到干扰。单目摄像头的高精度的像素分辨率可以对人体进行精确检测，但受外界光照影响较大、环境适应能力低。
技术实现思路
1、有鉴于现有技术的上述缺陷，本发明要解决的技术问题是现有的人体行为检测技术难以满意环境适应性和检测精确度，或能满足高精度的情况下易受到环境干扰等问题。本发明提供了一种基于毫米波雷达与单目视觉融合的人体行为检测方法，实现精确检测的同时又具有较强的环境适应能力。
2、为实现上述目的，本文提供了一种基于毫米波雷达与单目视觉融合的人体行为检测方法，包括以下步骤：
3、获取毫米波雷达与单目摄像头采集的信息；
4、对毫米波雷达采集的中频信号进行预处理，构建距离-多普勒特征图和距离-角度特征图；
5、使用毫米波雷达的距离-多普勒特征图和距离-角度特征图作为输入，分别送到cnn网络，并将提取的特征扁平化与连接，将融合后的特征送入lstm网络提取时间信息，在输出层完成毫米波雷达模块的人体行为分类；
6、对单目摄像头采集的视觉信息进行预处理获得图像数据，调整图像的尺寸大小，并进行像素归一化处理；
7、利用改进的cnn-lstm的网络模型对图像数据进行自动特征提取，训练行为分类器，进行行为分析与决策，完成摄像头模块的人体行为分类；
8、搭建毫米波雷达与单目摄像头的融合系统，对毫米波雷达与单目摄像头获取的信息进行联合时间同步与空间同步；
9、通过搭建的融合系统采集人体行为信息，将毫米波雷达的分类结果与单目摄像头的分类结果通过加权求和融合进行决策，得到最终的行为检测结果。
10、进一步地，对毫米波雷达采集的中频信号进行预处理，采用mti方法去除静态杂波，构建距离-多普勒特征图和距离-角度特征图，并使用dbscan进行点云的聚类处理，过滤掉处于雷达指定范围之外的点。
11、进一步地，对毫米波雷达采集的中频信号进行预处理，构建距离-角度特征图和距离-多普勒特征图的步骤包括：
12、对所述毫米波雷达采集的中频信号采用一阶mti对消的方法滤除静态杂波，即利用后一周期差频信号的频谱减去前一周期差频信号的频谱；
13、对过滤后的数据进行快速傅里叶变换处理，生成对应的距离特征矩阵；
14、在时间维对距离特征矩阵进行快速傅里叶变换处理，生成距离-多普勒特征图；
15、对不同发射天线的距离-多普勒图进行快速傅里叶变换，生成距离-角度特征图；
16、并使用dbscan空间点云聚类算法去除干扰点云。
17、进一步地，使用毫米波雷达的距离-多普勒特征图和距离-角度特征图作为输入，分别送到cnn网络，并将提取的特征扁平化与连接，将融合后的特征送入lstm网络提取时间信息，在输出层完成毫米波雷达模块的人体行为分类包括：
18、所述距离-角度特征图和所述距离-多普勒特征图使用两个并行的流程处理，分别对两个特征图使用cnn网络初步提取特征图的局部特征，经过leakyrelu激活函数计算后，添加batch normalization层平滑优化空间，使得梯度变化更加平滑，再添加最大池化层降低特征的复杂度；
19、将得到的两个特征图分别扁平化为一维输出，并进行拼接，融合生成新的向量，将新向量输入到lstm网络提取时间特征，添加dropout层随机丢弃一些神经元，减少模型的过拟合，得到的结果再经过lstm网络、dropout层进一步提取高级特征；
20、将高级特征输入到全连接层，将之前的输出映射到一个类别向量，使用softmax函数作为激活函数，将输出转换为概率分布，从而完成人体行为检测。
21、进一步地，对单目摄像头采集的视觉信息进行预处理获得图像数据，调整图像的尺寸大小，并进行像素归一化处理，把原始像素值[0，255]映射到[0，1]区间中。
22、进一步地，视频序列经过预处理后输入到cnn网络，所述cnn网络共有两层卷积层，每一层的步骤依次是cnn层、batch normalization层、relu激活层和最大池化层；cnn网络之后连接lstm网络学习向量的时间特征信息，添加全连接层组合特征，通过softmax分类器输出行为分类类别。
23、进一步地，对毫米波雷达获取的行为信息和单目摄像头获取的行为信息进行联合时间同步与空间同步：
24、联合空间同步是的目的是实现毫米波雷达坐标系的目标点到像素坐标系的映射；首先根据摄像头的焦距与三角形的相似关系，完成摄像头坐标系与图像坐标系之间的转换；然后根据图像坐标系与像素坐标系原点的位置偏移量，完成摄像头坐标系与像素坐标系的转换；最后根据摄像头的旋转矩阵与平移矩阵，实现毫米波坐标系与摄像头坐标系的转换；通过多次转换实现毫米波雷达坐标系的目标点到像素坐标系的映射。
25、进一步地，联合时间同步的目的是实现毫米波雷达和单目摄像头融合数据的时间配准。摄像头的采样频率较快，以毫米波雷达的采样时间戳作为基准，对摄像头数据部分丢帧，只抽取距离该时间戳的时间差最小的图像数据进行时间配准。
26、进一步地，制作数据集并对数据集进行划分，利用两个分支网络分别对毫米波雷达和摄像头采集的数据进行特征提取以及行为分类，使用加权求和融合的方式，h1是毫米波雷达的行为检测结果，w1是毫米波雷达的权重，h2是摄像头的行为检测结果，w2与摄像头的权重，根据具体的环境和检测数据确定毫米波雷达与摄像头的权重参数，加权融合的结果y表示为：
27、y＝w1h1+w2h2
28、其中w1+w2＝1。
29、最终得到人体行为检测结果。
30、技术效果
31、本发明提供的一种基于毫米波雷达与单目视觉融合的人体行为检测的方法，通过将毫米波雷达与单目摄像头采集的数据分别输入到改进的cnn-lstm深度学习网络中训练，使用加权求和融合的方式进行行为分类，对两个传感器的缺陷进行优势互补，实现精确检测的同时又具有较强的环境适应能力。
32、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
1.一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于，对毫米波雷达采集的中频信号进行预处理，采用mti方法去除静态杂波，构建距离-多普勒特征图和距离-角度特征图，并使用dbscan进行点云的聚类处理，过滤掉处于雷达指定范围之外的点。
3.如权利要求2所述的一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于，对毫米波雷达采集的中频信号进行预处理，构建距离-角度特征图和距离-多普勒特征图的步骤包括：
4.如权利要求3所述的一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于：使用毫米波雷达的距离-多普勒特征图和距离-角度特征图作为输入，分别送到cnn网络，并将提取的特征扁平化与连接，将融合后的特征送入lstm网络提取时间信息，在输出层完成毫米波雷达模块的人体行为分类，具体包括以下步骤：
5.如权利要求1所述的一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于：对单目摄像头采集的视觉信息进行预处理获得图像数据，调整图像的尺寸大小，并进行像素归一化处理，其中，进行像素归一化处理具体是把原始像素值[0，255]映射到[0，1]区间中。
6.如权利要求4所述的一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于：视频序列经过预处理后输入到cnn网络，所述cnn网络共有两层卷积层，每一层的步骤依次是cnn层、batch normalization层、relu激活层和最大池化层；cnn网络之后连接lstm网络学习向量的时间特征信息，添加全连接层组合特征，通过softmax分类器输出行为分类类别。
7.如权利要求1所述的一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于：对毫米波雷达获取的行为信息和单目摄像头获取的行为信息进行联合时间同步与空间同步，具体包括以下步骤：
8.如权利要求7所述的一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于：联合时间同步的目的是实现毫米波雷达和单目摄像头融合数据的时间配准；摄像头的采样频率较快，以毫米波雷达的采样时间戳作为基准，对摄像头数据部分丢帧，只抽取距离该时间戳的时间差最小的图像数据进行时间配准。
9.如权利要求7所述的一种基于毫米波雷达与单目视觉融合的人体行为检测方法，其特征在于：制作数据集并对数据集进行划分，利用两个分支网络分别对毫米波雷达和摄像头采集的数据进行特征提取以及行为分类，使用加权求和融合的方式，h1是毫米波雷达的行为检测结果，w1是毫米波雷达的权重，h2是摄像头的行为检测结果，w2与摄像头的权重，根据具体的环境和检测数据确定毫米波雷达与摄像头的权重参数，加权融合的结果y表示为：
