一种通过毫米波雷达实现手势识别的方法与流程

1.本发明涉及手势识别技术领域，尤其涉及一种通过毫米波雷达实现手势识别的方法。


背景技术：

2.在计算机科学中，手势识别是通过数学算法来识别人类手势的一个议题。手势识别可以来自人的身体各部位的运动，但一般是指脸部和手的运动，用户可以使用简单的手势来控制或与设备交互，让计算机理解人类的行为，其核心技术为手势分割、手势分析以及手势识别。手势可以源自任何身体运动或状态，但通常源自面部或手。现有的手势识别方法主要为单光学镜头、光学镜头结合红外、tof以及毫米波雷达等技术实现。近年来，毫米波雷达片上技术逐渐成熟，包括雷达射频、信号处理单元、mcu单元的高度集成，片上天线阵列的实现等，使得毫米波雷达在无人驾驶、新型智能终端领域的嵌入应用越来越广泛。毫米波雷达具有保护隐私、不收天气环境影响、小天线口径与窄波束提高检测分辨率、大带宽抗干扰等优势。随着智能家居与智慧城市的持续推进，毫米波雷达在智能终端上的应用存在巨大的潜力。
3.目前的机器学习网络不具备可解释性，由于超参数的设置不同，网络的最优解不一定是真实的最优解，故机器学习网络会有一定的误识别，识别精度不高，存在一定缺陷。


技术实现要素：

4.针对上述现有技术的不足，本发明的目的在于提供一种通过毫米波雷达实现手势识别的方法，提高手势识别的精度，降低其误识别率。
5.为了实现上述目的，本发明采用如下技术方案：
6.一种通过毫米波雷达实现手势识别的方法，其特征在于，包括如下步骤：
7.s100、雷达测算：通过雷达测算目标的距离、速度、方位角和俯仰角信息；
8.s200、聚类：将一个真实目标产生的多个雷达目标聚类成一个目标；
9.s300、目标信息扩展：通过clustering模块，得到一个表示手的距离、速度、方位角和俯仰角的向量，并通过该模块额外增加三个值，分别用来表示速度的符号、方位角的符号、俯仰角的符号；
10.s400、手势识别：将整合后的特征向量输入到机器学习网络中，并进行手势分类。
11.一种通过毫米波雷达实现手势识别的方法，步骤s100、雷达测算过程包括：
12.s101、adc数据采样：通过adc采样得到雷达基带数字信号；
13.s102、距离维变换：在距离维做傅里叶变换；
14.s103、速度维变换：在速度维做傅里叶变换；
15.s104、目标检测：通过恒虚警概率下的检测器对目标进行检测；
16.s105、信息提取：提取目标的方位角和俯仰角信息。
17.在本发明一个优选实施例中，对于步骤s101的数据采样，adc数据是该流程的输入
数据，该数据是一个矩阵形式，同一行的数据称为同一个距离维，同一列的数据称为同一速度维。
18.在本发明一个优选实施例中，对于步骤s104、目标检测，恒虚警检测器通过测量单元附近的距离单元所收集的训练数据来估计被测目标，检测单元外侧依次对称设有保护单元以及参考单元。
19.在本发明一个优选实施例中，对于步骤s105、信息提取，毫米波雷达上设有angle estimation模块，该模块包括两根接收天线，该模块通过接收天线接收信号的相位差来计算每一个过检测点的方位角和俯仰角信息。
20.在本发明一个优选实施例中，对于步骤s200的聚类，clustering模块将距离较近的目标点聚类为一个目标点，并得到聚类后目标点的距离、速度、方位角以及俯仰角信息。
21.通过上述技术方案，本发明具有如下有益效果：
22.本发明设计合理，雷达测量目标的状态信息，包含目标的距离、速度、方位角、俯仰角等信息，将信息进行聚类处理，并通过增加新的特征值来做约束，便于将目标的状态信息输入到机器学习网络中，用作判断当前手势的类别，提高手势识别的精度，降低其误识别率。
附图说明
23.图1为本发明一种通过毫米波雷达实现手势识别的方法的流程图；
24.图2为本发明一种通过毫米波雷达实现手势识别的方法的雷达测算流程图；
25.图3为本发明一种通过毫米波雷达实现手势识别的方法的adc数据结构图；
26.图4为本发明一种通过毫米波雷达实现手势识别的方法的cfar检测模块的检测模型图；
27.图5为本发明一种通过毫米波雷达实现手势识别的方法的方位角及俯仰角计算辅助图。
28.附图中，各标号所代表的部件列表如下：
29.1、参考单元；2、保护单元；3、待检测目标。
具体实施方式
30.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
31.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
32.如图1所示，示出了本发明一种通过毫米波雷达实现手势识别的方法，其步骤包括：
33.s100、雷达测算：通过雷达测算目标的距离、速度、方位角和俯仰角信息；
34.s200、聚类：将一个真实目标产生的多个雷达目标聚类成一个目标；
35.s300、目标信息扩展：通过clustering模块，得到一个表示手的距离、速度、方位角和俯仰角的向量，并通过该模块额外增加三个值，分别用来表示速度的符号、方位角的符
号、俯仰角的符号；
36.s400、手势识别：将整合后的特征向量输入到机器学习网络中，并进行手势分类。
37.下面结合附图对本发明的方法进行详细描述。
38.请参阅图2，对于步骤s100的雷达测算的过程，包括：
39.s101、adc数据采样：通过adc采样得到雷达基带数字信号。
40.具体的，雷达对目标进行测量，模/数转换器(adc)将真实世界的模拟信号(例如温度、压力声音或者图像等)转换成数字信号，使其更容易存储、处理和发射。adc将输入的模拟信号按规定的时间间隔采样，并与一系列标准的数字信号相比较，数字信号逐次收敛，直至两种信号相等为止。
41.如图3所示，adc数据是一个矩阵形式，将同一行的数据称为同一个距离维，同一列的数据称为同一速度维，假设该数据的距离维大小为n，速度维大小为m。
42.s102、距离维变换：在距离维做傅里叶变换。
43.具体的，通过range fft模块对同一距离维的数据做快速傅里叶变换(fft)，因为adc的数据大小为n*m，因此需要做m次距离维fft，range fft后的结果同样是n*m大小的矩阵。
44.s103、速度维变换：在速度维做傅里叶变换。
45.具体的，通过doppler fft模块对同一速度维的数据做快速傅里叶变换，该模块的输入为range fft模块的输出，因为range fft模块的结果大小为n*m，因此需要做n次速度维fft，doppler fft后的结果同样是n*m大小的矩阵。
46.s104、目标检测：通过cfar检测模块对目标进行检测。cfar为恒虚警率，在雷达信号检测中，当外界干扰强度变化时，雷达能自动调整其灵敏度，使雷达的虚警概率保持不变，这种特性称为恒虚警率特性。通过恒虚警概率下的检测器对待检测目标3进行检测，待检测目标3外侧依次对称设有保护单元2以及参考单元1。
47.具体的，如图4所示，cfar模块通过待检测目标3附近的距离单元所收集的训练数据来估计被测目标，待检测目标3位于中心位置处，其外侧依次对称设有保护单元2以及参考单元1。cfar模块首先假定雷达杂波的类型，然后通过对待检测目标3附近的参考单元1的数据采用某种算法，对待检测目标3中杂波的参数进行估计，再对待检测目标3中的杂波进行归一化，形成一个与杂波参数无关的量，将这个量与一个跟虚警概率和参考单元1数有关的门限进行比较，判断有无目标的存在，如输入端信号超过了此门限，则判为有目标，否则判为无目标。
48.具体检测过程如下，首先分别计算左右两侧的参考单元1的均值，计算结果记为x_average1和x_average2；然后计算x_average1和x_average2的均值，计算结果记为x_noise，最后比较待检测目标3和k*x_noise的大小，其中k称为门限值，若待检测目标3的值大于k*x_noise，则该待检测目标3为目标点，反之则不是目标点；经过cfar检测模块后，可以得到一系列的过检测点，并且记录下每个过检测点在矩阵中的行和列。
49.s105、信息提取：提取目标的方位角和俯仰角信息。毫米波雷达上设有angle estimation模块，该模块包括两根接收天线，该模块通过接收天线接收信号的相位差来计算每一个过检测点的方位角和俯仰角信息。该模块通过接收天线接收信号的相位差来计算每一个过检测点的方位角和俯仰角信息。
50.具体的，如图5所示，毫米波雷达上设有两根接收天线rx，对于目标物的角度θ，设两接收天线rx接收信号的相位差为ω，则有由此可以得到其中，d
rx
为毫米波雷达的两根接收天线的距离，计算每一个过检测点的方位角和俯仰角信息。
51.对于步骤s200、聚类：clustering模块将距离较近的目标点聚类为一个目标点，并得到聚类后目标点的距离、速度、方位角以及俯仰角。聚类为将物理或抽象对象的集合分成由类似的对象组成的多个类的过程，由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。
52.具体的，通过angle estimation模块得到了每一个目标点在极坐标系下的距离、方位角和俯仰角，通过坐标转换，得到目标在直角坐标系下的x、y、z的值。clustering模块是把距离较近的目标点聚类为一个目标点，并得到聚类后目标点的距离r、速度v、方位角α、俯仰角β，以便于将目标点的信息输入机器学习网络中，并进行手势分类。
53.对于步骤s300、目标信息扩展：
54.具体的，通过clustering模块，得到一个表示手的距离、速度、方位角和俯仰角的向量，并通过该模块额外增加三个分别用来表示速度的符号、方位角的符号、俯仰角的符号。
55.若速度值(或方位角或俯仰角)大于0，则速度符号值(或方位角符号或俯仰角符号)为1；若速度值等于0，则速度符号值为0；若速度值小于0，则速度符号值为
‑
1；经过此模块，雷达输出结果由4个值扩展为7个值，分别是：距离、速度、方位角、俯仰角、速度符号、方位角符号、俯仰角符号，使原本ann模块的4个输入特征值在经过该模块后增加为7个。
56.以具体的数值举例如下表所示：
[0057][0058][0059]
对于步骤s400、手势识别：
[0060]
具体的，ann模块即为人工神经网络，是机器学习网络的其中一种类型，由大量的处理单元(神经元)互相连接而形成的复杂网络结构，是对人脑组织结构和运行机制的某种抽象、简化和模拟；人工神经网络以数学模型模拟神经元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统，通过此机器学习网络对手势进行分类与识别。
[0061]
根据速度符号以及方位角符号进行手势的分类识别，具体如下表格所示：
[0062]
如果是向左的手势：
[0063]
速度符号方位角符号
‑1‑1‑1‑
11111
[0064]
上表中的第二行和第三行，速度符号和方位角符号同时由
‑
1切换为1。
[0065]
如果是向右的手势：
[0066]
速度符号方位角符号
‑
11
‑
111
‑
11
‑1[0067]
上表中的第二行和第三行，速度符号由
‑
1切换为1的同时方位角符号由1切换为
‑
1。
[0068]
如果是向上的手势：
[0069]
速度符号方位角符号
‑
11
‑
111
‑
11
‑1[0070]
上表中的第二行和第三行，速度符号由
‑
1切换为1的同时俯仰角符号由1切换为
‑
1。
[0071]
如果是向下的手势：
[0072]
速度符号方位角符号
‑1‑1‑1‑
11111
[0073]
上表中的第二行和第三行，速度符号由
‑
1切换为1的同时俯仰角符号由
‑
1切换为1。
[0074]
根据手势识别对应的符号能够快速准确地对手势进行识别分类，有效地解决了现有技术中机器学习网络中识别精度不高甚至误识别的问题。
[0075]
本发明设计合理，雷达测量目标的状态信息，包含目标的距离、速度、方位角、俯仰角等信息，将信息进行聚类处理，并通过增加新的特征值来做约束，便于将目标的状态信息输入到机器学习网络中，用作判断当前手势的类别，提高手势识别的精度，降低其误识别率。
[0076]
以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还将可以做出
若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。

技术特征：
1.一种通过毫米波雷达实现手势识别的方法，其特征在于，包括如下步骤：s100、雷达测算：通过雷达测算目标的距离、速度、方位角和俯仰角信息；s200、聚类：将一个真实目标产生的多个雷达目标聚类成一个目标；s300、目标信息扩展：通过clustering模块，得到一个表示手的距离、速度、方位角和俯仰角的向量，并通过该模块额外增加三个分别用来表示速度的符号、方位角的符号、俯仰角的符号，作为机器学习网络输入的特征值；s400、手势识别：将整合后的特征向量输入到机器学习网络中，并进行手势分类。2.一种通过毫米波雷达实现手势识别的方法，步骤s100中，雷达测算过程包括：s101、adc数据采样：通过adc采样得到雷达基带数字信号；s102、距离维变换：在距离维做傅里叶变换；s103、速度维变换：在速度维做傅里叶变换；s104、目标检测：通过恒虚警概率下的检测器对目标进行检测；s105、信息提取：提取目标的方位角和俯仰角信息。3.根据权利要求2所述的通过毫米波雷达实现手势识别的方法，其特征在于，步骤s101的数据采样中，adc数据是该流程的输入数据，该数据是一个矩阵形式，同一行的数据称为同一个距离维，同一列的数据称为同一速度维。4.根据权利要求2所述的通过毫米波雷达实现手势识别的方法，其特征在于，步骤s104的目标检测中，恒虚警检测器通过待检测目标附近的距离单元所收集的训练数据来估计被测目标，待检测目标位于中心位置处，其外侧依次对称设有保护单元以及参考单元。5.根据权利要求2所述的通过毫米波雷达实现手势识别的方法，其特征在于，步骤s105的信息提取中，毫米波雷达上设有angle estimation模块，该模块包括两根接收天线，该模块通过接收天线接收信号的相位差来计算每一个过检测点的方位角和俯仰角信息。6.根据权利要求1所述的通过毫米波雷达实现手势识别的方法，其特征在于，步骤s200的聚类中，clustering模块将距离较近的目标点聚类为一个目标点，并得到聚类后目标点的距离、速度、方位角以及俯仰角信息。
技术总结
本发明公开了一种通过毫米波雷达实现手势识别的方法，包括如下步骤：先通过雷达测算目标的距离、速度、方位角和俯仰角信息，模/数转换器将模拟信号转换成数字信号,通过Range FFT模块以及Doppler FFT模块对同一距离维、速度维的数据做快速傅里叶变换，恒虚警概率下的检测器对目标进行检测，再通过雷达上设有的Angle Estimation模块对接收天线接收信号的相位差进行计算从而求得目标的角度信息，Clustering模块将多个雷达目标聚类成一个目标,得到一个表示手的距离、速度、方位角和俯仰角的向量，并通过该模块额外增加三个值，将整合后的特征向量输入到机器学习网络中，进行手势分类。本发明设计合理，通过增加新的特征值来做约束，提高手势识别的精度，降低其误识别率。率。率。


技术研发人员：姚衡 邹毅 王彦杰 王凌云 赵瑞峰 张义军
受保护的技术使用者：深圳市华杰智通科技有限公司
技术研发日：2021.03.26
技术公布日：2021/6/29