基于智能感知的铁路机车驾驶安全辅助系统的制作方法

1.本发明属于机车乘务员安全驾驶的技术领域，特别涉及用于铁路机车乘务员安全驾驶的辅助系统。


背景技术：

2.机车乘务员在工作过程中，是否进行了相应作业、动作是否标准，以及机车乘务员在机车行驶过程中的生理健康状况、身体疲劳状况以及操作规范状况，直接关系到机车行驶安全，必须进行周密、可靠的监控。
3.当前，国内外现行监控方案中采用了视频摄像头、红外、激光等传感器，因机车运行环境多样性、复杂性，这些传感器监控方案均存在监控死角、监控有效性差、无法探测遮挡行为等缺陷，亟需更好的监控方案来解决上述问题，为机车行车安全提供安全保障。


技术实现要素：

4.针对上述铁路机车驾驶安全问题，本发明目的在于提供一种机车驾驶安全辅助系统，其通过对机车乘务员在驾驶室的位置、运动轨迹、手势动作、呼唤应答等作业规范性的智能感知，以及基于心跳/呼吸频率检测的疲劳状况、健康状态的智能分析判断，全面把握机车乘务员驾驶技能情况和身体状态。系统可在日常工作中对机车乘务员标准作业的准确性、规范性进行常态化评估、考核，全面掌握机车乘务员驾驶技能和工作状态，督促机车乘务员加强学习、训练和全心身投入工作，提高日常作业水平与质量，全面提升机车行车安全。
5.为实现上述目的，本发明的技术方案为：
6.提供一种基于智能感知的铁路机车驾驶安全辅助系统，包括:
7.传感器子系统，用于采集机车乘务员的作业数据，所述作业数据包含有机车乘务员的手势动作、呼唤语音、在驾驶室的位置与移动轨迹、呼吸频率、心跳频率；
8.上位机子系统，用于根据所述作业数据，通过深度学习算法对机车乘务员作业行为的规范性进行打分，以及对机车乘务员的疲劳状况健康情况进行评估，并根据打分及评估结果进行告警；
9.通信传输子系统，用于将所述作业数据、打分及评估结果上传至监控中心子系统；
10.监控中心子系统，用于显示该监控中心所在管理层级的所有机车在线情况、机车乘务员作业情况。
11.本发明可对机车乘务员作业时各种手势动作进行精细识别，基于精细化识别结果、信息智能处理，可对机车乘务员的手势动作、呼唤应答、后方瞭望、设备巡检等作业规范性进行实时量化打分，并基于设定的判定规则进行实时告警，实时监测、打分、告警结果还可通过无线网络实时传输到远程监控中心系统，对机车乘务员的作业规范性监测结果，部分核心信息通过无线网络实时传输到远程监控中心系统，完整的作业过程数据可通过转储方式转储到监控中心系统，可用于事后深入分析，对于违规情况还可调阅相关证据数据。基
于手势动作识别、语音识别、位置监测、心跳呼吸监测等传感器的探测结果，并结合深度学习技术，可对机车乘务员安全作业行为进行全方位监测、常态化考评。
附图说明
12.图1为本发明机车驾驶安全辅助系统的组成结构示意图。
13.图2为本发明传感器子系统的组成结构示意图。
14.图3示出了发射的线性调频连续毫米波信号在遇到距离r处的目标后，一部分反射回雷达接收天线被接收的信号。
15.图4为本方法基于图像对消预处理的激光雷达人体手势识别方法的流程图。
16.图5示出了本发明的9层神经网络结构图。
17.图6为本方法基于毫米波与激光雷达融合的人体手势识别方法的流程图。
18.图7示出了本发明的7层神经网络结构图。
19.图8为本发明上位机子系统的组成结构示意图。
20.图9为本发明通信传输子系统的组成结构示意图。
21.图10为本发明监控中心子系统的组成结构示意图。
具体实施方式
22.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
23.如图1所示，提供了一种机车驾驶安全辅助系统，包括传感器子系统1、上位机子系统 2、通信传输子系统3、监控中心子系统4。
24.所述传感器子系统1探测、采集机车乘务员的手势动作、语音呼唤、在驾驶室的位置与移动轨迹、呼吸心跳频率等数据并传输给所述上位机子系统2。
25.所述上位机子系统2参照lkj等信号对乘务员手势动作、语音呼唤、在驾驶室的位置与移动轨迹、呼吸心跳频率等数据进行智能处理、分析，根据相应的评价指标体系，对乘务员作业行为的规范性进行实时打分，对乘务员的疲劳状况健康情况进行实时评估，并根据打分及评估结果进行实时告警，相应打分与评估结果、取证数据、监测数据上传或者转储至监控中心子系统。
26.所述通信传输子系统3，用于将所述上位机子系统2的打分与评估结果、取证数据、监测数据上传或者转储至监控中心子系统4。
27.所述监控中心子系统4根据上传及转储的数据，可实时显示该监控中心所在管理层级的所有机车在线情况、机车乘务员作业情况，并可进行事后分析、取证。
28.如图2所示，所述传感器子系统1包括有lkj对接模块5、语音识别模块6、生命智能感知模块7、位置智能感知模块8、手势智能感知模块9。
29.所述lkj对接模块5采集机车lkj信号，并上传给所述上位机子系统2。
30.具体地说，所述lkj对接模块5采用tax卡进行lkj数据采集、转发给所述上位机子系统2。
31.所述语音识别模块6采集并识别机车乘务员在作业活动过程中的“呼唤(应答)”语
音，并上传给所述上位机子系统。
32.所述生命智能感知模块7实时监测机车乘务员心跳频率、呼吸频率等人体生命体征信息，并上传给所述上位机子系统。
33.所述生命智能感知模块7核心传感器为毫米波雷达，其中，对机车驾驶员的心跳、呼吸的检测，是通过对机车驾驶员在心跳、呼吸时身体相应部位所产生微小振动的检测实现的。为充分利用毫米波高频率优势，提高对呼吸、心跳导致的身体微小振动测量的准确性，采用一种相差测距法进行微小位移测量。
34.如图3，毫米波雷达发射的线性调频连续毫米波信号在遇到距离r处的目标后，一部分反射回雷达接收天线被接收的信号为：
[0035][0036]
将所述接收信号与发射信号做相关，并进行低通滤波处理：
[0037][0038]
为此，距离为r处目标回波的相移为：
[0039][0040]
当目标有微小位移时导致前后相邻回波的相移不一致，其相移差为：
[0041][0042]
上述中，δd为目标微小位移，λ为雷达波长。因此，可得相邻回波时间之间的微小位移为：
[0043][0044]
例如采用60ghz毫米波雷达检测心脏的跳动、呼吸等时，目标所产生的1.25毫米位移，其大小是雷达波长的1/4，引起的相位变化是180度。为此采用相差测距法可检测出目标远小于1毫米的微小运动。
[0045]
具体地说，在进行心跳、呼吸引起的身体振动时，通过距离维fft计算振动位置对应的距离单元m上信号峰值的相移。则第n个t
c
瞬间，距离单元m上振动位置信号x(t)为：
[0046][0047]
由此，得出心跳、呼吸对应的振动频率。
[0048]
采用毫米波雷达基于相位法能够测量机车驾驶员心跳、呼吸等引起的身体相应部位微小位移，因此对心跳频率、呼吸频率测量的准确性高。
[0049]
所述位置智能感知模块8实时监测机车乘务员的位置、身体姿态、移动轨迹等运动特征信息，并上传给所述上位机子系统。
[0050]
所述位置智能感知模块8核心传感器也为毫米波雷达，通过接收目标回波毫米波信号进行低噪声放大、下变频、中频滤波、a/d采用等处理后，在进行进行测距、测角、目标检
测、多普勒信息提取、相位信息提取等处理，然后将信号进行目标聚类、目标跟踪处理，形成目标作为位置、移动轨迹、3d点云数据。
[0051]
具体地说，对目标的聚类处理，采用k均值聚类算法，其实现相对简单，占用资源较少，且可满足应用需求，k均值聚类算法的核心思想是把n个向量x
j
(1,2
…
,n)分为c个组 g
i
(i＝1,2,
…
,c)，并求每组的聚类中心，使得非相似性(或距离)指标的价值函数(或目标函数)达到最小。该算法实现步骤为：
[0052]
步骤1：初始化聚类中心c
i
,i＝1,
…
,c。典型的做法是从所有数据点中任取c个点；
[0053]
步骤2：用式确定隶属矩阵u；
[0054]
步骤3：根据式计算价值函数。如果它小于某个确定的阀值，或它相对上次价值函数质的改变量小于某个阀值，则算法停止；
[0055]
步骤4：根据式修正聚类中心，然后返回步骤2执行循环。
[0056]
对目标的跟踪处理在聚类处理的基础上，采用一种跳转马尔科夫系统模型高斯混合概率假设密度滤波(jms
‑
gmphdf)群目标跟踪算法。该算法基于随机集理论，能够同时处理多目标检测与跟踪问题，本实施例中经过改进将其用于群目标跟踪，具有明显优势。该算法的关键实施步骤包括：
[0057]
步骤1：预测
[0058]
设k
‑
1时刻后验强度v
k
‑1有如下形式：
[0059][0060]
则预测的强度v
k|k
‑1为：
[0061]
v
k|k
‑1(x,r)＝γ
k
(x,r) v
f,k|k
‑1(x,r)
[0062]
式中：
[0063][0064]
为新生目标强度。
[0065]
因而可得：
[0066][0067][0068][0069][0070]
其中，分别为新生目标强度的权值、均值、方差。
[0071]
步骤2：更新
[0072]
设预测的强度v
k|k
‑1有如下形式：
[0073][0074]
则后验强度v
k
为：
[0075][0076]
式中：
[0077][0078][0079][0080][0081][0082]
期望的目标数为：
[0083][0084]
上述式中，表示目标运动状态随机矢量x服从均值为m，协方差矩阵为p的高斯分布；
[0085]
各式中的j为给定的模型参数；
[0086]
π
k
(r)为k时刻新生目标其运动模型为r的概率分布。
[0087]
采用调频连续毫米波雷达可对驾驶室内作业人员的移动轨迹、位置进行精确测量，并对确定位置的动作形成高精度3d测量点云。
[0088]
所述手势智能感知模块9实时监测机车乘务员的手势动作信息，并上传给所述上位机子系统。
[0089]
在第一个实施例中，所述手势智能感知模块9为毫米波雷达，基于毫米波雷达采集手势动作的方法包括：根据接收的毫米波电磁信号进行特征提取、分类识别，从而判别当前动态手势的动作序列类型，其中，所述特征包括距离、方位角、俯仰角、多普勒频率中的一者或多者，采用基于距离域
‑
多普勒域、时域
‑
频域的多域特征工程技术实现所述的特征提取，和/ 或采用多层感知机实现所述的分类识别。
[0090]
其中，所述多域特征工程技术具体包括：由包络频率、峰值频率、频率成分持续时间、峰值频率动态范围组成的时域
‑
频域联合特征；由散射中心距离
‑
多普勒轨迹、距离
‑
速度积累值、距离
‑
速度弥散范围、多通道距离
‑
多普勒帧间差分组成的距离域
‑
多普勒域联合特征；对上述特征进行分类组合，形成连续多帧的动态特征矢量序列。
[0091]
具体地说，对机车驾驶员动态手势识别与监测，是通过对机车驾驶员手势动作回波中所蕴涵的细节特征信息进行提取，并对特征信息进行分类识别来实现的。为充分利用
毫米波高频率优势，提高对手势回波中小尺度细节特征信息描述的准确性，采用如下的多域联合特征进行动态特征提取。
[0092]
如图3，发射的线性调频连续毫米波信号在遇到距离r处的目标手势后，一部分反射回雷达接收天线被接收的信号为：
[0093][0094]
将所述接收信号与发射信号做相关，并进行低通滤波处理后得到基带回波信号x(t)，其相应的离散数字信号为：
[0095][0096]
其中t
s
为采样周期。
[0097]
对上述信号做时频分析，得到回波信号的时频谱图为
[0098][0099]
其中h(m)为影响时频分析中时域和频域分辨力的窗函数。
[0100]
基于时频分析的时域能量特征为：
[0101][0102]
其中m为多普勒分辨单元的个数。
[0103]
基于时频分析的主多普勒频率特征为：
[0104][0105]
对多个脉冲重复周期的基带信号按距离向采样时间(快时间)
‑
脉冲重复周期(慢时间) 排列，得到距离域
‑
多普勒域的r
‑
d图rd(r,v,t)，索引变量r、v、t分别代表距离、速度、帧时间。
[0106]
基于r
‑
d图的距离像特征为：
[0107][0108]
类似地，基于r
‑
d图的微动多普勒特征为：
[0109][0110]
基于r
‑
d图的速度质心特征为：
[0111][0112]
其中，r0和r1分别为手势动作分布范围的最小和最大距离。
[0113]
基于r
‑
d图的速度弥散范围特征为：
[0114][0115]
类似地，基于r
‑
d图的距离弥散范围特征为：
[0116][0117]
其中，r
*
(t)为第t帧数据中回波能量最大的距离
‑
多普勒单元所对应的具体距离，即
[0118][0119]
基于r
‑
d图的能量积累特征为：
[0120][0121]
基于r
‑
d图的能量差分特征为：
[0122][0123]
基于r
‑
d图的多通道积累特征为：
[0124][0125]
其中rd
k
(r,v,t)为第k个接收通道的r
‑
d图，k为全部接收通道的总数。
[0126]
基于r
‑
d图的多通道差分特征为：
[0127]
m
ij
(r,v,t)＝rd
i
(r,v,t)
‑
rd
j
(r,v,t)
[0128]
对上述时域
‑
频域特征、距离域
‑
多普勒域特征进行时序组合，形成特征队列，送入多层感知机进行动态手势的分类识别。
[0129]
上述基于毫米波雷达采集手势动作的方法中，采用毫米波雷达能够对手势动作局部细节信息进行特征提取与分类识别。
[0130]
在第二个实施例中，所述手势智能感知模块9为激光雷达，基于激光雷达采集手势动作的方法包括：利用激光雷达采集操作者工作状态下的深度图像，所述深度图像为去除工作场所背景的激光图像；将所述深度图像送入训练好的神经网络进行人体手势识别，检测并输出识别结果。
[0131]
进一步的，基于同一激光雷达，分别采集操作者工作场所的纯背景图像、操作者工作状态下的实时图像，实时图像与纯背景图像的像素相同，将实时图像与纯背景图像进行对消以获得所述深度图像。
[0132]
其中，所述实时图像具有n帧，n为大于零的正整数，对对消前的每一帧实时图像做归一化处理，和/或对对消后的每一帧深度图像再做归一化处理。
[0133]
其中，将深度图像送入神经网络进行识别的方法包括：以对消前的实时图像及对
消后的深度图像为神经网络模型输入数据，以人体手势识别结果为模型输出数据。
[0134]
具体地说，如图4所示，本发明的基于激光雷达采集手势动作的方法，包括以下步骤：
[0135]
步骤s1.利用激光雷达采集操作者工作状态下的深度图像，所述深度图像为去除工作场所背景的激光图像。
[0136]
其中，所述深度图像的获取方法是基于同一激光雷达，分别采集像素相同的操作者工作场所的纯背景图像，以及操作者工作状态下的实时图像，然后将实时图像与纯背景图像进行对消以获得所述深度图像。
[0137]
其中，实时图像具有n帧，n为大于零的正整数，为了使所有像本数据在同一标准下进行对消，对对消前的每一帧实时图像做归一化处理，优选地，由于对消后的样本数据动态范围变小，为了增强样本图片对比度，需要进行二次归一化，因此需要对对消后的每一帧深度图像再做归一化处理。
[0138]
为便于理解，提供步骤s1的具体实施方式如以下示例：
[0139]
步骤s11、光雷达安装于机车驾驶室，上电采集m帧机车内纯背景深度图像样本，分别记为g
m
(m＝1，2，
…
，m)，每一帧深度图像样本的尺寸为i
×
j，对m帧背景深度图像按如下公式进行均值处理,得到用于实时对消预处理的背景样本g
a
：
[0140][0141]
其中，g
m
(i，j)表示第帧深度图像的第i行第j列的像素值，i∈{1，2，
…
，i}，j∈{1，2，
…
，j}
[0142]
步骤s12、激光雷达正常工作时，按设定帧速，实时采集激光深度图像样本，分别记为 g
n
(n＝1，2，
…
)，每一帧深度图像样本的尺寸为i
×
j，也即维度包含i个像素点，宽度维度包含j 个像素点；
[0143]
步骤s13、为了使所有像本数据在同一标准下进行对消，对第n帧采集的深度图像数据g
n
做归一化处理。该图像数据中像素最大值，记为：
[0144]
gmaxg
n
(i，j)
max
[0145]
其中，g
n
(i，j)表示第n帧深度图像的第i行第j列的像素值，i∈{1，2，
…
，i}，j∈{1，2，
…
，j}，根据像素最大值，对深度样本数据进行归一化，对所有像素点进行如下计算，使像素值分布于 0到255之间：
[0146][0147]
步骤s14、对采集的第n帧实时深度图像进行对消处理，得到固定背景对消后的深度图像g
cn
，对消处理计算如下：
[0148]
g
cn
(i，j)＝|g
n
(i，j)
‑
g
a
(i，j)|
[0149]
步骤s15、对消后的样本数据动态范围变小，为了增强样本图片对比度，需要进行二次归一化，对第n帧对消处理后的深度图像数据g
cn
做归一化处理。该图像数据中像素最大值，记为：
[0150]
gmaxg
cn
(i，j)
max
[0151]
其中，g
cn
(i，j)表示第n帧对消处理后深度图像的第i行第j列的像素值，i∈{1，
2，
…
，i}，i∈{1，2，
…
，j}，根据像素最大值，对深度样本数据进行归一化，对所有像素点进行如下计算，使像素值分布于0到255之间：
[0152][0153]
根据步骤s1获得深度图像后，需实施步骤s2进行手势识别。
[0154]
步骤s2.将所述深度图像送入训练好的神经网络进行人体手势识别，检测并输出识别结果。
[0155]
其中，将深度图像送入神经网络进行识别的方法包括：以对消前的实时图像及对消后的深度图像为神经网络模型输入数据，以人体手势识别结果为模型输出数据，如此实施的网络模型参数具备对消前后数据样本的识别能力，能够避免背景突变对识别网络性能的影响。
[0156]
其中，所述神经网络的训练方法包括：设置神经网络模型为卷积神经网络，然后对对消前的实时深度图像集g以及对消后的深度图像样本集g
c
，按手势类型进行标签，再以样本集g
c
和g图像数据为神经网络模型输入数据，以标签作为模型输出数据，训练神经网络模型参数。
[0157]
其中，所述卷积神经网络设置为9层结构，通过采用一个9层的卷积神经网络，使识别系统能获得识别处理的实时性和高的准确识别率，满足铁路机车驾驶实时性应用的要求。
[0158]
所述步骤s2的具体实施方式如以下示例：
[0159]
步骤s21、将所述s13、s15中获得的归一化深度图像样本g
gn
(i，j)和g
gcn
(i，j)送入训练好的卷积神经网络进行识别，检测并输出识别结果。如图5所示，神经网络的结构设计和参数训练包括如下步骤：
[0160]
步骤s22.1、搭建神经网络结构，所属神经网络包含9层结构，分别为：
[0161]
第1层，卷积层，卷积核尺寸为5
×5×
1，该层共包含6种卷积核，卷积核步进尺寸为1；
[0162]
第2层，池化层，池化核尺寸为2
×2×
1，池化方式为最大值池化，池化核步进尺寸为2；
[0163]
第3层，卷积层，卷积核尺寸为5
×5×
6，该层共包含16种卷积核，卷积核步进尺寸为1；
[0164]
第4层，池化层，池化核尺寸为2
×2×
1，池化方式为最大值池化，池化核步进尺寸为2；
[0165]
第5层，卷积层，卷积核尺寸为5
×5×
16，该层共包含64种卷积核，卷积核步进尺寸为 1；
[0166]
第6层，卷积层，卷积核尺寸为5
×5×
64，该层共包含128种卷积核，卷积核步进尺寸为1；
[0167]
第7层，全连接层，将第6层的所有输出特征值依次拼接为一个长列向量，作为第7层的输入结点，与1024个输出节点构成全连接层；
[0168]
第8层，全连接层，将第7层输出的1024个节点作为输入节点，与84个输出节点构成全连接层；
[0169]
第9层，输出层，假定一共有m种手势类型，将第8层输出的84个节点作为输入节点，与m个输出节点构成全连接层。
[0170]
步骤s22.2、训练样本预处理，采集多样本数据及其对应的背景数据，对采集的背景数据，进行预处理，得到相应的背景样本，并对采集的实际样本数据进行对消处理，获取背景对消后的样本数据，得到对消处理后的样本集g
c
和未对消处理的样本集g。对样本集g
c
和g 利用图像标签软件工具，按手势类型做好标签，样本标签为一个0
‑
1向量数据，第k幅图片训练样本的标签数据记为b
k
，假定一共有m种手势类型，b
k
的尺寸为m
×
1，具体元素数值如下
[0171][0172]
步骤s22.3、以样本集g
c
和g图像数据为神经网络模型输入数据，以样本标签向量作为模型输出数据，训练神经网络模型参数，训练的网络模型参数具备对消前后数据样本的识别能力，能够避免背景突变对识别网络性能的影响。
[0173]
还包括步骤s3用以提高识别输出结构的准确性。
[0174]
步骤s3.记录第n帧g
gn
(i，j)和g
gc
n(i，j)深度图像的识别结果，综合二者识别结果，对同一目标，选择识别率最高的作为输出识别结果。
[0175]
所述步骤s3的具体实施方式如以下示例：
[0176]
步骤s31、记录第n帧图片识别结果，若n＜＝n，则返回所述s2步骤执行，识别第n 1 帧样本，若n＝n，则执行步骤s32；
[0177]
步骤s32、综合n帧识别结果，投票输出最终识别结果。假定一共有m种手势类型，每一种手势获得的票数分别记为t
m
(m＝1，2，
…
，m)，则最终的结果为票数最多的分类，记为r。
[0178][0179]
上述基于激光雷达采集手势动作的方法具有如下优势：
[0180]
(1)通过对激光雷达实时图像与背景图像进行对消预处理，实现固定背景目标图像干扰的抑制处理，使得操作手势目标的深度图像的对比度对有明显提升，手势边缘特征更为清晰、稳定，避免了因机车内部复杂环境或不同机型差异对手势目标激光图像质量和检测识别性能的影响，提高了手势识别算法的鲁棒性和适应性；
[0181]
(2)采用一个9层的卷积神经网络，使识别系统能获得识别处理的实时性和高的准确识别率，满足铁路机车驾驶实时性应用的要求。
[0182]
在第三个实施例中，所述手势智能感知模块9为毫米波雷达与激光雷达的结合，基于毫米波雷达与激光雷达融合采集手势动作的方法包括：控制毫米波雷达监测到操作者的手势起始动作则向激光雷达发送触发信号；控制激光雷达在收到触发信号后启动采集操作者工作状态下的深度图像；将所述深度图像送入训练好的神经网络进行人体手势识别，检测并输出识别结果。
[0183]
具体地说，如图6所示，本发明的基于毫米波与激光雷达融合的人体手势识别方法，包括以下步骤：
[0184]
步骤s1.控制毫米波雷达监测到操作者的手势起始动作则向激光雷达发送触发信号。
[0185]
其中，监测手势起始动作的方法包括：根据接收的毫米波电信号提取对应于动态手势的特性信息，所述特性信息包括距离、方位角、俯仰角、多普勒频率中的一者或多者，根据所述特性信息生成特征矢量，并对特征矢量进行识别分析从而判断出动态手势的类别。
[0186]
上述中，所述特征信息的提取，采用基于距离域
‑
多普勒域、时域
‑
频域的多域特征工程技术来实现，其中多域特征工程技术包括：由包络频率、峰值频率、频率成分持续时间、峰值频率动态范围组成的时域
‑
频域联合特征，由散射中心距离
‑
多普勒轨迹、距离
‑
速度积累值、距离
‑
速度弥散范围、多通道距离
‑
多普勒帧间差分组成的距离域
‑
多普勒域联合特征，对上述特征进行分类组合，形成连续多帧的动态特征矢量序列。
[0187]
所述识别利用多层感知机来实现。
[0188]
为便于理解，提供步骤s1的具体实施方式如以下示例：
[0189]
步骤s11.毫米波雷达安装于机车驾驶室，上电产生一定带宽、脉宽的线性调频连续波信号：
[0190][0191]
其中，发射信号的调频起始频率f
c
为24ghz及以上，优选为60ghz，脉冲持续时间t
c
为 40us，带宽b为4ghz，调频速率(斜率)s为100mhz/us。
[0192]
步骤s12.线性调频连续毫米波信号经移相、放大变成毫米波发射信号，将毫米波发射信号经天线单元对准机车驾驶员方向发射。
[0193]
其中，移相是为了控制发射波束的发射角度，放大是为了保证发射出去的信号有足够的功率。
[0194]
步骤s13.对回波毫米波信号，通过低噪声放大、下变频、中频滤波、a/d采样等处理，再进行进行测距、测角、目标检测、多普勒信息提取、相位信息提取等处理。
[0195]
具体地说，对机车驾驶员动态手势识别与监测，是通过对机车驾驶员手势动作回波中所蕴涵的细节特征信息进行提取，并对特征信息进行分类识别来实现的。为充分利用毫米波高频率优势，提高对手势回波中小尺度细节特征信息描述的准确性，采用如下的多域联合特征进行动态特征提取。如图3，发射的线性调频连续毫米波信号在遇到距离r处的目标手势后，一部分反射回雷达接收天线被接收的信号为：
[0196][0197]
将所述接收信号与发射信号做相关，并进行低通滤波处理后得到基带回波信号x(t)，其相应的离散数字信号为：
[0198][0199]
其中t
s
为采样周期。
[0200]
对上述信号做时频分析，得到回波信号的时频谱图为
[0201][0202]
其中h(m)为影响时频分析中时域和频域分辨力的窗函数。
[0203]
基于时频分析的时域能量特征为：
[0204][0205]
其中m为多普勒分辨单元的个数。
[0206]
基于时频分析的主多普勒频率特征为：
[0207][0208]
对多个脉冲重复周期的基带信号按距离向采样时间(快时间)
‑
脉冲重复周期(慢时间) 排列，得到距离域
‑
多普勒域的r
‑
d图rd(r,v,t)，索引变量r、v、t分别代表距离、速度、帧时间。
[0209]
基于r
‑
d图的距离像特征为：
[0210][0211]
类似地，基于r
‑
d图的微动多普勒特征为：
[0212][0213]
基于r
‑
d图的速度质心特征为：
[0214][0215]
其中，r0和r1分别为手势动作分布范围的最小和最大距离。
[0216]
基于r
‑
d图的速度弥散范围特征为：
[0217][0218]
类似地，基于r
‑
d图的距离弥散范围特征为：
[0219][0220]
其中，r
*
(t)为第t帧数据中回波能量最大的距离
‑
多普勒单元所对应的具体距离，即
[0221][0222]
基于r
‑
d图的能量积累特征为：
[0223][0224]
基于r
‑
d图的能量差分特征为：
[0225][0226]
基于r
‑
d图的多通道积累特征为：
[0227][0228]
其中rd
k
(r,v,t)为第k个接收通道的r
‑
d图，k为全部接收通道的总数。
[0229]
基于r
‑
d图的多通道差分特征为：
[0230]
m
ij
(r,v,t)＝rd
i
(r,v,t)
‑
rd
j
(r,v,t)
[0231]
对上述时域
‑
频域特征、距离域
‑
多普勒域特征进行时序组合，形成特征队列，送入多层感知机进行动态手势的分类识别，并在识别到手势类型属于设定的手势起始动作时，给出延时触发信号至激光雷达。
[0232]
步骤s2.控制激光雷达在收到触发信号后启动采集操作者工作状态下的深度图像。
[0233]
其中，所述深度图像具有n帧，n为大于零的正整数，为了使所有像本数据在同一标准下处理，对每一帧深度图像做归一化预处理，使之规范数据格式，有助于提高识别精度。
[0234]
其中，所述神经网络为卷积神经网络，其包含7层结构，由于经过预处理后的样本图片特征得到增强，故采用一个模型结构简单，计算量较小的7层的卷积神经网络已经能够满足识别需求，能够很好地兼顾识别效率和识别效率，并满足铁路机车驾驶应用的要求。进一步地，神经网络的训练方法包括：采集深度图像作为样本图片，对样本图片按手势类型进行标签；以样本图片为神经网络模型输入数据，以标签作为模型输出数据，训练神经网络模型参数，其中所述神经网络模型为卷积神经网络。
[0235]
具体而言，步骤s2的具体实施方式如以下示例：
[0236]
步骤s21、激光雷达接收到毫米波雷达送来的延时触发信号后，启动采集程序，假定采集到n帧激光图片样本，分别记为g
n
(n＝1,2,
…
,n)，每一帧图片样本的尺寸为i
×
j，即图片高度维度包含i个像素点，宽度维度包含j个像素点；
[0237]
步骤s22、对第n帧图片样本做归一化处理。确定该图片样本中像素最大值，记为：
[0238]
g
max
＝maxg
n
(i,j)
[0239]
其中，g
n
(i,j)表示第帧样本图片的第i行第j列的像素值，i∈{1,2,
…
,i}，j∈{1,2,
…
,j}，根据像素最大值，对图片样本数据进行归一化，对所有像素点进行如下计算，使像素值分布于0到255之间：
[0240][0241]
步骤s23、将所述s22中获得的归一化样本送入训练好的卷积神经网络进行识别，输出识别结果。其中，神经网络的结构设计和参数训练包括如下步骤：
[0242]
步骤s23.1、如图7所示，搭建神经网络结构，所属神经网络包含7层结构，分别为：
[0243]
第1层，卷积层，卷积核尺寸为5
×5×
1，该层共包含6种卷积核，卷积核步进尺寸为1；
[0244]
第2层，池化层，池化核尺寸为2
×2×
1，池化方式为最大值池化，池化核步进尺寸为2；
[0245]
第3层，卷积层，卷积核尺寸为5
×5×
6，该层共包含16种卷积核，卷积核步进尺寸为 1；
[0246]
第4层，池化层，池化核尺寸为2
×2×
1，池化方式为最大值池化，池化核步进尺寸为2；
[0247]
第5层，卷积层，卷积核尺寸为5
×5×
16，该层共包含64种卷积核，卷积核步进尺寸为 1；
[0248]
第6层，全连接层，将第5层的所有输出特征值依次拼接为一个长列向量，作为第6层的输入结点，与84个输出节点构成全连接层；
[0249]
第7层，输出层，假定一共有m种手势类型，将第6层输出的84个节点作为输入节点，与m个输出节点构成全连接层。
[0250]
步骤s23.2、训练样本预处理，对收集到的样本数据，进行所述步骤s22的预处理，并对样本数据手势类型做好标签，样本标签为一个0
‑
1向量数据，第n帧图片训练样本的标签数据记为b
n
，假定一共有m种手势类型，b
n
的尺寸为m
×
1，具体元素数值如下：
[0251][0252]
步骤s23.3、以样本图片作为神经网络模型输入数据，以样本标签向量作为模型输出数据，训练神经网络模型参数。
[0253]
本发明的方法中，还包括步骤s3用以提高识别输出结构的准确性。
[0254]
步骤s3.记录第n帧深度图像的识别结果，对同一目标，选择识别率最高的作为输出识别结果。
[0255]
所述步骤s3的具体实施方式如以下示例：
[0256]
步骤s31、记录第n帧深度图像的识别结果，若n＜n，则返回所述s2步骤执行，识别第n 1帧样本，若n＝n，则执行步骤s32；
[0257]
步骤s32、综合n帧识别结果，投票输出最终识别结果。假定一共有m种手势类型，每一种手势获得的票数分别记为t
m
(m＝1，2，
…
，m)，则最终的结果为票数最多的分类，记为r。
[0258][0259]
本发明通过毫米波雷达监测手势起始动作，为激光雷达送来触发信号，减小了激光雷达因长期待机所引起的资源浪费和性能下降。
[0260]
如图8所示，上位机子系统2包括有实时监测模块10、分析评估模块11、配置控制模块12、储存计算模块13、链路监测模块14、数据传输模块15。
[0261]
所述实时监测模块10实时监测机车乘务员的作业情况与心跳、呼吸情况。
[0262]
所述分析评估模块11实时分析机车乘务员手势动作、呼唤应答等作业行为的规范性，并评估机车乘务员的健康、疲劳状况。
[0263]
具体地说，对来心跳频率、呼吸频率实时数据，以及历史数据采用深度学习算法进行综合分析，得出驾驶员当前健康、疲劳状态的高可信度的实时评估结果并对该驾驶员健康、疲劳状态进行高可信度预测，并将结果进行存储，或/并通过接口输出给外部设备。在其中一个实施例中，采用一种深度学习算法为长短时记忆网络(long short
‑
term memory,lstm)，针对每一位确定的驾驶员，充分利用身份信息、历史评估结果、历史测量结果、当前
测量结果，以保证对驾驶员健康、疲劳状况分析评估的准确性。
[0264]
对来乘务员移动轨迹、位置、3d点云数据，采用深度学习算法进行综合分析，得出作业人员作业位置与动作的准确性与规范性评估结果，并将结果输出到存储单元5进行存储，或/并通过接口单元4输出给外部设备。在其中一个实施例中，采用深度学习算法为称作fasterr
‑
cnn的卷积神经网络，基于作业人员移动轨迹、位置、3d点云数据，进行分析推理，得出作业人员作业位置与动作准确性、规范性评估结果。
[0265]
对手势动作识别结果及其置信度，以及历史数据采用深度学习算法进行综合分析，得出当前手势操作的完整度及规范性的实时评估结果，并将结果进行存储。在其中一个实施例中，具体地说，采用一种深度学习算法为长短时记忆网络(long short
‑
term memory,lstm)，针对每一位确定的乘务员，充分利用历史评估结果、历史测量结果、当前测量结果，以保证对驾驶员手势作业完整性和规范性分析评估的准确性。同理适用于呼唤应答。
[0266]
所述配置控制模块12进行所述传感器子系统各传感器的配置管理、运行控制，并控制所述上位机子系统其他各模块的协同工作。
[0267]
所述储存计算模块13对所述传感器子系统的数据进行智能处理，对分析评估结果、关键取证数据等进行储存管理，并对数据量较大的数据进行压缩处理。
[0268]
所述储存计算模块13在对语音数据进行智能处理时，可同时进行乘务员作业呼唤应答有无判断与精确识别。
[0269]
所述链路监测模块14监测所述传感器子系统各传感器与所述上位机子系统的通信链路工作情况。
[0270]
所述数据传输模块15将机车乘务员作业规范性的分析评价结果、机车乘务员作业行为取证数据、机车乘务员疲劳健康评估结果等，通过所述通信传输子系统传输、转储给所述监控中心子系统。
[0271]
如图9所示，所述通信传输子系统3包括有实时数据发送接收模块16、整体数据转储模块17。
[0272]
所述实时数据发送接收模块16将机车乘务员作业规范性的分析评价结果、机车乘务员疲劳健康评估结果关键数据实时接收自所述上位机子系统3，并实时发送给所述监控中心子系统4。
[0273]
所述整体数据转储模块17将机车乘务员作业过程相关的所有数据，从所述上位机子系统3传输出来，并储存到所述监控中心子系统4。
[0274]
如图10所示，所述监控中心子系统4包括有综合监测模块18、事后分析模块19、数据中心模块20。
[0275]
所述综合监测模块18实时显示所述监控中心子系统4所在管理层级内的在线机车数、在线乘务员数、在线乘务员实时作业执行情况、在线机车及乘务员的总告警数、在线乘务员整体工作状态、在线乘务员作业执行情况综合分析。
[0276]
所述事后分析模块19对乘务员历史数据进行回放、告警检索、对乘务员的作业执行情况与健康状况基于历史数据进行评估、对所述监控中心子系统4所在管理层级内所有乘务员基于历史数据进行综合评估、分析。
[0277]
所述数据中心模块20对乘务员日常作业累积的海量数据进行储存、管理，并基于
大数据技术对应海量数据进行分析计算与深入挖掘利用。
[0278]
总之，本发明以先进微型毫米波雷达为核心传感器，结合语音输入阵列、辅助激光雷达，根据lkj等机车信息，通过对机车乘务员在驾驶室的位置、运动轨迹、手势动作、呼唤应答等作业行为的智能感知，以及基于心跳/呼吸频率检测的疲劳状况、健康状态的智能分析判断，全面掌握机车乘务员作业情况和身体状态。本发明主要创新包括：采用先进探测技术，系统工作不受环境影响、干扰；能够对乘务员作业行为进行实时精细识别并量化打分；既可现实时监测、告警，也可事后分析、取证；能够对机车乘务员安全作业进行全方位智能化监测。该系统可应用于各型机车驾驶室，在日常工作中对机车乘务员标准作业的准确性、规范性进行常态化评估、考核，促使机车乘务员加强业务学习、训练，提高工作标准，提升机车行车安全性。
[0279]
需要说明的是：
[0280]
本发明所用的方法，可转化为可存储于计算机存储介质中的程序步骤及装置，通过被控制器调用执行的方式进行实施，其中所述装置应当被理解为计算机程序实现的功能模块，并且，计算机程序可存储于计算机可读存储介质，其中，计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现上述的方法。
[0281]
本发明还提供了一种电子设备，其中，该电子设备包括：
[0282]
处理器；以及，
[0283]
被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行上述的的方法。
[0284]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。