本发明涉及调节系统。具体涉及一种基于物联网的姿态传感器控制方法及系统。
背景技术：
1、基于物联网的姿态传感器是将传统的姿态传感器与物联网技术相结合，姿态传感器通过无线网络连接到互联网，并将收集到的姿态数据传输到远程服务器或其他设备进行处理和分析，该传感器具有可远程控制的特性，使用户可从任意位置监控和管理传感器的数据，基于物联网的姿态传感器可将飞行器或其他器械的姿态数据实时传输到地面控制中心，以便飞行与操作员可以监测飞行器或其他器械的状态并作出相应的调整；
2、基于物联网的姿态传感器的控制方法是基于预先设定的规则或算法进行姿态数据处理的方法，基于传统的固定控制策略可能无法充分适应复杂多变的环境，导致姿态传感器的性能受到限制，较难发挥最佳效能，传统的控制方法通常依赖于预先定义的规则或算法，无法处理一些复杂的情况或变化，缺乏智能化的控制方法可能需要频繁的人工干预来调整和优化传感器的操作，增加了管理和维护的成本与复杂度；
3、因此，亟需提出一种基于物联网的姿态传感器控制方法。
技术实现思路
1、本发明的目的在于针对现有技术的不足之处，提供一种基于物联网的姿态传感器控制方法，旨在采用深度强化学习算法构建模型，将姿态控制问题转换为强化学习问题，基于构建所得模型实行控制指令，深度强化学习算法能够从传感器采集的数据中学习，并根据环境变化动态调整决策，使传感器的控制更加精确和高效，模型可在不同的情况下学习到最佳的控制行为，从而优化姿态传感器的性能，且深度强化学习算法适应性较强，能够在不断变化的环境中学习和调整，可应对各种复杂情况和不确定性因素。
2、为此，本技术提供一种基于物联网的姿态传感器控制方法，包括如下步骤：
3、步骤100、基于物联网中的姿态传感器采集环境中的姿态数据，并将实时收集所得数据进行预处理，预处理包括校准与降噪；
4、步骤200、采用四元数表示姿态信息，并基于预处理后数据计算姿态信息，采用滤波器作为姿态解算算法，将传感器输出的原始数据转换为姿态信息；
5、步骤300、基于计算所得结果，将所得信息进行转换，采用深度强化学习算法构建模型，基于构建所得模型执行控制指令；
6、步骤301、将姿态控制问题转换为强化学习问题，定义空间状态、动作空间及奖励函数，将姿态信息和环境特征作为状态，控制指令作为动作，以及根据控制效果给予奖励或惩罚；
7、步骤302、基于dqn算法，采用cnn学习值函数，并通过cnn提取特征以用于值函数的估计；
8、步骤303、采集训练数据，基于采集所得数据，采用dqn算法进行网络的训练，训练过程中，采用经验回放机制和目标网络来提高算法的稳定性和收敛速度；
9、步骤304、基于训练完成后的深度强化学习模型进行评估与验证，采集新测试数据，用于评估模型的泛化能力与性能，模型进行定量评估，计算平均奖励与成功率指标，并进行定性评估，观察模型在实际环境中的表现；
10、步骤400、基于验证和评估结果，对模型进行调优和改进，验证和评估通过后，将训练好的深度强化学习模型部署到实际环境中，部署后，持续监测模型的性能和效果，定期收集反馈数据，用于调整和优化模型。
11、在一些具体实施方式中，基于收集所得数据进行预处理与分析，预处理包括滤波、校准与降噪，具体包括：
12、步骤100.1、静态数据校准，姿态传感器安装时，进行静态校准，记录传感器在静止状态下的输出值作为零偏，对传感器输出进行比例缩放校准，以校准其尺度误差；
13、零偏校准具体为：
14、；
15、比例缩放校准具体为：
16、；
17、步骤100.2、动态数据校准，采用四元数更新方法调整传感器的校准参数，通过读取陀螺仪的数据来初始化姿态估计，将初始姿态设置为参考坐标系，基于传感器数据更新当前的姿态估计，根据传感器数据和当前的姿态估计，基于四元数更新公式来更新当前的四元数状态；
18、四元数的更新采用姿态更新方程，基于角速度的更新：
19、；
20、式中，表示四元数的变化率，是当前的姿态四元数，是角速度向量，表示四元数乘法；
21、基于更新后的四元数状态，计算得出当前的姿态信息，基于所得信息对传感器融合过程中的参数进行校准；
22、步骤100.3、数据降噪，基于传感器输出的姿态数据进行小波变换，将数据分解为不同频率的子带，通过阈值处理或者软阈值处理，将高频子带中的噪声成分抑制，保留低频子带中的有效信息，通过逆小波变换，将处理后的数据重构成降噪后的姿态数据，具体为：
23、；
24、式中，小波变换将信号分解为不同频率的子带，并通过阈值处理对高频子带进行抑制，重构后的信号为。
25、在一些具体实施方式中，采用四元数表示姿态信息，将传感器输出的原始数据转换为姿态信息，采用滤波器作为姿态解算算法，更新当前姿态信息，具体包括：
26、步骤200.1、基于传感器数据计算出姿态的增量变化，采用滤波器算法对姿态增量进行滤波，得到姿态的估计值，基于姿态估计值，更新当前的姿态四元数；
27、步骤200.2、设角速度数据，式中，分别表示绕x轴、y轴和z轴的角速度，单位为弧度/秒；设加速度数据，式中，分别表示轴、轴和z轴的加速度，单位为；
28、计算姿态的增量变化，基于滤波器的更新规则，更新当前的姿态四元数；
29、步骤200.2.1、计算姿态的增量变化：
30、角速度数据用于计算姿态的增量变化，设时间间隔为，则姿态的增量变化具体为：
31、；
32、步骤200.2.2、滤波器的更新规则具体为：
33、；
34、式中，表示四元数的乘法，是淲波器的增益参数，是时间间隔，而则是误差的梯度，首先，基于姿态的增量变化计算四元数的更新值，再根据该更新值对当前的姿态四元数进行更新，得到新的姿态四元数。
35、在一些具体实施方式中，将姿态控制问题转换为强化学习问题，定义空间状态、动作空间及奖励函数，将姿态信息和环境特征作为状态，控制指令作为动作，以及根据控制效果给予奖励或惩罚，具体包括：
36、步骤301.1、状态空间由姿态信息和环境特征组成，设姿态信息为向量s，环境特征为向量f，则状态空间为：
37、；
38、步骤301.2、动作空间定义模型可执行的所有动作，在姿态控制问题中，动作空间具体为一组控制指令，基于问题的需求和场景的复杂程度，动作空间可变更为连续或离散的；
39、设动作空间是离散的，动作集合则为，动作则表示一个索引，即；
40、步骤301.3、定义奖励函数，奖励函数用于评估模型执行动作后的表现，在姿态控制问题中，奖励函数需要将控制效果、能量消耗以及任务完成情况三项作为要素进行考虑，定义奖励函数为实际姿态与期望姿态之间的差异的负值，以及达到目标位置时的额外奖励；
41、设目标位置为，期望姿态为，实际姿态为，能量消耗为，则奖励函数可表示为：
42、；
43、式中，和是权衡控制效果和能量消耗的参数，表示欧几里得距离，是达到目标位置时的额外奖励；
44、将三项数值代入奖励函数的计算公式中进行对应计算，控制效果，设，则控制效果部分的奖励为：；
45、能量消耗，设能量消耗为，则能量消耗部分的奖励为：；
46、任务完成情况，若达到了目标位置，则额外奖励，否则；
47、将以上数值代入奖励函数的计算公式中进行对应计算，则为：
48、；
49、式中，该结果反映了模型在执行动作后的表现，其中参考了控制效果、能量消耗和任务完成情况三个要素的具体数值。
50、在一些具体实施方式中，基于dqn算法，采用cnn学习值函数，并通过cnn提取特征以用于值函数的估计，具体包括：
51、步骤302.1、基于cnn学习状态值函数，cnn可有效处理图像数据，并提取特征以用于值函数的估计；
52、设的输出为动作值函数，其中是cnn的参数，的输入为状态，输入状态经过卷积操作，提取出不同层次的特征，cnn包含多个卷积层，每个卷积层包括多个滤波器，每个滤波器负责提取不同的特征；
53、在卷积层后，应用非线性激活函数，以引入非线性性质，增强网络的表达能力；
54、池化操作，在卷积层之后，进行池化操作，以减少特征图的大小并增强对平移不变性；
55、展平，经过卷积和池化操作后，将特征图展平成一个向量，作为全连接层的输入；
56、全连接层操作，将展平后的特征向量输入到全连接层中，全连接层将特征向量映射到动作值函数的输出空间，每个输出节点对应一个动作的值函数估计；
57、输出层，输出层不使用激活函数，直接输出每个动作的值函数估计，
58、cnn学习从状态到动作值函数的映射，训练过程中，通过与真实动作值函数的差异来调整网络参数，在强化学习中，采用dqn算法，通过最小化预测值与实际值的差异来优化网络参数，cnn通过卷积、池化和全连接层操作来提取状态的特征，并输出每个动作的值函数估计，从而实现状态值函数的学习，通过卷积和池化操作提取特征，最后通过全连接层输出每个动作的值函数估计。
59、在一些具体实施方式中，采集训练数据，基于采集所得数据，采用dqn算法进行网络的训练，训练过程中，采用经验回放机制和目标网络来提高算法的稳定性和收敛速度，具体包括：
60、步骤303.1、训练dqn网络之前，采集训练数据，在与环境交互的过程中，模型根据当前策略选择动作，并观察环境的反馈得到奖励和下一个状态，记录的经验数据为，并将其存储在经验回放缓冲区中；
61、步骤303.2、经验回放机制，经验回放机制从经验缓冲区中随机抽样一批数据用于训练，设经验缓冲区中的大小为，则每次从中随机抽样一个大小为的小批量样本进行训练；
62、步骤303.3、目标网络，目标网络的参数表示为，在训练过程中不断更新主网络的参数，若目标网络的更新频率较低，则可每隔一定的训练步数进行一次更新，目标q值的计算通过目标网络得到，设目标q值表示为；
63、步骤303.4、训练过程，采用经验回放机制从经验缓冲区中随机抽样一批数据，其中；计算每个样本的目标q值，用于网络参数的更新；
64、采用损失函数来衡量预测q值与目标q值之间的差异，并通过梯度下降来更新网络参数：；
65、式中，是网络输出的预测q值，是目标q值；
66、步骤303.5、训练停止条件，训练过程需设定停止条件，设停止条件为最大训练轮数，当满足停止条件时，训练过程结束，并将训练得到的网络参数用于后续的姿态控制任务中，通过以上步骤，实现基于采集训练数据，采用dqn算法进行网络的训练，从而实现模型在姿态控制任务中的自主学习和决策。
67、在一些具体实施方式中，基于训练完成后的深度强化学习模型进行评估与验证，采集新测试数据，用于评估模型的泛化能力与性能，模型进行定量评估，计算平均奖励与成功率指标，并进行定性评估，观察模型在实际环境中的表现，具体包括：
68、步骤304.1、评估与验证阶段，采集新的测试数据集，该数据需覆盖各种不同的情况和环境，以验证模型的泛化能力和性能，测试数据的采集方式与训练数据类似，dqn网络与环境交互，记录每个时间步的状态、动作、奖励以及下一个状态；
69、步骤304.2、对训练完成后的深度强化学习模型进行定量评估，评估包括计算平均奖励和成功率指标；
70、计算平均奖励，设平均奖励为，通过计算测试数据集上每个时间步的奖励的平均值来得到，具体为：
71、；
72、式中，是测试数据集的总时间步数，是每个时间步的奖励值；
73、计算成功率，设成功率为，通过成功完成任务的次数与总次数的比例进行计算： ；
74、步骤304.3、定性评估，观察模型在实际环境中的表现，通过实际的观察和分析来进行，定性评估可发现模型在特定情况下的行为和性能，以及可能存在的问题及相应的改进空间。
75、本技术另提供一种基于物联网的姿态传感器控制系统，包括：
76、预处理模块，用于基于物联网中的姿态传感器采集环境中的姿态数据，并将实时收集所得数据进行预处理，预处理包括校准与降噪；
77、解算模块，用于采用四元数表示姿态信息，并基于预处理后数据计算姿态信息，采用滤波器作为姿态解算算法，将传感器输出的原始数据转换为姿态信息；
78、深度强化学习模块，用于基于计算所得结果，将所得信息进行转换，采用深度强化学习算法构建模型，基于构建所得模型执行控制指令；
79、反馈模块，用于基于验证和评估结果，对模型进行调优和改进，验证和评估通过后，将训练好的深度强化学习模型部署到实际环境中，部署后，持续监测模型的性能和效果，定期收集反馈数据，用于调整和优化模型。
80、在一些具体实施方式中，深度强化学习模块，具体包括：
81、定义模块，用于将姿态控制问题转换为强化学习问题，定义空间状态、动作空间及奖励函数，将姿态信息和环境特征作为状态，控制指令作为动作，以及根据控制效果给予奖励或惩罚；
82、构建模块，用于基于dqn算法，采用cnn学习值函数，并通过cnn提取特征以用于值函数的估计；
83、训练模块，用于采集训练数据，基于采集所得数据，采用dqn算法进行网络的训练，训练过程中，采用经验回放机制和目标网络来提高算法的稳定性和收敛速度；
84、评估模块，用于基于训练完成后的深度强化学习模型进行评估与验证，采集新测试数据，用于评估模型的泛化能力与性能，模型进行定量评估，计算平均奖励与成功率指标，并进行定性评估，观察模型在实际环境中的表现。
85、本技术提供的一种基于物联网的姿态传感器控制方法，基于物联网中的姿态传感器采集环境中的姿态数据，并将实时收集所得数据进行预处理，预处理包括校准与降噪，采用四元数表示姿态信息，并基于预处理后数据计算姿态信息，采用滤波器作为姿态解算算法，将传感器输出的原始数据转换为姿态信息，基于计算所得结果，将所得信息进行转换，采用深度强化学习算法构建模型，基于构建所得模型实行控制指令，将姿态控制问题转换为强化学习问题，定义空间状态、动作空间及奖励函数，将姿态信息和环境特征作为状态，控制指令作为动作，以及根据控制效果给予奖励或惩罚，基于dqn算法，采用cnn学习值函数，并通过cnn提取特征以用于值函数的估计，采集训练数据，基于采集所得数据，采用dqn算法进行网络的训练，训练过程中，采用经验回放机制和目标网络来提高算法的稳定性和收敛速度，基于训练完成后的深度强化学习模型进行评估与验证，采集新测试数据，用于评估模型的泛化能力与性能，模型进行定量评估，计算平均奖励与成功率指标，并进行定性评估，观察模型在实际环境中的表现，基于验证和评估结果，对模型进行调优和改进，验证和评估通过后，将训练好的深度强化学习模型部署到实际环境中，部署后，持续监测模型的性能和效果，定期收集反馈数据，用于调整和优化模型，深度强化学习算法能够从传感器采集的数据中学习，并根据环境变化动态调整决策，使传感器的控制更加精确和高效，模型可在不同的情况下学习到最佳的控制行为，从而优化姿态传感器的性能，且深度强化学习算法适应性较强，能够在不断变化的环境中学习和调整，可应对各种复杂情况和不确定性因素。
1.一种基于物联网的姿态传感器控制方法，其特征在于，包括如下步骤：
2.如权利要求1所述的一种基于物联网的姿态传感器控制方法，其特征在于，基于收集所得数据进行预处理与分析，预处理包括滤波、校准与降噪，具体包括：
3.如权利要求2所述的一种基于物联网的姿态传感器控制方法，其特征在于，采用四元数表示姿态信息，将传感器输出的原始数据转换为姿态信息，采用滤波器作为姿态解算算法，更新当前姿态信息，具体包括：
4.如权利要求3所述的一种基于物联网的姿态传感器控制方法，其特征在于，将姿态控制问题转换为强化学习问题，定义空间状态、动作空间及奖励函数，将姿态信息和环境特征作为状态，控制指令作为动作，以及根据控制效果给予奖励或惩罚，具体包括：
5.如权利要求3所述的一种基于物联网的姿态传感器控制方法，其特征在于，基于dqn算法，采用cnn学习值函数，并通过cnn提取特征以用于值函数的估计，具体包括：
6.如权利要求5所述的一种基于物联网的姿态传感器控制方法，其特征在于，采集训练数据，基于采集所得数据，采用dqn算法进行网络的训练，训练过程中，采用经验回放机制和目标网络来提高算法的稳定性和收敛速度，具体包括：
7.如权利要求1所述的一种基于物联网的姿态传感器控制方法，其特征在于，基于训练完成后的深度强化学习模型进行评估与验证，采集新测试数据，用于评估模型的泛化能力与性能，模型进行定量评估，计算平均奖励与成功率指标，并进行定性评估，观察模型在实际环境中的表现，具体包括：
8.一种基于物联网的姿态传感器控制系统，其特征在于，包括：
9.如权利要求8所述的一种基于物联网的姿态传感器控制系统，其特征在于，深度强化学习模块，具体包括：
