本技术涉及智能驾驶，具体而言，涉及一种基于视觉感知的智能驾驶方法及装置。
背景技术：
1、传统的智能驾驶方法往往依赖于传感器数据和预先定义的规则，这种方法往往对复杂环境下的变化难以适应；还无法识别道路上的车道线、停车标志、红绿灯等，并无法实时监测车辆在车道内的位置，不能做出相应的行驶决策，导致出现与周围的行人或车辆发生碰撞，无法确保驾驶安全。
2、现有的视觉感知方法在复杂场景下，如高速行驶、密集交通等情况下，视觉感应的识别准确性仍然存在挑战，可能导致误识别或漏检的情况。
技术实现思路
1、本技术实施例的目的在于提供一种基于视觉感知的智能驾驶方法及装置，将训练后优化的语义分割模型和生成对抗网络模型相结合，提高智能驾驶对车辆周围环境的感知，进而具有较高准确性，解决了现有视觉感应的识别准确性较低且无法适应复杂场景的问题。
2、本技术实施例提供了一种基于视觉感知的智能驾驶方法，所述方法包括：
3、获取车辆周围环境图像数据并进行处理；
4、利用训练后的语义分割模型和生成对抗网络模型对所述图像数据进行实时感应视觉处理；
5、基于感应视觉处理结果进行实时环境感知和场景分析制定路径决策并将决策结果转化为车辆控制指令。
6、在上述实现过程中，将语义分割模型和生成对抗网络模型相结合，在感知损失时不仅考虑了全局的特征表示，还考虑了局部的结构信息，从而更好地保留了图像的细节和纹理，提高了生成图像的质量和逼真度，同时提高了智能驾驶对车辆周围环境的感知，进而具有较高准确性，解决了现有视觉感应的识别准确性较低且无法适应复杂场景的问题。
7、进一步地，在所述利用训练后的语义分割模型和生成对抗网络模型对所述图像数据进行实时感应视觉处理的步骤之前，所述方法还包括对语义分割模型进行训练：
8、利用训练用图像数据集对所述语义分割模型进行训练，其中，语义分割模型采用segnet网络；
9、利用反向传播法计算损失函数对模型参数的梯度，并使用优化算法来更新模型参数。
10、在上述实现过程中，采用反向传播法和优化算法来提高算法的性能和收敛速度，使得segnet网络能够在在进行语义分割任务时能够有效地捕获图像的语义信息。
11、进一步地，所述利用训练用图像数据集对所述语义分割模型进行训练，包括：
12、所述segnet网络的损失函数为：
13、；
14、其中， n表示训练样本数量，表示用于提取特征表示的预训练卷积神经网络，表示输出图像，表示输入图像，表示欧式距离，表示权重，基于每个样本的特征重要性进行动态调整，和分别表示输出图像和输入图像的特征图的梯度，表示权重系数，用于平衡特征所表示的欧氏距离和梯度信息的重要性。
15、在上述实现过程中，该损失函数不仅考虑了全局的特征表示，还考虑了局部的结构信息，从而更好地保留了图像的细节和纹理，提高了生成图像的质量和逼真度。
16、进一步地，所述利用反向传播法计算损失函数对模型参数的梯度，包括：
17、对于训练样本 x，通过segnet网络模型进行前向传播，计算出segnet网络模型的预测输出值，其中表示segnet网络模型的前向传播过程， s表示所有模型参数的集合；
18、基于反向传播，通过所述损失函数计算预测输出值和输入值之间的误差，具体地，从输出层开始，利用所述损失函数计算损失函数对每个模型参数的梯度：
19、对于第k层的模型参数，其梯度计算为，其中，为k层的输入，是上一层的输出经过线性变换得到的，为损失函数对输入的梯度，为损失函数 l对参数的梯度，为k层输入对参数的梯度；
20、对模型参数进行更新：，并重复进行以上步骤，直至损失函数收敛，其中，表示学习率，表示更新后的模型参数。
21、在上述实现过程中，反向传播法通过反复迭代，计算模型参数的梯度并进行更新，以最小化损失函数，从而实现神经网络的训练。
22、进一步地，所述使用优化算法来更新模型参数，包括：
23、对rmsprop优化算法的参数进行初始化，包括模型参数 s、学习率、rmsprop衰减率、动量因子、累积平方梯度 v=0和 m=0；
24、基于初始化参数更新累积平方梯度并计算每个训练样本的动量变量 m：
25、；
26、其中，表示损失函数 l和模型参数 s的梯度， g2表示梯度的平方，表示补偿参数；
27、基于所述动量变量更新模型参数： s1= s+ m，其中， s1表示更新后的模型参数。
28、在上述实现过程中，采用改进的自适应学习率算法，能够更好地适应不同参数的梯度变化，从而提高优化算法的性能和收敛速度。
29、进一步地，所述生成对抗网络模型包括生成器和判别器，在所述利用训练后的语义分割模型和生成对抗网络模型对所述图像数据进行实时感应视觉处理的步骤之前，所述方法还包括对生成对抗网络模型进行训练：
30、利用生成器接收随机噪声向量并通过神经网络将其映射为一个与真实样本相似的合成样本，其中，生成器的损失函数为：
31、
32、其中， e表示输入生成器的随机噪声向量，表示生成器的输出，即生成的合成样本，表示生成器对随机噪声向量 e的梯度，表示生成器对随机噪声向量 e的梯度的l2范数平方，表示判别器对合成样本的判别结果，即合成样本为真实样本的概率，表示对随机噪声向量进行期望操作，表示生成器输出样本的方差，和表示控制正则化项权重的超参数；
33、利用判别器判断接收到的样本是真实样本的概率，并使用梯度下降法来优化判别器的参数，以最小化判别器的损失函数，具体公式为：
34、；
35、其中，为第 t步的判别器参数，为随时间变化的动态学习率， t为当前迭代步数，为第 t步的梯度向量，为梯度向量的范数，表示判别器对生成样本的误判概率。
36、在上述实现过程中，生成对抗网络模型通过对抗的方式进行训练，提高模型的泛化能力，从而提高智能驾驶对车辆周围环境的感知。
37、进一步地，所述方法还包括对训练后的语义分割模型进行评估：
38、模型准确率计算公式为：
39、
40、其中，为第 i个样本的预测结果，如果预测正确则为1，否则为0；为对第 i个样本的预测置信度；为第 i个样本的预测困难程度；为第 i个样本的重要性；和为超参数。
41、在上述实现过程中，通过对模型进行评估，确保模型具有较高感知性能。
42、本技术实施例还提供一种基于视觉感知的智能驾驶装置，所述装置包括：
43、数据处理模块，用于获取车辆周围环境图像数据并进行处理；
44、视觉感应模块，用于利用训练后的语义分割模型和生成对抗网络模型对所述图像数据进行实时感应视觉处理；
45、决策制定和执行模块，用于基于感应视觉处理结果进行实时环境感知和场景分析制定路径决策并将决策结果转化为车辆控制指令。
46、在上述实现过程中，将语义分割模型和生成对抗网络模型相结合，在感知损失时不仅考虑了全局的特征表示，还考虑了局部的结构信息，从而更好地保留了图像的细节和纹理，提高了生成图像的质量和逼真度，同时提高了智能驾驶对车辆周围环境的感知，进而具有较高准确性，解决了现有视觉感应的识别准确性较低且无法适应复杂场景的问题。
47、本技术实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行计算机程序以使所述电子设备执行上述中任一项所述的基于视觉感知的智能驾驶方法。
48、本技术实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的基于视觉感知的智能驾驶方法。
1.一种基于视觉感知的智能驾驶方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于视觉感知的智能驾驶方法，其特征在于，在所述利用训练后的语义分割模型和生成对抗网络模型对所述图像数据进行实时感应视觉处理的步骤之前，所述方法还包括对语义分割模型进行训练：
3.根据权利要求2所述的基于视觉感知的智能驾驶方法，其特征在于，所述利用训练用图像数据集对所述语义分割模型进行训练，包括：
4.根据权利要求3所述的基于视觉感知的智能驾驶方法，其特征在于，所述利用反向传播法计算损失函数对模型参数的梯度，包括：
5.根据权利要求3所述的基于视觉感知的智能驾驶方法，其特征在于，所述使用优化算法来更新模型参数，包括：
6.根据权利要求1所述的基于视觉感知的智能驾驶方法，其特征在于，所述生成对抗网络模型包括生成器和判别器，在所述利用训练后的语义分割模型和生成对抗网络模型对所述图像数据进行实时感应视觉处理的步骤之前，所述方法还包括对生成对抗网络模型进行训练：
7.根据权利要求1所述的基于视觉感知的智能驾驶方法，其特征在于，所述方法还包括对训练后的语义分割模型进行评估：
8.一种基于视觉感知的智能驾驶装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行计算机程序以使所述电子设备执行权利要求1至7中任一项所述的基于视觉感知的智能驾驶方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至7中任一项所述的基于视觉感知的智能驾驶方法。
