本发明属于人工智能,具体涉及一种基于多路transformer网络的交通流预测方法及系统。
背景技术:
1、随着城市交通的不断发展和扩张,交通流预测成为了城市交通管理中的关键问题之一。准确的交通流预测可以帮助交通管理者制定有效的交通管控策略,优化交通网络资源配置,缓解交通拥堵,提高城市交通效率。然而,由于交通流受到众多因素的影响,如道路拓扑结构、车辆流量、时间变化等。然而,传统的交通流预测方法存在一定的局限性,具体表现在以下几个方面:(1)交通流预测涉及到复杂的时空关系,而现有方法往往难以充分捕捉交通流的时空动态特征,导致预测准确性不高;(2)部分现有模型在提高预测准确性的同时,也增加了模型的复杂度和训练成本,不利于实际应用和推广;(3)现有模型难以捕捉长时依赖。交通流预测需要同时考虑短期和长期的依赖关系,传统方法往往难以有效地捕捉到这些依赖关系,导致预测结果不稳定。因此,亟需一种新的交通流预测方法,能够在充分捕捉时空关系的同时,保持模型简单和高效,并能够有效地建模短期和长期的依赖关系,以提高预测准确性和稳定性。
技术实现思路
1、针对现有基于深度神经网络的交通流量预测方法的不足,本发明提出了一种基于多路transformer网络的交通流预测方法及系统,旨在解决现有交通流预测方法存在的局限性,实现了对交通流的准确预测。
2、为达到上述发明目的,本发明的技术方案包括以下内容。
3、一种基于多路transformer网络的交通流预测方法,所述方法包括:
4、构建多尺度的时间注意力网络,所述多尺度的时间注意力网络用于忽略短期时间依赖关系且支持捕获长期时间依赖关系;
5、构建知识增强的空间注意力网络,所述知识增强的空间注意力网络用于提升对重要节点的关注;
6、基于时空耦合模块和时空分解模块构建一个包含transformer网络的交通流预测网络;其中,所述时空耦合模块由多尺度的时间注意力网络和知识增强的空间注意力网络过门控网络融合构成,所述时空分解模块由多尺度的时间注意力网络和知识增强的空间注意力网络堆叠而成;
7、依据该交通流预测网络实现交通流的预测。
8、进一步地,所述构建多尺度的时间注意力网络,包括:
9、构造掩码矩阵m1,所述掩码矩阵m1是标准的因果掩码矩阵;
10、构造掩码矩阵m2,所述掩码矩阵m2只考虑距离当前时刻小于的时间步,t表示当前时刻;
11、构造掩码矩阵m3,所述掩码矩阵m3只考虑从第1个到第个时间步;
12、在每次训练交通流预测网络时,在所述掩码矩阵m1、所述掩码矩阵m2和所述掩码矩阵m3中随机选择一掩码矩阵m进行时间维度的建模。
13、进一步地,所述多尺度的时间注意力网络的输出其中,q表示输入到所述多尺度的时间注意力网络的特征表示,wq,wk,wv代表注意力机制中query,key和value的权重,d代表特征表示q的特征维度。
14、进一步地,所述构建知识增强的空间注意力网络,包括:
15、基于pagerank算法得到交通流量数据的节点重要性矩阵s;
16、根据节点重要性矩阵s,计算节点关联矩阵
17、基于伯努利分布算法将节点关联矩阵转化为掩码矩阵a;其中,所述掩码矩阵a包括:用于时空耦合模块的掩码矩阵和用于时空分解模块的掩码矩阵
18、在每次训练交通流预测网络时,基于掩码矩阵a进行空间维度的建模。
19、进一步地,所述知识增强的空间注意力网络的输出其中,q′表示输入到所述知识增强的空间注意力网络的特征表示,wq′,wk′,wv′代表注意力机制中query,key和value的权重,d代表特征表示q′的特征维度。
20、进一步地,所述依据该交通流预测网络实现交通流的预测,包括:
21、获取待预测地区的交通流量数据;
22、计算所述交通流量数据中每一节点的特征表示
23、通过d层的时空耦合注意力层对所述特征表示进行时空特征转换,得到特征表示其中,所述时空耦合注意力层包括:时空耦合模块以及第一求和与归一化层;
24、通过l层的时空耦合注意力层对所述特征表示进行时空特征转换,得到特征表示
25、通过l层的时空分解注意力层对所述特征表示进行时空特征转换,得到特征表示其中,所述时空分解注意力层包括:时空分解模块以及第二求和与归一化层;
26、分别将特征表示和特征表示映射为输出和输出
27、对输出和输出进行融合,得到对应节点的交通流预测结果。
28、进一步地,所述通过d层的时空耦合注意力层对所述特征表示进行时空特征转换,得到特征表示包括:
29、获取第l-1层的时空耦合注意力层输出的特征表示
30、将所述特征表示输入多尺度的时间注意力网络,得到特征表示
31、将所述特征表示输入知识增强的空间注意力网络,得到特征表示
32、基于所述特征表示和所述特征表示计算权重zs;
33、结合所述权重zs对特征表示和特征表示进行求和计算,得到第l层时空耦合模块输出的特征表示
34、进一步地,所述通过l层的时空分解注意力层对所述特征表示进行时空特征转换,得到特征表示包括:
35、获取第l-1层的时空分解注意力层输出的特征表示和第l+d层时空耦合模块输出的特征表示
36、基于时空分解模块对特征表示进行注意力计算,得到特征表示
37、计算第l-1层的时空分解注意力层输出的特征表示其中,ln表示归一化。
38、进一步地,所述依据该交通流预测网络实现交通流的预测,包括:
39、获取待预测地区的交通流量数据;
40、计算所述交通流量数据中每一节点的特征表示
41、通过d+l层的时空耦合模块对所述特征表示进行时空特征转换,得到特征表示
42、对特征表示进行映射,并将映射的输出作为对应节点的交通流预测结果。
43、一种基于多路transformer网络的交通流预测系统,所述系统包括:
44、第一构建模块,用于构建多尺度的时间注意力网络,所述多尺度的时间注意力网络用于忽略短期时间依赖关系且支持捕获长期时间依赖关系;
45、第二构建模块,用于构建知识增强的空间注意力网络,所述知识增强的空间注意力网络用于提升对重要节点的关注;
46、第三构建模块,用于基于时空耦合模块和时空分解模块构建一个包含transformer网络的交通流预测网络;其中,所述时空耦合模块由多尺度的时间注意力网络和知识增强的空间注意力网络过门控网络融合构成,所述时空分解模块由多尺度的时间注意力网络和知识增强的空间注意力网络堆叠而成;
47、预测模块,用于依据该交通流预测网络实现交通流的预测。
48、与现有技术相比,本发明的方法具有以下有益效果:
49、本发明通过引入多路transformer网络架构,并在时间维度引入多尺度的注意力网络以提升方法对于长短时建模的能力,在空间维度引入了一种知识增强的空间注意力机制以提升方法对于重要节点的关注,从而提升了对交通流准确长时和短时预测,促进智慧交通系统的发展,具有显著的社会和经济效益。
1.一种基于多路transformer网络的交通流预测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述构建多尺度的时间注意力网络,包括:
3.根据权利要求2所述的方法,其特征在于,所述多尺度的时间注意力网络的输出其中,q表示输入到所述多尺度的时间注意力网络的特征表示,wq,wk,wv代表注意力机制中query,key和value的权重,d代表特征表示q的特征维度。
4.根据权利要求1所述的方法,其特征在于,所述构建知识增强的空间注意力网络,包括:
5.根据权利要求4所述的方法,其特征在于,所述知识增强的空间注意力网络的输出其中,q′表示输入到所述知识增强的空间注意力网络的特征表示,wq′,wk′,wv′代表注意力机制中query,key和value的权重,d代表特征表示q′的特征维度。
6.根据权利要求1所述的方法,其特征在于,所述依据该交通流预测网络实现交通流的预测,包括:
7.根据权利要求6所述的方法,其特征在于,所述通过d层的时空耦合注意力层对所述特征表示进行时空特征转换,得到特征表示包括:
8.根据权利要求6所述的方法,其特征在于,所述通过l层的时空分解注意力层对所述特征表示进行时空特征转换,得到特征表示包括:
9.根据权利要求1所述的方法,其特征在于,所述依据该交通流预测网络实现交通流的预测,包括:
10.一种基于多路transformer网络的交通流预测系统,其特征在于,所述系统包括: