本发明涉及通信技术领域，具体的说是涉及一种多融合图网络协同多通道注意力模型及应用该多融合图网络协同多通道注意力模型的交通流预测方法。
背景技术：
交通系统是现代城市的重要组成部分之一，为数以亿计的人们的日常通勤和假日旅行提供支持。随着城市化不断加快，人口飞速增长，交通系统变得日益复杂，随之而来的交通堵塞，交通事故也屡见不鲜。如果能够对城市交通状况做出预测，提前做好方案部署，缓解交通压力，避免交通事故的发生的同时还能够进一步的降低人们的出行时间和成本，降低环境污染。车流量是反映交通状态的主要参数之一，较为准确的交通流量预测，有助于智能交通系统的发展。
伴随着ipv6、无线通信技术和传感技术的发展，智能交通融合了短程无线通信技术、微电子传感技术、嵌入式传感网络等等技术，致使不断采集各类大批交通数据成为可能，诸如流量、车速、车道占用率等，积累了大量丰富的带有地理信息的交通时间等数据，为流量预测提供很好的数据基础。
目前，已经有大量的学者进行了相关的预测尝试。早期的预测模型要求数据相对稳定、且呈线性变化，存在适用性差、实时性差等较为明显的缺点，很难适应实际需求。随后发展的传统的机器学习虽然也能对复杂的数据进行建模，但是由于交通流量数据受到多个变量属性的影响，通常具有非线性和突变性特点，难以精准预测，而且这类方法的预测效果很大程度上依赖于特征工程，这往往是依赖领域专家的先验知识。
时空相关数据的预测问题在时空数据挖掘领域已经变得日益重要。而交通流预测是典型的时空数据预测问题。许多经典的模型，比如arima和svm仅考虑时间信息，如zl201711352952x公开的一种基于改进svm算法的交通状态预测方法，该方法则是以时间间隔为基础，但是这种方法在复杂的空间依赖问题上面临巨大的挑战。
zl2018112789581公开了一种基于lstm_cnn的城市路网交通状态预测方法，该预测方法将cnn和lstm相结合，分别建模空间相关性和时间相关性，其效果在城市人流量预测问题中得以验证，但交通预测问题属于典型的图结构相关预测，而以上模型并没有进一步捕获更多的图结构信息。
zl2020115437933公开了一种利用动态时空图训练卷积神经网络的交通流预测方法，该方法构建卷积神经网络并利用由交通流数据构成的动态时空图训练该卷积神经网络，采用图卷积和注意力使得本发明有着较高的预测交通流的准确性并能更好地捕获动态时空图的结构信息。
zl2020103153127一种基于多模态融合和图注意力机制的高速交通流预测方法，综合考虑交通流模型中的时间和空间特征，把多种因素通过编码方式进行融合，综合图注意力机制和空洞卷积等方法进行速度预测的模型构建，应用某高速公路路段实测数据构建模型并进行验证，预测结果和实测结果对比表面本研究提出的车速预测方法具有较好的效果。
近年来，研究者纷纷尝试使用图卷积方法来建模时空网络数据中的空间相关性。dcrnn将图卷积网络引入时空数据的预测中，它使用扩散卷积网络来描述空间网络中信息的扩散过程。stgcn用cnn来建模时间相关性，gcn建模空间相关性。astgcn使用两层注意力层来捕捉空间依赖和时间相关的动态性。graphwavenet设计了自适应矩阵以考虑节点及其邻居节点之间的影响变化，使用扩张因果卷积建模时间相关性，并以指数级增加接受场。stg2seq与以上方法不同的是，它并没有使用两种不同的组件来分别捕获空间依赖性和时间相关性，仅仅通过使用两个注意力机制的门控残差gcn模块模拟时空相关性。
但是以上方法在构造空间图结构的时候仅考虑了距离或者仅建立简单连边，并未考虑道路岔口结构、公共交通设施、地区功能属性等其他相关性对图结构的影响。
技术实现要素：
为了解决上述问题，本发明提供了一种多融合图网络协同多通道注意力模型及利用此模型进行交通流预测的方法，综合考虑多个属性特征的时空卷积深度学习模型，用已有的数据信息构建多融合的图结构，利用图卷积神经网络、卷积神经网络以及eca模型充分挖掘时空相关性和非线性时间动态变化性，该eca模块，该模块避免了降维，有效捕获了跨通道交互的信息。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明是一种多融合图网络协同多通道注意力模型，包括多通道注意力层(eca)、多融合图卷积层(mf-gcn)、卷积神经网络层(cnn)、残差网络(residual)和relu层，堆叠多通道注意力层eca、多融合图卷积层mf-gcn、卷积神经网络层cnn构建出多融合时空块(mf-st-block)，多融合时空块(mf-st-block)结合残差网络(residual)、一层relu层获得多融合图网络协同多通道注意力块(mfg-eca-block)，堆叠数个多融合图网络协同多通道注意力块(mfg-eca-block)，将最后一个多融合图网络协同多通道注意力块(mfg-eca-block)的输出再经过一层卷积神经网络(cnn)层，获得多融合图网络协同多通道注意力模型。
一种多融合图网络协同多通道注意力模型的构建方法，该构建方法包括如下步骤：
步骤1：用已有的数据数据构建一个多融合的图，结合图卷积神经网络(gcn)构建了多融合图卷积层(mf-gcn)；
步骤2：堆叠多通道注意力层(eca)、多融合图卷积层(mf-gcn)、卷积神经网络层(cnn)构建出多融合时空块(mf-st-block)，再结合残差网络(residual)最后经过一层relu层获得多融合图网络协同多通道注意力块(mfg-eca-block)；
步骤3：堆叠数个步骤2中构建的多融合图网络协同多通道注意力块(mfg-eca-block)，将最后一个多融合网络协同多通道注意力模块的输出再经过一层卷积神经网络层(cnn)，获得最终的序列输出。
本发明的进一步改进在于：本发明的多融合图网络协同多通道注意力模型在可以用于交通流预测，该预测方法包括如下步骤：
步骤(1)，将交通数据输入到多通道注意力层(eca)中，经过多通道注意力层(eca)进行打分计算，获得注意力输出；
步骤(2)，将已经获取的交通流、平均车速、平均占道率、节点空间信息进行计算获得相关图结构；
步骤(3)，将步骤(1)的输出和步骤(2)中的邻接矩阵数据一起喂入多融合图卷积层(mf-gcn)中进行卷积操作，获取时空相关性；
步骤(4)，将多融合图卷积层(mf-gcn)的输出再经过一层时间卷积神经网络获得再次提取交通数据时空相关特性和非线性动态变化性；
步骤(5)，结合残差网络(residual)，防止信息丢失，再经过一层relu层，获得多融合图网络协同多通道注意力块(mfg-eca-block)；
步骤(6)，堆叠数个多融合图网络协同多通道注意力块(mfg-eca-block)，能够提取到更多的信息，将最后一个多融合图网络协同多通道注意力块(mfg-eca-block)的输出再经过一层卷积神经网络cnn层，获得最终的序列输出。
本发明的有益效果是：
(1)本发明用已有的数据构建潜在的图结构，构建多属性融合的gcn模块(mf-gcn)，将包含多个属性的图结构传入gcn模块，充分挖掘图结构信息；
(2)本发明首次将eca模型用于交通流预测，将时间维度作为通道，应用eca模型的注意力机制，更好的建模时间非线性动态变化性；
(3)本发明将eca模块、mf-gcn模块、时间维cnn模块堆叠融合充分挖掘时空相关信息。
本文提出一种多融合图网络协同多通道注意力模型(mfg-eca)：将时间维度作为通道，使用高效通道注意力模型(eca)捕获交通流数据的时空动态性；利用已有的数据构造一个多融合的图结构，经过图卷积神经网络提取空间依赖，再堆叠卷积神经网络充分挖掘时空相关性和非线性动态变化特性。
附图说明
图1是本发明交通流量数据的时空相关性。
图2是本发明交通空间结构图。
图3是本发明交通流量数据折线图，横轴代表时间步，纵轴代表交通流量值。
图4是本发明交通流时间相关性，箭头的粗细虚实表示相关程度不同。
图5是本发明mf-gcn的模型结构图。
图6是本发明mfg-eca模型结构图。
图7是本发明时空方法实验结果对比图，在pems04和pems08两个数据上的结果对比。
图8是本发明mfg-eca模型预测结果与真实数据对比图，在pems04和pems08两个数据上的结果对比。
具体实施方式
以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。
通过观察图1可以发现，在同一时间步中，由于物理距离的可达性，一个节点的交通流很容易受到其相邻节点的影响；同一个节点的交通流量的大小与他的上一个时间步的交通流大小具有很强的相关性；不同时间步，不同节点之间的交通流互相影响形成复杂的时空相关性；此外公共交通工具设置、地区功能属性、道路岔口结构相似的节点之间的流量也存在一定的相关性，这个相关性通过平均速度，平均占道率，交通流量等交通数据得以体现；其次一些重大事件或者交通事故的发生会让交通数据存在很大的波动性，重大事件或者交通事故的发生存在很强的不确定性，众多因素的影响形成了极强的非线性动态变化的交通数据。由此可见，交通流的预测重要且困难。
图2所示，空间上a点与b点空间距离相近，那么a和b点之间的交通流量是存在相互影响的可能性的；a点和c点之间的空间距离虽然比较远，但是由于二者在功能结构、道路岔口结构以及公共交通工具设施部署方面存在一定的相似性，a和c之间的交通数据也会存在一定程度的相似性。
时间相关性上，如图4所示，t时刻a点的交通数据受到t-1时刻的流量影响，也可能与一天前或者一周前同一时刻的交通数据存在一定的相关性；交通数据具有很强的时空相关性，时间的推移影响着空间的变化进而再影响我们的时间交通数据。
同时从图3中可以观察到交通数据不是一成不变的，存在着极强的非线性动态变化性，我们提出多融合图网络协同多通道注意力模型(mfg-eca)综合考虑以上交通数据属性，用以交通流量预测。
图5展示了本文提出的多融合图网络协同多通道注意力模型(mfg-eca)，用以建模预测目标的时空相关性，时空数据动态变化性，其他相关性如道路岔口结构、公共交通工具设施部署、地区功能属性建立在以上相关性的特点上，本发明提出的协同能模型分别包括：eca模块，用以捕获复杂的交通数据动态性，如图6，mf-gcn模块综合考虑路网距离，道路岔口结构，公共交通工具设施部署，地区功能属性等的相关特性，捕获复杂的潜在图结构信息，最后再通过timecnn模块用以学习时间序列信息，各个模块各司其职，各个模块专注于各自的职能学习复杂的交通数据，三个模块的堆叠融合共同学习复杂的时空相关信息。
更加具体的，本发明的注意力模型包括多通道注意力层(eca)、多融合图卷积层(mf-gcn)、卷积神经网络层(cnn)、残差网络(residual)和relu层，堆叠多通道注意力层eca、多融合图卷积层mf-gcn、卷积神经网络层cnn构建出多融合时空块(mf-st-block)，多融合时空块(mf-st-block)结合残差网络(residual)、一层relu层获得多融合图网络协同多通道注意力块(mfg-eca-block)，堆叠数个多融合图网络协同多通道注意力块(mfg-eca-block)，将最后一个多融合图网络协同多通道注意力块(mfg-eca-block)的输出再经过一层卷积神经网络(cnn)层，获得多融合图网络协同多通道注意力模型。
该模型的构建方法包括如下步骤：
步骤1：用已有的数据数据构建一个多融合的图，结合图卷积神经网络(gcn)构建了多融合图卷积层(mf-gcn)；
步骤2：堆叠多通道注意力层(eca)、多融合图卷积层(mf-gcn)、卷积神经网络层(cnn)构建出多融合时空块(mf-st-block)，再结合残差网络(residual)最后经过一层relu层获得多融合图网络协同多通道注意力块(mfg-eca-block)；
步骤3：堆叠数个步骤2中构建的多融合图网络协同多通道注意力块(mfg-eca-block)，将最后一个多融合网络协同多通道注意力模块的输出再经过一层卷积神经网络层(cnn)，获得最终的序列输出。
该多融合图网络协同多通道注意力模型应用在时空数据预测，尤其是用于交通流预测，具体的应用多融合图网络协同多通道注意力模型的交通流预测方法包括如下步骤：
步骤(1)，将交通数据输入到多通道注意力层(eca)中，经过多通道注意力层(eca)进行打分计算，获得注意力输出，具体的为：
将历史交通流数据x，喂入eca模块中，获取注意力分数，将x∈rf×n×t的交通数据作为输入:
其中
ω＝σ(wz)(2)
w∈rt×t是矩阵；为了让学习更高效，让所有通道共享学习参数，
ω＝σ(c1dk(z))(3)
c1d表示一维卷积，将注意力矩阵与x相乘获得输出：
xout＝x*ω(4)
然后将xout∈rf×n×t作为输出，输入到mf-gcn层中，继而捕获时空相关信息。
步骤(2)，将已经获取的交通流、平均车速、平均占道率、节点空间信息进行计算获得相关图结构，
其中μ1，μ2，μ3，ε1，ε2，ε3是超参数，pij＝mean(|ci-cj|)，bij＝mean(|si-sj|，hij＝mean(|oi-oj|，通过fij，sij，oij的分别是顶点i和顶点j之间的流量连边，平均速度连边和平均占道率连边，构造出矩阵c、s、o；
距离矩阵：
qij是顶点i和顶点j之间的距离连边，最终获得距离矩阵q。
步骤(3)，将步骤(1)的输出和步骤(2)中的邻接矩阵数据一起喂入多融合图卷积层(mf-gcn)中进行卷积操作，获取时空相关性。
将以上四种图结构融合在一起，形成一张新的图：
a＝wdq wcc wss woo(9)
其中wd，wc，ws，wo是超参，且wd wc ws wo＝1，将多融合的图结构的邻接矩阵a构造拉普拉斯矩阵，结合步骤1的输出输入到gcn中,
图卷积利用定义在傅里叶域中对角化的线性算子来等价代替经典的卷积算子，从而实现卷积操作：
其中l是图的拉普拉斯矩阵，l＝d-a，规范化
用图卷积操作大型图的时候，直接对拉普拉斯矩阵进行特征值分解代价十分昂贵，这里使用切比雪夫多项式近似展开求解：
θk∈rk是切比雪夫多项式系数，
使用多融合图结构构造邻接矩阵a，构造出拉普拉斯矩阵l，假设k＝2，提取0～1阶邻居信息，近一步近似拉普拉斯算子矩阵的最大特征值λmax，λmax≈2，公式(11)可以表示为：
θ0，θ1是两个共享参数，θ0，θ1可以用θ来代替，θ＝θ0＝-θ1，为了避免数值不稳定，以及梯度消失，梯度爆炸等问题，令
堆叠多层：
步骤(4)，将多融合图卷积层(mf-gcn)的输出再经过一层时间卷积神经网络获得再次提取交通数据时空相关特性和非线性动态变化性；
步骤(5)，结合残差网络(residual)，防止信息丢失，再经过一层relu层，获得多融合图网络协同多通道注意力块(mfg-eca-block)。
经过mf-gcn块的的卷积操作，图上的每个节点都捕获了其邻居节点的相关信息，进一步堆叠时间维标准卷积层，通过合并相邻时间步上的信息以更新节点的信号：
其中φ是时间维度的卷积核参数，*表示卷积操作，relu是线性修正单元激活函数。
步骤(6)，堆叠数个多融合图网络协同多通道注意力块(mfg-eca-block)，能够提取到更多的信息，将最后一个多融合图网络协同多通道注意力块(mfg-eca-block)的输出再经过一层卷积神经网络cnn层，获得最终的序列输出。
为了验证模型的准确性，本实施例引用两个名为pems04和pems08的集合，这些流量数据，每5分钟汇集为一个时间片的数据，这意味着每个小时将包含12个时间片的信息，数据集包含车流量、平均车速、平均占道率这三个维度的特征以及相关检测器的地理位置信息，使用过去的1个小时的流量数据预测下一个小时的流量数据，详细的信息如表1所示：
表1数据集描述
将本实施例提出的mfg-eca模型与以上基准模型进行实验对比，表2展示了不同方法在pems04和pems08这两个数据集上的实验结果对比。相比于其他的7种基准方法，本发明提出的mfg-eca模型在这两个数据集上的评价指标都表现出不错的性能。
表2交通流预测在不同方法上的性能对比
var，svm，lstm仅仅考虑了时间相关性，并没有加入时空网络中重要的依赖之一：空间依赖。dcrnn，stgcn，stg2seq，graphwavenet以及本发明提出的模型mfg-eca都加入了图结构信息这一重要依赖，所以从实验结果来看，他们相比于仅仅考虑时间性能的时间序列预测模型的性能更优。
但是本发明的模型在考虑普通空间距离依赖的同时，还加入其他属性信息，融合构建了一个新的图结构，同时引入注意力模块eca将时间维度作为通道捕捉不同时间步的影响以及交通数据固有的动态变化性，同样考虑时空相关性，从实验对比分析结果中可以看出，本发明模型的性能要更优，如图7所示。其中stg2seq在考虑时空相关性的同时同样引入了注意力模块，以捕捉最具有影响力的历史时间步长对预测需求的影响以及这些关系所固有的动态性。但是它并没有考虑潜在的图结构信息，忽略其他潜在的影响交通流的重要信息。同时，本发明注意力eca模块在捕捉动态性方面可能更加有效合理，让模型能够更加专注重要信息的学习。
为了更好的分析本发明的mfg-eca模型的性能，随机抽取了一个检测点并对其在测试集上的预测值进行了可视化对比操作，从图7的可视化结果上可以看到，mfg-eca模型能够较好的感知数据时间维度的动态变化性，能够较好的检测出非线性波动。这是由于本发明综合考虑了潜在图结构的同时融入了eca模块，融合了更多的图结构信息对于交通流预测的影响，并且充分发挥了注意力机制在交通流量预测中重要性，让引入了时间注意力机制的eca模块的输出作为输入数据，融合混合多种图网络结构的图信息经过gcn模块进行卷积，同时捕获时空相关属性，再通过timecnn模块进行卷积再一次学习时空数据，提取有效特征信息，各模块分工合作，叠加融合，让模型更加能够专注重要信息学习并且感知数据的动态变化性的同时，共同捕捉时空相关信息。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。
