一种面向波束成形通信的用户协作抗干扰方法与流程

1.本发明属于无线通信技术领域，特别是一种面向波束成形通信的用户协作抗干扰方法。


背景技术：

2.随者无线技术的发展，全球通信业务呈现出指数型爆发增长，在热点地区，用户通常呈现超密集分布，给用户协调用频和抗恶意干扰攻击带来了较大困难。针对此问题，前人提出采用跳频方式躲避干扰攻击(f.yao and l.jia,a collaborative multi
‑
agent reinforcement learning anti
‑
jamming algorithm in wireless networks,ieee wireless communications letters,vol.8,no.4,pp.1024
‑
1027,aug.2019.)；但是，之前的大部分研究都只是单纯的将最大化全网吞吐量作为优化目标，没有考虑用户实际的业务需求，没有将用户需求考虑进决策闭环之中。此类方法往往会遇到优化目标与用户需求不能够完全匹配的情况，从而造成资源的浪费。
3.此外，现有的抗干扰算法还普遍存在以下两点问题：(1)缺乏用户间协作机制，抗干扰方法还偏向于独立对抗，没有发挥出群智效能。(2)异步更新算法居多，即每次迭代只有一个用户更新策略，导致算法收敛速度较慢。


技术实现要素：

4.本发明的目的在于提供一种能够提高用户体验质量(qoe)、降低干扰影响的协作抗干扰模型及相应的抗干扰学习算法。
5.实现本发明目的的技术解决方案为：考虑恶意用户能够根据通信用户的用频状况自适应地调整干扰策略，使其干扰效用最大化。首先，将用户和干扰之间的对抗关系建模为一个stackelberg博弈。此外，在用户关系建模方面，考虑空分多址条件下用户间互扰非对称这一特点，提出了一种具有局部利他特性的非合作博弈模型。其次，为了克服盲目地提升吞吐量所造成资源的浪费，提出了基于平均评估分值mos(mean opinion score)的用户体验质量模型，用qoe等级来量化用户效用。接着，证明了用户间局部利他博弈是一个精确势能博弈，进而证明了用户的全网最优策略是该博弈的一个纯策略纳什均衡。最后，设计了一种只需要局部信息即可实现全网最优的用户协作抗干扰算法。
6.一种抗干扰算法，包括以下步骤：
7.步骤1，将多用户单干扰场景下的合作抗干扰问题，建模为单领导者多跟随者的stackelberg博弈模型，博弈的参与者是系统内的所有用户和干扰；
8.步骤2，干扰随机选择一个信道进行干扰，定义干扰的效用函数为干扰机给共信道的所有用户施加的干扰功率之和。用户根据干扰策略进行抗干扰信道选择，为了能够在此过程中降低用户间互扰，我们考虑了局部合作模型，并利用势能博弈框架对用户间协作进行分析，每个用户需要考虑邻居用户的收益。因此，用户的效用函数被定义为用户自身与邻居用户的qoe满意度总和。
9.步骤3，所有用户同时进行抗干扰策略调整，用户根据当前标志位以及前两个时隙的策略与回报进行信道选择。根据用户对网络的不同影响程度，本发明为每个用户设置了不同的学习参数，以此来提高算法收敛速度。
10.步骤4，循环至步骤3，用户通过探索学习进行策略选择，直至干扰策略和所有用户的抗干扰策略实现收敛，或者达到设定的迭代次数。
11.步骤5，干扰评估其效用u
j
(k)并更新q表。
12.步骤6，干扰更新策略，并循环至步骤3，直至到达最大循环次数。
13.进一步地，步骤1所述的多用户单干扰场景下的合作抗干扰问题，被建模为单领导者多追随者的stackelberg博弈，表示为：
[0014][0015]
其中，为用户集，j为恶意干扰机，和分别表示用户和干扰的策略集，u
n
和u
j
分别表示用户n和干扰的效用函数。
[0016]
进一步地，步骤2所述的用户间局部合作模型被建模为精确势能博弈，具体如下：定义用户间势能函数为:
[0017][0018]
其中a
n
为用户n的信道接入策略，c
j
为干扰的信道选择；为受用户n干扰的用户集，为对用户n造成干扰的用户集；该式表示全网所有用户的qoe满意度之和。
[0019]
该势能博弈证明过程如下：
[0020]
若任意用户n单方面将其策略从a
n
转变为则该用户效用函数的变化量如下：
[0021][0022]
此外，用户n单方面改变其策略选择造成势能函数的变化为：
[0023][0024]
其中为受用户n干扰的用户集，为对用户n造成干扰的用户集，表示在集合中删除集合
[0025]
进一步将得到以下结论：
[0026][0027]
因此用户间局部合作模型是一个势能博弈。
[0028]
进一步地，步骤3所述的所有用户同时进行抗干扰策略调整，用户根据当前标志位以及前两个时隙的策略与回报进行信道选择。具体操作如下：
[0029]
若标志位y
n
(t
‑
1)＝0，用户n根据以下规则更新信道:
[0030][0031]
其中，m表示用户的可用信道数，是用户n的学习参数。若a
n
(t)＝a
n
(t
‑
1)，则将标志位y
n
(t)置0，否则置1。
[0032]
若标志位y
n
(t
‑
1)＝1，用户n根据以下规则更新信道:
[0033][0034][0035]
其中，β为学习速率；u
n
(t
‑
1)和u
n
(t
‑
2)分别为用户n在t
‑
1和t
‑
2时隙的效用。更新完成后设置标志位y
n
(t)＝0。
[0036]
进一步地，将用户的学习参数设置为当x
n
足够大时，用户协作抗干扰算法可以渐进收敛到全网最优，为不同用户设置不同的学习参数主要是为了加快收敛速度，具体操作为：
[0037]
x
n
(t)＝γ
n
·
ε(t)
[0038]
其中，ε(t)＝ε(0) tδε为时间的变化量，且ε(0)为初始值，δε为步长，t为迭代次数。表示用户n对网络的影响程度。
[0039]
进一步地，步骤5所述的干扰评估其效用u
j
(k)并更新q表。具体如下：
[0040]
干扰评估当前效用u
j
：
[0041][0042]
其中，p
j
为干扰功率；为干扰频率；d
jn
为干扰机与用户n之间的距离；为信道增益，与干扰频率以及干扰距离有关；
[0043]
更新q表：
[0044]
q
k 1
(c
j
(k))＝(1
‑
λ)q
k
(c
j
(k)) λu
j
(k)，
[0045]
其中，q
k 1
为干扰机k 1时期的q值；c
j
(k)为干扰机在k时期所选的干扰信道；q
k
为干扰机k时期的q值；u
j
(k)为干扰机在k时期的效用；λ∈(0,1)表示学习速率，用于控制q学习收敛速度。
[0046]
进一步地，步骤6所述的干扰策略更新方式为：
[0047]
采用玻尔兹曼函数更新自身的信道选择策略：
[0048][0049]
其中，τ为温度系数，体现探索与利用的折中。为干扰机在k时期选择信道c
j
(k)的概率。
[0050]
本发明与现有技术相比，其显著优点在于：(1)为多用户抗干扰问题提供了一种建模用户与干扰强对抗关系以及用户间协作关系的架构。(2)考虑了用户的多样化业务需求，同时为了克服用户盲目的提升吞吐量而造成的资源浪费，提出了基于mos的qoe模型和以用户需求为中心的优化机制，用qoe等级来量化用户效用，利用用户需求分集提升系统性能。(3)通过势能博弈的有限改进性，设计了多用户同步抗干扰算法，并利用各用户对网络整体的影响程度不同的特点，通过为不同的用户设置不同的学习参数来提升算法的收敛速度。
附图说明
[0051]
图1是本发明面向异构业务需求的分层抗干扰模型中的多用户单干扰网络示意图。
[0052]
图2是本发明算法与现有的异步学习算法的收敛情况对比图。
[0053]
图3是本发明算法在干扰功率变化时的抗干扰效果示意图。
具体实施方式
[0054]
结合图1，本发明面向多用户业务需求的分层抗干扰模型，系统中共有两个毫米波微微蜂窝基站，两基站间的距离为50m，用户随机分布在以基站为中心的半径为100m的圆内。同时，干扰分布在距离两基站大约100
‑
200m的范围内。此外，可用信道数设置为m＝4，信道带宽b＝1mhz,噪声功率谱密度n0＝
‑
130db/hz。
[0055]
本发明面向多用户业务需求的分层抗干扰模型，将干扰建模为领导者，将用户建模为跟随者。将干扰与用户的对抗关系建模为stackelberg博弈，寻求能够躲避干扰的方法。将用户间协作关系建模为势能博弈，寻求能够消除同信道互扰的方法。此外，本发明所提的用户间协作，是信息层面的协作，指相邻用户间交互qoe满意度。
[0056]
本发明基于全网qoe满意度与用户策略的关系，通过证明纳什均衡与stackelberg均衡的存在性，准确地将用户行为映射到了系统性能上，为进一步提出相应的抗干扰算法提供了理论指导。
[0057]
本发明面向异构业务需求的分层抗干扰模型的用户协作抗干扰算法，包括以下步骤：
[0058]
步骤1，将多用户单干扰场景下的合作抗干扰问题，建模为单领导者多跟随者的stackelberg博弈模型，博弈的参与者是系统内的所有用户和干扰；
[0059]
步骤2，干扰随机选择一个信道进行干扰，定义干扰的效用函数为干扰机给同信道的所有用户施加的干扰功率之和。用户根据干扰策略进行抗干扰信道选择，为了能够在此过程中降低用户间互扰，我们考虑了局部合作模型，并利用势能博弈框架对用户间协作进行分析，每个用户需要考虑邻居用户的收益。因此，用户的效用函数被定义为用户自身与邻居用户的qoe满意度总和。
[0060]
步骤3，所有用户同时进行抗干扰策略调整，用户根据当前标志位以及前两个时隙的策略与回报进行信道选择。根据用户对网络整体的影响程度不同，为每个用户设置了不同的学习参数，以此来提高算法收敛速度。
[0061]
步骤4，循环至步骤3，用户通过探索学习进行策略选择，直至干扰策略和所有用户的抗干扰策略实现收敛，或者达到设定的迭代次数。
[0062]
步骤5，干扰评估其效用u
j
(k)并更新q表。
[0063]
步骤6，干扰更新策略，并循环至步骤3，直至到达最大循环次数。
[0064]
本发明的具体实施方案如下：
[0065]
1、将多用户与干扰间的对抗关系建模为stackelberg博弈，表示为其中，为用户集，j为恶意干扰机，和分别表示用户和干扰的策略集，u
n
和u
j
分别表示用户n和干扰的效用函数。
[0066]
2、考虑用户存在多种业务，因此对吞吐量要求也不同。换句话说，同一吞吐量在不同业务下可能会对应到不同的qoe满意度。具体的qoe满意度计算过程为：
[0067]
用户n每次只能接入一个基站，我们将用户n所接入的基站表示为s
n
。基站s
n
和用户n之间的距离表示为基站s
n
到用户n的方向角表示为我们可以得到基站s
n
利用波束成形技术服务用户n时在用户m所在方向上的方向增益为：
[0068][0069]
其中,θ
n
为基站s
n
服务用户n时波束的主瓣宽度。
[0070]
利用通信链路方向角，定义服务用户n的波束覆盖区域为：
[0071][0072]
其中，θ
n
为基站s
n
服务用户n时波束的主瓣宽度。
[0073]
进一步，定义受到用户n干扰的潜在用户集为：
[0074][0075]
为服务用户n的波束覆盖区域；
[0076]
定义对用户n造成干扰的潜在用户集为：
[0077][0078]
其中，为服务用户m的波束覆盖区域；g
mn
为s
m
利用波束成形技术服务用户m
[0079]
时在用户n所在方向上的方向增益；g0是波束增益阈值，取0.01。表示除用户n之外的其余所有用户的集合。
[0080]
因此，用户n所受的外部恶意干扰和用户间互扰之和表示为：
[0081][0082]
其中，为干扰频率；为信道a
m
所在频率；a
m
,a
n
和c
j
分别为用户m、用户n和干扰机所选信道；g
mn
为s
m
利用波束成形技术服务用户m时在用户n所在方向上的方向增益；为用户m所在信道的信道增益；为干扰机所在信道的信道增益。p
m
为用户m的发射功率，d
jn
为干扰机到用户n的距离。p
j
为干扰功率。δ(x,y)为指示函数，定义为
[0083]
所以，用户n的通信速率表示为：
[0084][0085]
其中，b为信道带宽；p
n
表示用户n的发射功率；为基站s
n
到用户n的距离；n0为噪声的功率谱密度；d
n
为用户n所受的外部恶意干扰和互扰之和。为用户n所在信道的信道增益；
[0086]
将mos函数定义为：
[0087]
mos＝εlog
10
(r/γ)，
[0088]
其中r为用户的吞吐量；ε和γ为常数，其大小根据用户的最大和最小吞吐量需求确定，由于用户的业务需求不同，该常数值大小也不尽相同。mos值与五个级别的映射关系如表1所示。
[0089]
表1：平均意见得分(mos)
[0090][0091][0092]
进一步，用函数对用户的不同体验等级进行量化，表示用户n在不同qoe等级下的满意度：
[0093][0094]
基于上述分析，优化目标被表示为全网的qoe回报(即用户满意度之和)最大，即：
[0095][0096]
基于以上分析，用户n的效用函数表示为：
[0097][0098]
用户n的优化问题可表示为：
[0099]
[0100]
进一步，所有用户构成一个下层子博弈，表示为：
[0101][0102]
对干扰来说，其目标是给所有用户造成最大程度的累计干扰，其效用函数定义为：
[0103][0104]
我们将干扰的决策优化问题表示为：
[0105][0106]
故上层子博弈表示为：
[0107][0108]
3、每个用户的信道选择过程如下：
[0109]
(1)初始化：每个用户从它的可用信道集中等概率随机选择一个信道a
n
(0)，并设置标志位y
n
(0)＝0。
[0110]
(2)信道探测：若y
n
(t
‑
1)＝0，用户n根据以下规则更新信道:
[0111][0112]
其中，m表示用户的可用信道数，可认为是用户n的学习速率。若a
n
(t)＝a
n
(t
‑
1)，则将标志位y
n
(t)置0，否则置1。
[0113]
(3)更新信道：若y
n
(t
‑
1)＝1，用户n根据以下规则更新信道:
[0114][0115][0116]
其中，β为学习参数；u
n
(t
‑
1)和u
n
(t
‑
2)分别为用户n在t
‑
1和t
‑
2时隙的用户效用。更新完成后设置标志位y
n
(t)＝0。
[0117]
4、循环步骤1至步骤3，所有用户同时进行探索学习与信道接入，直至所有用户的信道接入选择实现收敛，或者达到设定的迭代次数。
[0118]
对于局部合作模型，可以证明其为势能博弈，至少存在一个纳什均衡解。且利用势能博弈的有限改进性质，可以设计相应的抗干扰算法。
[0119]
5、干扰评估其效用u
j
(k)；干扰按照下式更新q值
[0120]
q
k 1
(c
j
(k))＝(1
‑
λ)q
k
(c
j
(k)) λu
j
(k)，
ꢀꢀꢀ
(6
‑
25)
[0121]
其中，λ∈(0，1)表示学习速率，用于控制q学习收敛速度。
[0122]
与用户类似，干扰也采用玻尔兹曼函数更新自身的信道选择策略：
[0123]
[0124]
其中，τ为温度系数，体现探索与利用的折中。
[0125]
6、循环至步骤3，直至到达最大循环次数。
[0126]
实施例1
[0127]
本发明的一个实施例如下描述：系统仿真采用matlab软件，参数设定不影响一般性；系统共有两个毫米波微微蜂窝基站，两基站间的距离为50m，用户随机分布在以基站为中心的半径为100m的圆内。同时，干扰分布在距离两基站大约100
‑
200m的范围内。此外，可用信道数设置为m＝4，信道带宽b＝1mhz,噪声功率谱密度n0＝
‑
130db/hz，学习参数β＝t/2500。干扰的学习速率λ＝0.1，温度系数其中k为总的仿真时期，k为当前仿真时期。
[0128]
本发明用户协作抗干扰算法，具体过程如下：
[0129]
步骤1：t＝0，k＝0，初始化干扰的混合策略
[0130]
步骤2：在第k个时期，干扰依概率选择一个信道c
j
(k)；每个用户从它的可用信道集中等概率随机选择一个信道a
n
(0)，并设置标志位y
n
(0)＝0。
[0131]
在该时期内，所有用户同时执行以下过程：
[0132]
循环t＝1，2，
…
：
[0133]
信道探测：
[0134]
若y
n
(t
‑
1)＝0，用户n根据以下规则更新信道:
[0135][0136]
其中，m表示用户的可用信道数，可认为是用户n的学习速率。若a
n
(t)＝a
n
(t
‑
1)，则将标志位y
n
(t)置0，否则置1。
[0137]
更新信道：
[0138]
若y
n
(t
‑
1)＝1，用户n根据以下规则更新信道:
[0139][0140][0141]
其中，β为学习参数；u
n
(t
‑
1)和u
n
(t
‑
2)分别为用户n在t
‑
1和t
‑
2时隙的效用。更新完成后设置标志位y
n
(t)＝0
[0142]
步骤3：干扰获得效用u
j
(k)；
[0143]
步骤4：干扰按照下式更新q值：
[0144]
q
k 1
(c
j
(k))＝(1
‑
λ)q
k
(c
j
(k)) λu
j
(k)，
[0145]
其中，λ∈(0,1)表示学习速率，用于控制q学习收敛速度。
[0146]
与用户类似，干扰也采用玻尔兹曼函数更新自身的信道选择策略：
[0147][0148]
其中，τ为温度系数，体现探索与利用的折中。
[0149]
步骤5：更新k＝k 1，转到步骤2。直至到达最大循环次数
[0150]
结合图2，为协作抗干扰算法收敛情况，对比算法为异步学习算法，即，每次迭代只有一个用户进行策略更新。由图可知，采用本发明所提的同步学习算法，能够明显提高学习速度。
[0151]
结合图3，在不同用户数下干扰功率对网络满意率的影响。由图可知，网络满意率基本不随用户功率的增加而变化，说明本发明所提方法能够帮助用户成功避开干扰信道，有较好的抗干扰效果。
[0152]
综上，本发明提出的面向多用户业务需求的分层抗干扰模型及用户协作抗干扰算法，考虑恶意用户能够根据通信用户的用频状况自适应地调整干扰策略，使其干扰效用最大化。提出了将用户和干扰之间的对抗关系建模为一个stackelberg博弈的思路。此外，考虑空分多址条件下用户间互扰非对称这一特点，提出了一种用户协作抗干扰算法，有效地提高了网络满意率。通过与异步学习算法进行对比，证明了所提算法对收敛速度的显著改善。并通过不同干扰功率下的性能对比证明了本发明所提抗干扰算法的有效性。