一种智能化的移动通信网络系统的制作方法

1.本发明涉及移动通信领域，具体来说涉及移动通信网络的智能化领域，更具体地说，涉及一种智能化的移动通信网络系统。


背景技术：

2.目前，移动业务的逐渐丰富，网络成本较高。为了降低网络成本，无线网络逐渐采用智能化；并且逐渐发展出了诸多参与者来实现上述两个目标。其中，核心网网元和边缘计算网元是主要的参与者，各个参与者根据自身的目标进行优化，很好地提升了网络运维效果并提高了用户的使用体验，但在每个部分的优化上都需要大量的关于网络和用户数据，传统的做法是让核心网网元和边缘计算网元之间的数据自由流通(即数据直接交互)。
3.但实际情况下，数据自由流通会因多方面因素的影响而受到很大限制。数据在核心网网元、边缘计算网元之间进行大量的传输，一方面会造成数据传输的成本较高，另一方面又容易触犯数据传输相关的数据安全法案(隐私保护、数据安全等)。对用户而言，用户是原始数据的拥有者，在用户没有批准的情况下，获得数据的参与者不能交换数据。其次，数据建模使用的目的，在用户认可前不可以改变。由此，不同参与者所获得的用户数据往往不能直接交互，形成数据孤岛。目前，世界各国在法律层面上也越来越关注数据交换的问题。在欧盟出台数据安全相关的法律之后，中国也在跟进，将进一步限制数据的交换，数据孤岛问题会越来越严重。
4.发明人在研究智能化的移动通信系统的过程中，发现在智能化的核心网网元、边缘计算网元存在一部分共有用户，但彼此间获得的用户数据不同。在一定的地理空间区域内，这些智能化网元的用户集可能包含该区域的大多数用户，因此用户空间的交叉很大。而核心网网元记录了用户的鉴权、加密等重要信息，边缘计算网元保留了用户的使用、购买历史，所以其特征空间有很大的不同。由于涉及数据安全问题，核心网网元和边缘计算网元之间的数据不能被共享，出现大量的数据孤岛，不能被用于为用户提供更好的服务。因此，有必要对现有技术进行改进。


技术实现要素：

5.因此，本发明的目的在于克服上述现有技术的缺陷，提供一种智能化的移动通信网络系统。
6.本发明的目的是通过以下技术方案实现的：
7.根据本发明的第一方面，提供一种智能化的移动通信网络系统，包括：多个核心网网元，用于提供用户鉴权和数据路由；多个边缘计算网元，用于为用户提供边缘服务；所述智能化的移动通信网络系统被配置为：从多个核心网网元和多个边缘计算网元中选定多个参与网元组建用于执行预测任务的算力引擎面，其中，多个参与网元包括核心网网元以及与之通信连接的至少两个边缘计算网元；在该算力引擎面内部署联邦模型，其中每个参与网元上部署该联邦模型的一个子模型；在该算力引擎面内训练联邦模型的各子模型根据本
地的训练数据集中的用户数据样本获取中间结果并根据各参与网元的中间结果更新各子模型的模型参数。
8.在本发明的一些实施例中，所述智能化的移动通信网络系统被配置为：在算力引擎面内用训练好的联邦模型对特定的用户进行预测，得到预测结果。
9.在本发明的一些实施例中，所述在该算力引擎面内训练联邦模型的各子模型从本地的训练数据集中的样本获取中间结果并根据各参与网元的中间结果更新各子模型的模型参数包括：在所述算力引擎面内通过各参与网元上部署的子模型对本地的训练数据集中的样本获取中间结果并按预设传递规则传递到对应的参与网元中，所述中间结果至少包括中间预测值；在所述算力引擎面内根据各参与网元上部署的子模型提取的各样本对应中间结果和各样本对应的标签值计算联邦模型的等效损失和梯度求解系数；在所述算力引擎面内根据梯度求解系数和参与网元上部署的子模型的中间预测值计算各子模型对应的梯度值；各参与网元根据其子模型对应的梯度值对自身的权重参数进行更新。
10.在本发明的一些实施例中，在算力引擎面内，不同参与网元的数据库中有部分用户重叠但彼此获取的用户数据不同或者不完全相同。
11.在本发明的一些实施例中，所述智能化的移动通信网络系统被配置为：通过核心网网元和边缘计算网元分别采集自身在运作过程中的用户数据用于生成原始用户数据保存在本地，通过数据协议限制在核心网网元之间、边缘计算网元之间和/或核心网网元与边缘计算网元之间彼此直接交互原始用户数据的部分或者全部数据。
12.在本发明的一些实施例中，获取至少一个通信运营商和至少一个内容提供商共同确定的预测任务以及执行该预测任务的多个参与网元；根据执行该预测任务的多个参与网元组建执行该预测任务的算力引擎面；获取所述至少一个通信运营商和至少一个内容提供商各自确定的可用于优化在算力引擎面中部署的联邦模型的可贡献用户；在该算力引擎面内仅对各参与网元采集的原始用户数据内的可贡献用户进行用户对齐，在该算力引擎面的各参与网元本地生成其自身的训练数据集。
13.在本发明的一些实施例中，所述智能化的移动通信网络系统被配置为：接收根据不同预测需求自定义设置的多个不同的预测任务；从多个核心网网元和多个边缘计算网元中分别为多个不同的预测任务确定多个不同的算力引擎面；在不同的算力引擎面中分别建立用于执行对应预测任务的联邦模型。
14.在本发明的一些实施例中，所述智能化的移动通信网络系统被配置为：不同的算力引擎面中的联邦模型彼此独立部署和更新。
15.在本发明的一些实施例中，每个核心网网元上部署有多个微服务，其中，所述多个微服务包括：网络数据分析功能模块对应的微服务，用于部署算力引擎面中核心网网元上的联邦模型的子模型；以及第三方协作模块，用于提供可信的第三方数据加解密服务以保障算力引擎面内的数据交互过程。
16.在本发明的一些实施例中，所述智能化的移动通信网络系统被配置为：在算力引擎面内，核心网网元从其上部署的第三方协作模块获取公钥，并分发到该算力引擎面内的各个参与网元，用于在用户对齐和传递联邦模型所需的数据时对传递的数据进行同态加密，所述传递的数据包括用户id和中间结果。
17.在本发明的一些实施例中，所述等效损失按照以下公式计算：
[0018][0019]
其中，表示同态加密，表示边缘计算网元k的训练数据集中用户i对应的训练样本的中间预测值，θ
k
表示边缘计算网元k上部署的子模型的权重参数，表示边缘计算网元k的训练数据集中用户i对应的训练样本的特征值，表示核心网网元的训练数据集中用户i对应的训练样本的中间预测值，θ
core
表示核心网网元上部署的子模型的权重参数，表示核心网网元的训练数据集中用户i对应的训练样本的特征值，m表示所有参与网元的数量，m≥3，y
i
表示用户i对应的训练样本的标签对应的真值，λ表示正则化参数。
[0020]
在本发明的一些实施例中，所述梯度求解系数按照以下公式计算：
[0021][0022]
在本发明的一些实施例中，核心网网元和边缘计算网元分别根据以下公式计算梯度值：
[0023]
核心网网元：
[0024]
边缘计算网元：
[0025]
根据本发明的第二方面，提供一种在第一方面所述的智能化的移动通信网络系统中构建联邦模型的方法，包括：
[0026]
s1、从多个核心网网元和多个边缘计算网元中选定多个参与网元组建用于执行预测任务的算力引擎面，其中，多个参与网元包括核心网网元以及与之通信连接的至少两个边缘计算网元；
[0027]
s2、通过第三方协作模块向该算力引擎面的各参与网元分发公钥；
[0028]
s3、以公钥作为加密参数，对该算力引擎面的各参与网元采集的原始用户数据内的用户进行加密对齐，在各参与网元本地生成其自身的训练数据集；
[0029]
s4、以公钥作为加密参数，对该算力引擎面的各参与网元通过其子模型对本地的训练数据集中的样本以同态加密的方式获取中间结果，所述中间结果包括中间预测值；
[0030]
s5、根据该算力引擎面的各参与网元提取的中间结果计算等效损失和梯度求解系数；
[0031]
s6、该算力引擎面的各参与网元上部署的子模型分别根据梯度求解系数和自身的中间预测值计算梯度值并发送给第三方协作模块；
[0032]
s7、第三方协作模块根据公钥对应的私钥解密等效损失和每个参与网元的梯度值并对应地反馈给各个参与网元；
[0033]
s8、该算力引擎面的各参与网元根据第三方协作模块反馈的梯度值对自身的权重参数进行更新。
[0034]
根据本发明的第三方面，提供一种在第一方面所述的智能化的移动通信网络系统
中执行的预测方法，该方法包括：获取算力引擎面内任意参与网元发送的对特定用户的预测请求；响应于所述预测请求，由该算力引擎面的核心网网元向该算力引擎面的各个参与网元发出联邦任务协作请求；由该算力引擎面内的联邦模型的各子模型从本地的原始用户数据中的特定用户的用户数据获取中间结果并根据各参与网元的中间结果获得预测结果。
[0035]
与现有技术相比，本发明的优点在于：
[0036]
本发明通过对系统中各个参与网元进行有效分析，提出了基于联邦学习的思想运作的智能化的移动通信系统，在该智能化的移动通信系统中，构建相应的算力引擎面，该算力引擎面由针对不同的预测任务、结合同一片区域中存在多个网元作为参与网元(例如多个边缘计算网元(简写为mec)和核心网的智能化网元(对应于核心网网元))组成。核心网网元例如是5gc或者未来的通信技术下的核心网网元。本发明可以低数据传输成本，解决数据孤岛问题，并加强数据在使用和传输过程中的安全性，以一种隐私保护的方式计算训练损失和梯度的过程，以便用多方的数据安全地协作构建一个在算力引擎面内分散部署的联邦模型，以便为用户更好地服务，提高用户体验。
附图说明
[0037]
以下参照附图对本发明实施例作进一步说明，其中：
[0038]
图1为根据本发明实施例的智能化的移动通信网络系统在部署一个算力引擎面的情况下的结构示意图；
[0039]
图2为根据本发明实施例的智能化的移动通信网络系统在部署多个算力引擎面的情况下的结构示意图；
[0040]
图3为根据本发明实施例的在前述智能化的移动通信网络系统中构建联邦模型的方法的流程示意图；
[0041]
图4为根据本发明实施例的联邦模型的子模型的训练架构的原理示意图；
[0042]
图5为根据本发明实施例的一个示意性的用户对齐过程。
具体实施方式
[0043]
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0044]
如在背景技术部分提到的，由于涉及数据安全问题，核心网网元和边缘计算网元之间的数据不能被共享，出现大量的数据孤岛，不能被用于为用户提供更好的服务。
[0045]
本发明基于联邦学习的机制进行构建，为了便于理解，此处对联邦学习的机制进行说明：
[0046]
联邦机器学习(federated machine learning/federated learning)，又名联邦学习。它是一个机器学习框架，联邦学习是ai里面的一个技术类别或者技术基础框架，类似于机器学习、深度学习这样的概念。本发明应用了联邦学习的技术框架，本发明构建了联邦学习在智能化的移动通信系统中的应用模型，其涉及到多方(大于2)参与的联邦模型用户对齐、中间结果传递等内容。本发明基于纵向联邦学习的框架，适用于不同数据集中训练样本对应的用户共享相同的用户id空间但特征空间不同的情况。
[0047]
本发明通过对系统中各个参与网元进行有效分析，提出了基于联邦学习的思想运作的智能化的移动通信系统，在该智能化的移动通信系统中，构建相应的算力引擎面，该算力引擎面由针对不同的预测任务、结合同一片区域中存在多个网元作为参与网元(例如多个边缘计算网元(简写为mec)和核心网的智能化网元(对应于核心网网元))组成。核心网网元例如是5gc或者未来的通信技术下的核心网网元。其中，边缘计算网元可以是基站部署高层协议的网元(保存有通信运营商的用户对应的用户数据)和/或内容服务商部署的计算节点(保存有内容服务商的用户对应的用户数据)。并在算力引擎面中的每个参与网元上部署联邦模型的一个子模型，每个参与网元根据自身掌握的数据训练其上部署的子模型，在参与网元间仅传递中间结果，用于更新损失和梯度值，而不是直接传递大量且隐私的用户数据，不仅可以减少通信量，还可以实现相应的预测任务。换言之，核心网、边缘计算之间不需要大量交换网络参数和用户数据，即可实现联邦的优化目标。本发明可以低数据传输成本，解决数据孤岛问题，并加强数据在使用和传输过程中的安全性，以一种隐私保护的方式计算训练损失和梯度的过程，以便用多方的数据安全地协作构建一个在算力引擎面内分散部署的联邦模型，以便为用户更好地服务，提高用户体验。
[0048]
另外，通信运营商(如移动、联通或者电信这类提供通信基础服务的运营商)和内容提供商(如腾讯、百度这类提供网上内容服务的提供商)会将自身的一些服务部署到边缘计算网元。因此，边缘计算网元上的用户数据可能来自通信运营商和/或内容提供商。通信运营商网络中的用户与内容提供商中的用户并非完全一致，而且，出于隐私保护或者数据安全的考虑，通信运营商或者内容提供商可能不希望把自身掌握的所有用户的用户数据均用于训练联邦模型。通信运营商和内容提供商可以分别确定自身的用户中，哪些用户可以用于优化联邦模型，这部分用户称为可贡献用户，每个参与网元均提供一个可贡献用户组成的可贡献用户集，对所有参与网元对应可贡献用户集取交集，则为所有通信运营商和内容提供商共同确定的优化联邦模型的目标用户，而不会去使用目标用户以外其他用户的数据来优化联邦模型，保障用户数据安全；本发明使用基于加密的用户对齐(用户id对齐)技术，来共同确认用于优化联邦模型的目标用户，核心网网元和边缘计算网元不会暴露各自的数据，在用户加密对齐过程中，也不会公开彼此不重叠的用户，保障用户数据安全。优选的，进行用户对齐时，可将由核心网网元分配的用户标识ng
‑
5g
‑
s
‑
tmsi或者5g
‑
guti作为用户id，通过加密ng
‑
5g
‑
s
‑
tmsi或者5g
‑
guti进行各边缘计算网元以及核心网网元的用户对齐。
[0049]
在用户对齐之后，可以使用这些公共用户的特征与标签数据来训练联邦模型。以线性回归和同态加密作为训练过程，使用梯度下降方法训练联邦模型，同时对其损失和梯度进行安全计算。
[0050]
根据本发明的对联邦模型的一个示意性的训练过程可分为以下五个步骤：
[0051]
针对由多个边缘计算网元和核心网nwdaf功能模块组成的联邦机制训练(核心网nwdaf(network data analytics function)是5g 3gpp通信标准里指定的体系结构的一部分，主要采用ai等技术实现大数据分析等功能，并将结果反馈给网络。是3gpp标准的一部分，满足标准即可适用)其过程可分为以下五个步骤：
[0052]
1)由权威机构在核心网网元中建立第三方协作模块，并由第三方协作模块创建加密对，将加密对中的公钥分别发送给核心网网元的nwdaf模块(对应于网络数据分析功能模
块)和边缘计算网元，同时nwdaf模块和边缘计算网元对联邦模型的权重参数θ
core
和θ
k
进行初始化。
[0053]
2)核心网网元的nwdaf模块和边缘计算网元对梯度和损失计算的中间结果进行加密与交换，同时核心网网元的nwdaf将当前计算的加密损失发送给第三方协作模块。
[0054]
将进行拆分，由于是有多个边缘计算网元mec，那么对于任何一个核心网网元的nwdaf模块和边缘计算网元，有：
[0055]
加密的等效损失表示为：
[0056][0057][0058]
其中，表示同态加密；
[0059]
表示边缘计算网元k对应的子损失：
[0060][0061]
表示核心网网元对应的子损失：
[0062][0063]
表示边缘计算网元k和其他边缘计算网元k
′
对应的联合损失：
[0064][0065]
表示边缘计算网元k和核心网网元对应的联合损失：
[0066][0067]
计算当前边缘计算网元k的并将其发送至其他边缘计算网元和核心网网元的nwdaf模块。
[0068]
计算核心网nwdaf模块的和并根据边缘计算网元传来的计算同时根据边缘计算网元得出的根据根据求出总体的并将发送至所有边缘计算网元，同时把发给第三方协作模块。
[0069]
3)将发送给每一个对应的边缘计算网元，而将发送给每一个对应的边缘计算网元，而将发送给核心网网元的nwdaf模块。由于是总的等效损失，那么针对每一个边缘计算网元而言，其梯度如下：
[0070][0071]
同理：
[0072][0073]
为了便于后面求模型参数时将结果统一表示，这里根据梯度求解的结果来设定每个边缘计算网元和核心网网元的nwdaf模块特征值的梯度求解系数：
[0074][0075]
而此时边缘计算网元k的梯度变成：
[0076][0077]
而核心网网元的梯度为：
[0078][0079]
初始化核心网网元的nwdaf模块和边缘计算网元的掩码值：r
core
和r
k
,并将和发送给第三方协作模块。
[0080]
4)第三方协作模块对进行解密，并把带掩码的梯度值发送给每一个对应的边缘计算网元k，而将带掩码的梯度值发送给核心网网元的nwdaf模块。
[0081]
5)在核心网网元的nwdaf模块和边缘计算网元收到第三方协作模块发来的带掩码的梯度值时，更新θ
k
和θ
core
。
[0082]
参见图1，根据本发明的一个实施例，提供一种智能化的移动通信网络系统，包括：具有微服务架构的多个核心网网元，所述核心网网元例如是5gc或未来出现的其他通信技术中以微服务架构部署的核心网网元，用于提供用户鉴权和数据路由，；以及多个边缘计算网元，用于为用户提供边缘服务。优选的，核心网网元可以具有微服务架构。
[0083]
根据本发明的一个实施例，在一个通信区域内，不同的网元所掌握的用户数据不同，但不同的网元掌握的用户数据中部分用户是相同的，因此可以构建算力引擎面，来结合一定通信区域内算力，更准确地联合完成预测任务，提高模型的预测性能。在算力引擎面内，不同参与网元的数据库中有部分用户重叠但彼此获取的用户数据不同或者不完全相同。但为了解决数据安全和减少通信量，所述智能化的移动通信网络系统被配置为：从多个核心网网元和多个边缘计算网元中选定多个参与网元组建用于执行预测任务的算力引擎面，其中，多个参与网元包括核心网网元以及与之通信连接的至少两个边缘计算网元；在该算力引擎面内部署联邦模型，其中每个参与网元上部署该联邦模型的一个子模型；在该算力引擎面内训练联邦模型的各子模型根据本地的训练数据集中的用户数据样本获取中间结果并根据各参与网元的中间结果更新各子模型的模型参数。根据本发明的一个实施例，该中间结果包括每个参与网元上部署的子模型的中间预测值以及根据子模型当前的权重参数计算的正则化项。根据本发明另一个实施例，该中间结果包括每个参与网元上部署的子模型的中间预测值、每个子模型的子损失和每两个子模型之间的联合损失。
[0084]
根据本发明的一个实施例，智能化的移动通信网络系统可以被配置为：在算力引擎面内用训练好的联邦模型对特定的用户进行预测，得到预测结果。例如，核心网网元获取算力引擎面内任意参与网元发送的对特定用户的预测请求；响应于所述预测请求，核心网网元向该算力引擎面的各个参与网元发出联邦任务协作请求；由该算力引擎面内的联邦模型的各子模型从本地的原始用户数据中的特定用户的用户数据获取中间结果并根据各参与网元的中间结果获得预测结果。
[0085]
优选的，所述在该算力引擎面内训练联邦模型的各子模型从本地的训练数据集中的样本获取中间结果并根据各参与网元的中间结果更新各子模型的模型参数包括：在所述算力引擎面内通过各参与网元上部署的子模型对本地的训练数据集中的样本获取中间结果并按预设传递规则传递到对应的参与网元中；在所述算力引擎面内根据各参与网元上部署的子模型获取的各样本对应中间结果和各样本对应的标签值计算联邦模型的等效损失和梯度求解系数，所述中间结果包括中间预测值；在所述算力引擎面内根据梯度求解系数和参与网元上部署的子模型的中间预测值计算各子模型对应的梯度值；各参与网元根据其子模型对应的梯度值对自身的权重参数进行更新。预测任务例如是根据采集的用户对应的用户数据预测用户的兴趣偏好或者用户类型。确定了预测任务后，根据对应的用户数据样本和标签组成的训练数据集对算力引擎面的联邦模型进行训练。而且，对算力引擎面的联邦模型进行训练包括初始训练和更新训练。初始训练是首次确定某个预测任务时针对该预测任务初始构建联邦模型执行的训练。更新训练是在初始训练之后，部署联邦模型的各个参与网元继续收集用户数据，并周期性或者根据指示在后期根据更新的用户数据生成的训练数据集对联邦模型进行更新的训练。
[0086]
根据本发明的一个实施例，为了数据安全和用户隐私，所述智能化的移动通信网络系统被配置为：通过核心网网元和边缘计算网元分别采集自身在运作过程中的用户数据用于生成原始用户数据保存在本地，通过数据协议限制在核心网网元之间、边缘计算网元之间和/或核心网网元与边缘计算网元之间彼此直接交互原始用户数据的部分或者全部数据。根据本发明的一个实施例，核心网网元采集的数据包括用户的鉴权数据、用户与网络运营商的签约数据、用户与网络运营商的订购数据中的一项或者多项数据。边缘计算网元采
集的数据包括用户在应用程序的行为历史数据。所述行为历史数据包括浏览行为历史数据和/或购买行为历史数据。并且，核心网网元和边缘计算网元在采集到的自身的原始用户数据后，不会上传到任意的第三方，以保障用户数据隐私和安全。由于不同的参与网元的原始用户数据中可能涉及到多个不同用户，一些用户是不一致的，不能用于训练联邦模型，因此需要进行用户对齐。
[0087]
出于更多训练样本可使联邦模型的模型性能更优这方面的考虑，可选的，所述智能化的移动通信网络系统被配置为：在该算力引擎面内对各参与网元采集的原始用户数据内的用户进行用户对齐，在该算力引擎面的各参与网元本地生成其自身的训练数据集。该方式是直接把所有参与网元中的相同用户进行用户对齐，对齐后，算力引擎面内各参与者有多少个共同的用户，则每个子模型对应的训练集内就会有多少条训练样本，以尽可能丰富训练数据，提高联邦模型的性能。例如，简化来说，假设由核心网网元、第一边缘计算网元和第二边缘计算网元构建了一个算力引擎面，其中，通信运营商在核心网网元采集了用户a、b、c、d、e、f的用户数据，通信运营商在第一边缘计算网元采集了用户a、b、d、e、f的用户数据，内容提供商在第二边缘计算网元采集了用户b、c、e、f的数据，进行对齐后，各参与网元会利用原始用户数据中用户b、e、f的用户数据建立训练数据集。
[0088]
由于核心网网元和边缘计算网元上收集的原始用户数据对应的用户可能分属不同的通信运营商和内容提供商所有，而通信运营商和内容提供商出于更高的数据安全或者用户隐私方面的考虑，可能不期望贡献一些用户数据用于训练联邦模型。因此，可选的，所述智能化的移动通信网络系统被配置为：获取至少一个通信运营商和至少一个内容提供商共同确定的预测任务以及执行该预测任务的多个参与网元；根据执行该预测任务的多个参与网元组建执行该预测任务的算力引擎面；获取所述至少一个通信运营商和至少一个内容提供商各自确定的可用于优化在算力引擎面中部署的联邦模型的可贡献用户；在该算力引擎面内仅对各参与网元采集的原始用户数据内的可贡献用户进行用户对齐，在该算力引擎面的各参与网元本地生成其自身的训练数据集。例如，简化来说，假设由核心网网元、第一边缘计算网元和第二边缘计算网元构建了一个算力引擎面，其中，通信运营商在核心网网元采集了用户a、b、c、d、e、f的用户数据，通信运营商在第一边缘计算网元采集了用户a、b、d、e、f的用户数据，内容提供商在第二边缘计算网元采集了用户b、c、e、f的数据，通信运营商提供的可贡献用户为a、b、d、e，内容提供商提供的可贡献用户为b、c和e，则进行对齐后，会利用原始用户数据中用户b和e的用户数据建立训练数据集。
[0089]
根据本发明的一个实施例，参见图2，由于智能化的移动通信网络系统中，针对不同的用户群体存在不同的预测需求。因此，所述智能化的移动通信网络系统被配置为：接收根据不同预测需求自定义设置的多个不同的预测任务；从多个核心网网元和多个边缘计算网元中分别为多个不同的预测任务确定多个不同的算力引擎面；在不同的算力引擎面中分别建立用于执行对应预测任务的联邦模型。优选的，例如，针对某个区域的消费者，建立对应的算力引擎面ce1，基于该算力引擎面ce1建立的联邦模型预测这些消费者的消费能力或者消费习惯。又例如，针对某个区域的视频用户，建立对应的算力引擎面ce2，基于该算力引擎面ce2建立的联邦模型预测这些视频用户的观看偏好。再例如，针对某个区域的浏览器用户，建立对应的算力引擎面ce3，基于该算力引擎面ce3建立的联邦模型预测这些浏览器用户的浏览兴趣偏好。优选的，所述智能化的移动通信网络系统被配置为：不同的算力引擎面
中的联邦模型彼此独立部署和更新。该实施例的技术方案至少能够实现以下有益技术效果：在智能化的移动通信网络系统中建立不同的算力引擎面，根据该算力引擎面部署的联邦模型完成针对不同用户群体的不同的预测需求，提高用户体验。
[0090]
根据本发明的一个实施例，每个核心网网元上部署有多个微服务。例如，核心网网元是5gc或未来出现的其他通信技术中以微服务架构部署的核心网网元。其中，所述多个微服务包括：网络数据分析功能模块对应的微服务，用于部署算力引擎面中核心网网元上的联邦模型的子模型；以及第三方协作模块，用于提供可信的第三方数据加解密服务以保障算力引擎面内的数据交互过程。优选的，所述智能化的移动通信网络系统被配置为：在算力引擎面内，核心网网元从其上部署的第三方协作模块获取公钥，并分发到该算力引擎面内的各个参与网元，用于在用户对齐和传递联邦模型所需的数据时对传递的数据进行同态加密，所述传递的数据包括用户id和/或中间结果。
[0091]
在这种联邦学习机制下，算力引擎面的每个参与网元的身份和地位是相同的，需要进行用户对齐，即对齐用户id，用户对齐后，存在：
[0092][0093]
其中，p表示参与网元p，q表示参与网元q，x
p
表示训练数据集中作为输入参与网元p中部署的子模型的特征参数，x
q
表示训练数据集中作为输入参与网元q中部署的子模型的特征参数，i
p
表示训练数据集中的用户id集，表示任意，i
q
表示训练数据集中的用户id集。总的来说，该式表示对于任意的两个参与网元而言，在用户对齐后，训练数据集中所有训练样本归属的用户id组成的用户id集是一致的。在算力引擎面中，各参与网元针对一个用户共同构建一个预测结果。优选的，在核心网网元中存储预测任务对应的标签空间。例如，在边缘计算网元的本地训练数据集的针对用户i的训练样本中仅有输入特征，而没有标签，而核心网网元的本地训练数据集的针对用户i的训练样本中包括输入特征和对应的标签。
[0094]
假设学习率为α，正则化参数为λ，边缘计算网元至的训练数据集为而核心网网元(例如5gc)对应的训练数据集是对应的，联邦模型的子模型的权重参数是和θ
core
并且这些权重参数分别对应于和的特征空间。为了简化，在后续的公式中，不带下标的k可以表示k1～k
m
‑1中任一个，k
′
可以表示除k外的任一值。由于在用户对齐后，样本中的用户id一致，系统对某一确定目标优化，具有对应的标签y
i
。
[0095]
训练目标由线性回归函数表示：
[0096][0097]
同时，为了防止过拟合，可以为该线性回归函数添加正则化项，例如，选择l2正则
化则训练目标可以进一步表示为：
[0098][0099]
其中，n表示训练样本数，m表示所有参与网元的数量，由于为正数，且和均是平方和，故也为非负数，所以对f(θ
k
,θ
core
)求最小等效损失等同于对求最小值。令为等效损失，
[0100]
因此，优选的，所述等效损失可以按照以下公式计算：
[0101][0102]
其中，表示同态加密，表示边缘计算网元k的训练数据集中用户i对应的训练样本的中间预测值，θ
k
表示边缘计算网元k上部署的子模型的权重参数，表示边缘计算网元k的训练数据集中用户i对应的训练样本的特征值，表示核心网网元的训练数据集中用户i对应的训练样本的中间预测值，θ
core
表示核心网网元上部署的子模型的权重参数，表示核心网网元的训练数据集中用户i对应的训练样本的特征值，m表示所有参与网元的数量，m≥3，y
i
表示用户i对应的训练样本的标签对应的真值，λ表示正则化参数。
[0103]
此外，对以上公式进行展开，等效损失也可以按照以下公式计算：
[0104][0104]
或者
[0105][0106]
其中，表示第k
m
‑1个边缘计算网元的训练数据集中用户i对应的训练样本的中间预测值，表示除边缘计算网元k之外的任何一个边缘计算网元的训练数据集中用户i对应的训练样本的中间预测值。
[0107]
参见图3，本发明还提供一种在前述智能化的移动通信网络系统中构建联邦模型的方法，包括：步骤s1、s2、s3、s4、s5、s6、s7、s8。
[0108]
步骤s1：从多个核心网网元和多个边缘计算网元中选定多个参与网元组建用于执行预测任务的算力引擎面，其中，多个参与网元包括核心网网元以及与之通信连接的至少两个边缘计算网元。
[0109]
步骤s2：通过第三方协作模块向该算力引擎面的各参与网元分发公钥。优选的，第三方协作模块可以部署在核心网网元上。
[0110]
根据本发明的一个实施例，第三方协作模块可以是核心网网元上部署的用于生成公钥和对应的私钥组成的非对称秘钥对的微服务。核心网网元可以通过程序调用接口调用第三方协作模块生成对应的非对称秘钥对和/或进行数据解密。可选的，第三方协作模块可以生成一个非对称秘钥对，在后续步骤s3和s4中均采用该非对称秘钥对的公钥。或者，第三方协作模块可以生成多个非对称秘钥对，其中的公钥在后续步骤s3和s4中分别采用不同非对称秘钥对中的不同的公钥。例如，所述第三方协作模块向所述核心网网元和所述边缘计算网元分发第一公钥和第二公钥。例如，第三方协作模块根据rsa非对称加密算法生成第一密钥对和/或第二秘钥对。第一密钥对包括第一公钥和第一私钥。第二秘钥对包括第二公钥和第二私钥。第三方协作模块将第一公钥发送给核心网网元和边缘计算网元。第一公钥用于对原始用户数据内的用户进行加密对齐。第三方协作模块将第二公钥发送给核心网网元和边缘计算网元。第二公钥用于对样本提取同态加密的中间结果。该实施例的技术方案至少能够实现以下有益技术效果：本发明用部署核心网网元上的可信的第三方协作模块生成的非对称秘钥对中的公钥分发给不同的参与网元，便于各参与网元安全地对后续要交互的数据进行加密，保障用户数据的安全传递。
[0111]
步骤s3：以公钥作为加密参数，对该算力引擎面的各参与网元采集的原始用户数据内的用户进行加密对齐，在各参与网元本地生成其自身的训练数据集；
[0112]
根据本发明的一个实施例，所述步骤s3包括：s31、各边缘计算网元通过预设的单向加密算法对自身本地的数据集中样本对应的用户id进行加密得到单向加密用户id集，用公钥加密单向加密用户id集得到公钥加密用户id集并发送给第三方协作模块；s32、第三方协作模块通过公钥对应的私钥对各边缘计算网元的加密用户id集进行解密得到各边缘计算网元的单向加密用户id集并发送给核心网网元；s33、核心网网元对自身本地的数据集中样本对应的用户id进行哈希映射后得到核心网网元的单向加密用户集并与所有边缘计算网元的单向加密用户id集求交集，得到共有用户对应的单向加密用户id；s34、各参与网元根据所述共有用户对应的单向加密用户id提取对应的训练样本作为各参与网元的训练数
据集。优选的，预设的单向加密算法包括哈希算法、hmac算法、sha算法或者其组合。假设第三方协作模块发送了第一公钥和第二公钥。此处用户对齐采用第一公钥，单向加密算法采用哈希算法，则步骤s3包括：s31’、各边缘计算网元通过哈希算法对自身本地的数据集中样本对应的用户id进行哈希映射得到哈希加密用户id集，用第一公钥加密哈希加密用户id集得到公钥加密用户id集并发送给第三方协作模块；s32’、第三方协作模块通过第一公钥对应的第一私钥对各边缘计算网元的加密用户id集进行解密得到各边缘计算网元的哈希加密用户id集并发送给核心网网元；s33’、核心网网元对自身本地的数据集中样本对应的用户id进行哈希映射后得到核心网网元的哈希加密用户集并与所有边缘计算网元的哈希加密用户id集求交集，得到共有用户对应的哈希加密用户id；s34’、各参与网元根据所述共有用户对应的哈希加密用户id提取对应的训练样本作为各参与网元的训练数据集。
[0113]
根据本发明的一个实施例，所述方法还包括：接收至少一个通信运营商和至少一个内容提供商各自确定的可用于优化联邦模型的可贡献用户，仅对各参与网元采集的原始用户数据内的可贡献用户进行加密对齐，得到用于优化联邦模型的目标用户。
[0114]
根据本发明的一个实施例，参见图4，假设联邦模型的子模型分别部署在核心网网元(如5gc)和多个边缘计算网元(如mec 1、
……
、mec n)上。核心网网元包括网络数据分析功能模块nwdaf和第三方协作模块。第三方协作模块用于采用基于rsa
‑
md5混合加密算法的用户对齐方法，非对称加密使用公钥/私钥两个密钥，公钥可以任意分发而私钥保密，解决了对称加中密钥交换问题，保障安全的密钥交换，同时采用md5 hash算法对用户id进行哈希加密。如图5所示，一个示意性的用户对齐过程可以分成以下三个步骤：
[0115]
第一步：5gc利用rsa非对称算法生成样本id所需要的私钥和公钥对，同时将私钥保存在本地，并向所有mec网元发送生成后的公钥。
[0116]
第二步：mec网元通过约定的md5哈希算法将本地样本id进行映射，并使用5gc的公钥进行样本id加密，以此生成加密后的mec样本集，并将整个样本集发送至5gc。
[0117]
第三步：5gc收到相应的加密样本集后，通过本地私钥进行解密，再采用相同的哈希算法对本地样本id进行哈希映射，与收集的样本进行对应匹配，并把匹配后的样本id通知给所有mec网元。
[0118]
步骤s4：以公钥作为加密参数，对该算力引擎面的各参与网元通过其子模型对本地的训练数据集中的样本以同态加密的方式获取中间结果，所述中间结果包括中间预测值。
[0119]
步骤s5：根据该算力引擎面的各参与网元提取的中间结果计算等效损失和梯度求解系数。
[0120]
步骤s6：该算力引擎面的各参与网元上部署的子模型分别根据梯度求解系数和自身的中间预测值计算梯度值并发送给第三方协作模块。
[0121]
根据本发明的一个实施例，所述步骤s6包括：s61、根据预设的掩码算法为不同的参与网元获取不同的掩码；s62、每个参与网元根据梯度求解系数和自身的中间的预测值计算梯度值；s62、每个参与网元将自身的梯度值加上掩码得到的带掩码的梯度值发送给第三方协作模块。掩码算法可以采用随机函数(random函数)来生成随机掩码。该实施例的技术方案至少能够实现以下有益技术效果：为梯度值加上掩码后，第三方协作模块在解密后得到的也是带掩码的梯度值，而不是真实的梯度值，可以保障数据安全。
[0122]
步骤s7：第三方协作模块根据公钥对应的私钥解密等效损失和每个参与网元的梯度值并对应地反馈给各个参与网元。
[0123]
步骤s8：该算力引擎面的各参与网元根据第三方协作模块反馈的梯度值对自身的权重参数进行更新。
[0124]
根据本发明的一个实施例，所述步骤s8包括：s81、每个参与网元将第三方协作模块发来的带掩码的梯度值减去该参与网元对应的掩码，得到真实的梯度值；s82、每个参与网元更新其权重参数，其中，新的权重参数等于原来的权重参数减去学习率乘以真实的梯度值。
[0125]
根据本发明的一个示例：本发明在具体实施过程中主要包括以下几个步骤：
[0126]
t1、数据采集。数据是无线系统的驱动力，采集相关数据建立训练所需要的数据集。
[0127]
t2、算力选择。选择区域内的多个边缘计算节点，所服务的用户有较大的重合性，比如包含生产、生活、休闲等设施的社区或工业厂区中的边缘节点以及核心网节点。
[0128]
t3、算法实现。算法实现基于纵向联邦学习，一个示意性训练步骤如下表1所示，其中第三方协作模块单独从核心网网元中单独分列出来，以便于观察加解密的过程。
[0129]
表1基于纵向联邦学习的联邦模型的示意性训练步骤
[0130]
[0131][0132]
从前面的多个实施例可以看出，对于中间结果的具体传递形式，可以有多种选择，下面给出几种示意性的方式：
[0133]
中间结果的可选形式一：
[0134]
中间结果包括每个参与网元上部署的子模型的中间预测值以及根据子模型当前的权重参数计算的正则化项。
[0135]
参见以下公式来说明：
[0136][0137]
u表示中间预测值，表示边缘计算网元k的训练数据集中用户i对应的训练样本的中间预测值，表示核心网网元的训练数据集中用户i对应的训练样本的中间预测值，表示根据边缘计算网元k上部署的子模型当前的权重参数计算的正则化项，表示根据核心网网元上部署的子模型当前的权重参数计算的正则化项。
[0138]
所有的边缘计算网元可以将包括和的中间结果发送给核心网网元，由核心网网元基于自身的中间结果和所有的边缘计算网元的中间结果来计算等效损失和/或梯度求解系数。
[0139]
中间结果的可选形式二：
[0140]
中间结果包括每个参与网元上部署的子模型的中间预测值、每个子模型的子损失和每两个子模型之间的联合损失。
[0141]
参见以下公式来说明：
[0142][0143]
表示边缘计算网元k对应的子损失，表示核心网网元对应的子损失，表示边缘计算网元k和其他边缘计算网元k
′
对应的联合损失，表示边缘计算网元k和核心网网元对应的联合损失。
[0144]
可选的，边缘计算网元可以根据自身的中间预测值和当前的权重参数计算自身的子损失并发送给核心网网元；边缘计算网元之间可以彼此间传递中间预测值用于计算每两个边缘计算网元对应的联合损失并发送给核心网网元；核心网网元可以根据自身的中间预测值和当前的权重参数计算自身的子损失；核心网网元可以根据任一边缘计算网元的中间预测值以及自身的中间预测值计算边缘计算网元和核心网网元的联合损失。
[0145]
可选的，在前一个可选的方式中，边缘计算网元之间也可以彼此间不传递中间预测值不由边缘计算网元来分布地计算两个边缘计算网元对应的联合损失。因为核心网网元获得了所有的边缘计算网元上部署的子模型的中间预测值，可以由核心网网元来计算每两个边缘计算网元对应的联合损失。由此，可以进一步减少通信量，以及进一步降低数据泄露的风险。
[0146]
本发明还提供一种在前述智能化的移动通信网络系统中执行的预测方法，该方法包括：获取算力引擎面内任意参与网元发送的对特定用户的预测请求；响应于所述预测请求，由该算力引擎面的核心网网元向该算力引擎面的各个参与网元发出联邦任务协作请求；由该算力引擎面内的联邦模型的各子模型从本地的原始用户数据中的特定用户的用户数据获取中间结果并根据各参与网元的中间结果获得预测结果。
[0147]
需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。
[0148]
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
[0149]
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd
‑
rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
[0150]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

技术特征：
1.一种智能化的移动通信网络系统，其特征在于，包括：多个核心网网元，用于提供用户鉴权和数据路由；多个边缘计算网元，用于为用户提供边缘服务；所述智能化的移动通信网络系统被配置为：从多个核心网网元和多个边缘计算网元中选定多个参与网元组建用于执行预测任务的算力引擎面，其中，多个参与网元包括核心网网元以及与之通信连接的至少两个边缘计算网元；在该算力引擎面内部署联邦模型，其中每个参与网元上部署该联邦模型的一个子模型；在该算力引擎面内训练联邦模型的各子模型根据本地的训练数据集中的用户数据样本获取中间结果并根据各参与网元的中间结果更新各子模型的模型参数。2.根据权利要求1所述的智能化的移动通信网络系统，其特征在于，所述智能化的移动通信网络系统被配置为：在算力引擎面内用训练好的联邦模型对特定的用户进行预测，得到预测结果。3.根据权利要求1所述的智能化的移动通信网络系统，其特征在于，所述在该算力引擎面内训练联邦模型的各子模型从本地的训练数据集中的样本获取中间结果并根据各参与网元的中间结果更新各子模型的模型参数包括：在所述算力引擎面内通过各参与网元上部署的子模型对本地的训练数据集中的样本获取中间结果并按预设传递规则传递到对应的参与网元中，所述中间结果至少包括中间预测值；在所述算力引擎面内根据各参与网元上部署的子模型提取的各样本对应中间结果和各样本对应的标签值计算联邦模型的等效损失和梯度求解系数；在所述算力引擎面内根据梯度求解系数和参与网元上部署的子模型的中间预测值计算各子模型对应的梯度值；各参与网元根据其子模型对应的梯度值对自身的权重参数进行更新。4.根据权利要求3所述的智能化的移动通信网络系统，其特征在于，在算力引擎面内，不同参与网元的数据库中有部分用户重叠但彼此获取的用户数据不同或者不完全相同。5.根据权利要求3所述的智能化的移动通信网络系统，其特征在于，所述智能化的移动通信网络系统被配置为：通过核心网网元和边缘计算网元分别采集自身在运作过程中的用户数据用于生成原始用户数据保存在本地，通过数据协议限制在核心网网元之间、边缘计算网元之间和/或核心网网元与边缘计算网元之间彼此直接交互原始用户数据的部分或者全部数据。6.根据权利要求5所述的智能化的移动通信网络系统，其特征在于，获取至少一个通信运营商和至少一个内容提供商共同确定的预测任务以及执行该预测任务的多个参与网元；根据执行该预测任务的多个参与网元组建执行该预测任务的算力引擎面；获取所述至少一个通信运营商和至少一个内容提供商各自确定的可用于优化在算力引擎面中部署的联邦模型的可贡献用户；
在该算力引擎面内仅对各参与网元采集的原始用户数据内的可贡献用户进行用户对齐，在该算力引擎面的各参与网元本地生成其自身的训练数据集。7.根据权利要求1至6任一项所述的智能化的移动通信网络系统，其特征在于，所述智能化的移动通信网络系统被配置为：接收根据不同预测需求自定义设置的多个不同的预测任务；从多个核心网网元和多个边缘计算网元中分别为多个不同的预测任务确定多个不同的算力引擎面；在不同的算力引擎面中分别建立用于执行对应预测任务的联邦模型。8.根据权利要求7所述的智能化的移动通信网络系统，其特征在于，所述智能化的移动通信网络系统被配置为：不同的算力引擎面中的联邦模型彼此独立部署和更新。9.根据权利要求7所述的智能化的移动通信网络系统，其特征在于，每个核心网网元上部署有多个微服务，其中，所述多个微服务包括：网络数据分析功能模块对应的微服务，用于部署算力引擎面中核心网网元上的联邦模型的子模型；以及第三方协作模块，用于提供可信的第三方数据加解密服务以保障算力引擎面内的数据交互过程。10.根据权利要求9所述的智能化的移动通信网络系统，其特征在于，所述智能化的移动通信网络系统被配置为：在算力引擎面内，核心网网元从其上部署的第三方协作模块获取公钥，并分发到该算力引擎面内的各个参与网元，用于在用户对齐和传递联邦模型所需的数据时对传递的数据进行同态加密，所述传递的数据包括用户id和中间结果。11.根据权利要求3至6任一项所述的智能化的移动通信网络系统，其特征在于，所述等效损失按照以下公式计算：其中，表示同态加密，表示边缘计算网元k的训练数据集中用户i对应的训练样本的中间预测值，θ
k
表示边缘计算网元k上部署的子模型的权重参数，表示边缘计算网元k的训练数据集中用户i对应的训练样本的特征值，表示核心网网元的训练数据集中用户i对应的训练样本的中间预测值，θ
core
表示核心网网元上部署的子模型的权重参数，表示核心网网元的训练数据集中用户i对应的训练样本的特征值，m表示所有参与网元的数量，m≥3，y
i
表示用户i对应的训练样本的标签对应的真值，λ表示正则化参数。12.根据权利要求3至6任一项所述的智能化的移动通信网络系统，所述梯度求解系数按照以下公式计算：
13.根据权利要求3至6任一项所述的智能化的移动通信网络系统，其特征在于，核心网网元和边缘计算网元分别根据以下公式计算梯度值：核心网网元：边缘计算网元：14.一种在权利要求1至13任一项所述的智能化的移动通信网络系统中构建联邦模型的方法，其特征在于，包括：s1、从多个核心网网元和多个边缘计算网元中选定多个参与网元组建用于执行预测任务的算力引擎面，其中，多个参与网元包括核心网网元以及与之通信连接的至少两个边缘计算网元；s2、通过第三方协作模块向该算力引擎面的各参与网元分发公钥；s3、以公钥作为加密参数，对该算力引擎面的各参与网元采集的原始用户数据内的用户进行加密对齐，在各参与网元本地生成其自身的训练数据集；s4、以公钥作为加密参数，对该算力引擎面的各参与网元通过其子模型对本地的训练数据集中的样本以同态加密的方式获取中间结果，所述中间结果包括中间预测值；s5、根据该算力引擎面的各参与网元提取的中间结果计算等效损失和梯度求解系数；s6、该算力引擎面的各参与网元上部署的子模型分别根据梯度求解系数和自身的中间预测值计算梯度值并发送给第三方协作模块；s7、第三方协作模块根据公钥对应的私钥解密等效损失和每个参与网元的梯度值并对应地反馈给各个参与网元；s8、该算力引擎面的各参与网元根据第三方协作模块反馈的梯度值对自身的权重参数进行更新。15.一种在权利要求1至13任一项所述的智能化的移动通信网络系统中执行的预测方法，其特征在于，该方法包括：获取算力引擎面内任意参与网元发送的对特定用户的预测请求；响应于所述预测请求，由该算力引擎面的核心网网元向该算力引擎面的各个参与网元发出联邦任务协作请求；由该算力引擎面内的联邦模型的各子模型从本地的原始用户数据中的特定用户的用户数据获取中间结果并根据各参与网元的中间结果获得预测结果。
技术总结
本发明提供一种智能化的移动通信网络系统，包括多个核心网网元，用于提供用户鉴权和数据路由；多个边缘计算网元，用于为用户提供边缘服务；所述智能化的移动通信网络系统被配置为：从多个核心网网元和多个边缘计算网元中选定多个参与网元组建用于执行预测任务的算力引擎面，其中，多个参与网元包括核心网网元以及与之通信连接的至少两个边缘计算网元；在该算力引擎面内部署联邦模型，其中每个参与网元上部署该联邦模型的一个子模型；在该算力引擎面内训练联邦模型的各子模型根据本地的训练数据集中的用户数据样本获取中间结果并根据各参与网元的中间结果更新各子模型的模型参数。本发明可以低数据传输成本，解决数据孤岛问题，更好地为用户服务。更好地为用户服务。更好地为用户服务。


技术研发人员：袁春经 陈宇 田霖 石晶林
受保护的技术使用者：中国科学院计算技术研究所
技术研发日：2021.03.25
技术公布日：2021/6/29