一种用于联邦学习的系统

专利2026-05-03  14


本发明涉及人工智能领域,具体来说涉及机器学习,更具体地说,涉及一种用于联邦学习的系统。


背景技术:

1、近年来,人工智能技术突飞猛进,尤其是以chatgpt为代表的大模型、多模态模型的快速发展,不仅对算力提出了更高的要求,同时也对数据规模和质量提出了更严格的标准。但因为数据安全、隐私、监管或者公司战略发展等因素,海量、优质的数据分散在各单位、公司内部,无法直接共享共用。

2、在此背景下,出现了以联邦学习为训练机制的机器学习框架,如联邦学习框架fate(federated ai technology enabler)、flower等,都是目前业内比较流行、成熟的联邦学习框架。在训练过程中,联邦学习机制通过数据不动模型动,通过各个联邦方之间共享模型参数或梯度的方式,最终实现数据可用不可见,极大地缓解了数据隐私、数据安全保护等问题。

3、联邦学习机制虽然在理论上保证了模型训练过程中数据的安全性、隐私性,但并未考虑如何保证各联邦方安全互信、保证各个联邦方应用服务的安全性等方面的问题。同时,比起传统机器学习模型,联邦学习的分布式特性使其面临更为复杂、严峻的安全威胁。但现有的解决方案中,各个联邦框架仍然采用传统的基于边界的安全模型,虽然边界外设备访问数据受限,但边界内设备通过安全检查后被认为是可信性的,可信的边界内设备可进行开放的访问,实际访问的数据难以管控,数据安全无法得到充分保证。

4、需要说明的是:本背景技术仅用于介绍本发明的相关信息,以便于帮助理解本发明的技术方案,但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开,在没有证据表明相关信息已在本发明的申请日以前公开的情况下,相关信息不应被视为现有技术。


技术实现思路

1、因此,本发明的目的在于克服上述现有技术的缺陷,提供一种用于联邦学习的系统。

2、本发明的目的是通过以下技术方案实现的:

3、在本发明的一些实施例中,提供一种用于联邦学习的系统,包括:中心端管理模块,用于部署在中心端计算设备上,其被配置为:执行联邦任务相关的一个或者多个指令,根据预设的联邦学习框架进行联邦任务的调度和对应模型的参数聚合,其中,根据单个联邦任务的粒度和授权,分别赋予每个联邦任务访问对应联邦方计算设备上至少部分隐私数据资源的权限,并在联邦任务结束后即时撤销对应的权限;零信任代理模块,用于部署在参与联邦任务的联邦方计算设备上,其能执行联邦任务相关的一个或者多个指令,以根据中心端模块赋予联邦任务的权限,受控地访问本地存储的对应隐私数据资源,根据预设的联邦学习框架完成对应模型的训练和推理过程。

4、可选的,所述中心端管理模块包括:零信任认证组件,被配置为提供零信任认证机制,以赋予联邦任务相关的多种资源对应的身份标识以用于身份确认;零信任授权组件,被配置为提供零信任授权机制,以对访问资源的行为进行授权;零信任网关组件,被配置为向联邦方计算设备提供调度联邦学习的服务,作为中心端计算设备和联邦方计算设备间的交互端口,为任意联邦方计算设备发起的每个联邦任务执行请求所能访问的资源进行零信任授权和认证。

5、可选的,所述中心端管理模块,还被配置为:对不同类型的隐私数据资源进行分级管控,将属于不同级别的隐私数据资源使用不同的访问控制措施。

6、可选的,隐私数据资源的类型包括:静态的数据集、算法、模型、联邦任务和元信息资源,以及动态的联邦任务执行请求,其中,所述模型是所述算法经过所述数据集训练得到的产物,元信息资源包括用于描述数据集、算法、模型和/或联邦任务的信息,其中:数据集和模型为一级隐私数据资源,算法、联邦任务和联邦任务执行请求为二级隐私数据资源,元信息资源为三级隐私数据资源,从三级隐私数据资源至一级隐私数据资源对应的访问控制措施的严格程度逐渐增加。

7、可选的,所述中心端管理模块被配置为:在收到联邦任务执行请求后,根据预设的联邦准入控制策略,获取需要参与联邦任务的各个联邦方计算设备执行联邦任务的能力与各个隐私数据资源所有者的审批状态;仅在所述各个联邦方计算设备具备执行联邦任务的能力,并且,所述各个隐私数据资源所有者的审批状态均为同意参与联邦任务之时,即时授予访问对应隐私数据资源的权限。

8、可选的,所述中心端管理模块被配置为:通过所述零信任代理模块获取各联邦方计算设备上数据集的元信息资源;根据数据集的元信息资源和用户发送的联邦配置文件,驱动相关联邦方计算设备根据联邦学习框架共同执行联邦任务。

9、可选的,联邦方用户通过联邦方计算设备创建、访问隐私数据资源、发起联邦任务执行请求时,均需要通过零信任网关组件与零信任认证组件和零信任授权组件进行通信,进行资源的认证和授权。

10、可选的,零信任认证组件被配置为:通过短生命周期的x.509证书提供主体的身份标识,x.509证书中可包含资源的类型、资源uri、该主体所属的角色和联邦方信息,其中,主体为计算设备或者各个隐私数据资源。

11、可选的,零信任授权组件被配置为:针对静态隐私数据资源,使用基于角色的访问控制,以确定角色能访问的静态隐私数据资源;针对动态隐私数据资源,使用基于角色的访问控制和联邦任务执行请求进行资源的即时授权和用后撤权。

12、可选的,所述联邦准入控制策略包括:参与联邦任务的各个联邦方应保证所提供的数据集的数据组织格式和数据类型一致、使用的联邦算法一致、数据质量符合要求和网络质量符合要求或者其组合。



技术特征:

1.一种用于联邦学习的系统,包括:

2.根据权利要求1所述的系统,其特征在于,所述中心端管理模块包括:

3.根据权利要求2所述的系统,其特征在于,所述中心端管理模块,还被配置为:对不同类型的隐私数据资源进行分级管控,将属于不同级别的隐私数据资源使用不同的访问控制措施。

4.根据权利要求3所述的系统,其特征在于,隐私数据资源的类型包括:静态的数据集、算法、模型、联邦任务和元信息资源,以及动态的联邦任务执行请求,其中,所述模型是所述算法经过所述数据集训练得到的产物,元信息资源包括用于描述数据集、算法、模型和/或联邦任务的信息,其中:

5.根据权利要求2所述的系统,其特征在于,所述中心端管理模块被配置为:

6.根据权利要求2所述的系统,其特征在于,所述中心端管理模块被配置为:

7.根据权利要求2所述的系统,其特征在于,联邦方用户通过联邦方计算设备创建、访问隐私数据资源、发起联邦任务执行请求时,均需要通过零信任网关组件与零信任认证组件和零信任授权组件进行通信,进行资源的认证和授权。

8.根据权利要求7所述的系统,其特征在于,零信任认证组件被配置为:通过短生命周期的x.509证书提供主体的身份标识,x.509证书中可包含资源的类型、资源uri、该主体所属的角色和联邦方信息,其中,主体为计算设备或者各个隐私数据资源。

9.根据权利要求7所述的系统,其特征在于,零信任授权组件被配置为:

10.根据权利要求7所述的系统,其特征在于,所述联邦准入控制策略包括:


技术总结
本发明提供了一种用于联邦学习的系统,包括:中心端管理模块,用于部署在中心端计算设备上,被配置为:执行联邦任务相关的一个或者多个指令,根据预设的联邦学习框架进行联邦任务的调度和对应模型的参数聚合,根据单个联邦任务的粒度和授权,分别赋予每个联邦任务访问对应联邦方计算设备上至少部分隐私数据资源的权限,并在任务结束后即时撤销权限;零信任代理模块,用于部署在参与联邦任务的联邦方计算设备上,以根据中心端模块赋予联邦任务的权限,受控地访问本地存储的对应隐私数据资源,根据预设的联邦学习框架完成对应模型的训练和推理过程;本发明通过联邦任务级别的资源访问即时授权和用后撤权,保障联邦学习过程中,隐私数据资源的安全。

技术研发人员:陈益强,马兴敏,董帆,蒋鑫龙,赵绪浩
受保护的技术使用者:中国科学院计算技术研究所
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1828967.html

最新回复(0)