本发明涉及一种联邦学习通讯高效方法，属于数据处理。
背景技术：
1、随着硬件性能和数据量的持续提升，深度学习在各个领域取得了令人瞩目的突破。如今，由深度学习赋能的智能应用已经深入到人们日常使用的智能手机、笔记本电脑等移动设备中。然而，预训练好的神经网络往往无法满足用户的个性化需求，同时神经网络本身也需要不断迭代优化。借助用户在使用应用时产生的大量数据来迭代神经网络是一个理想的选择。但是，由于隐私法规的要求以及人们对个人隐私的关注，收集个人数据变得不再现实。因此，如何在满足深度学习网络迭代需求的同时兼顾用户对个人数据隐私的保护，成为了一个关键的矛盾。
2、面对这个难题，联邦学习应运而生，它允许在本地设备上进行模型训练，通过仅交换模型参数实现多个客户端的协作，从而在保护隐私的前提下实现分布式协作学习。这对于移动端应用尤为重要，可以利用海量用户数据进行个性化模型优化，而又不侵犯用户隐私。但是，频繁的模型参数交换也给带宽有限的移动网络带来了沉重的通信压力；特别是如今深度学习模型已变得越来越庞大，即使是5g的带宽也无法承担这样的通讯负担；因此如何在保证学习性能的同时，降低通信成本，是实现边缘设备大规模协同学习的关键；也是获得更强大的深度学习模型所面临的关键挑战。
技术实现思路
1、本发明为解决现有边缘设备大规模协同学习的通信成本较高的问题，进而提出一种基于模型参数差编码的通讯联邦学习方法。
2、本发明为解决上述问题采取的技术方案是：本发明的步骤包括：
3、步骤1、发送方将参数差根据网络结构与参数编码为一组低维张量，并向设备接收方发送该组低维张量；
4、步骤2、若接收方已经具备发送方编码时所采用的网络结构与参数，则无需重复发送，否则，发送该网络结构与参数；
5、步骤3、接收方根据该网络结构与该组低维张量重建更新后的模型参数；
6、步骤4、设备或中央服务器根据重建后的模型，执行本地更新或全局聚合；
7、步骤5、当通讯次数或模型性能等预设指标达到预设要求时，输出结果。
8、进一步的，步骤1中所述参数差是指联邦学习中客户端本地训练前后或当前轮次负责全局聚合的设备在中央聚合前后的模型参数差。
9、进一步的，步骤1中所述网络结构与参数是指该模型更新前的网络结构与参数。
10、进一步的，步骤1中一组低维张量中的每个张量大小与数据集中数据点的大小相同。
11、进一步的，步骤3中的重建方式为将该组低维张量输入编码时使用的网络结构中以得到参数差信息。
12、本发明的有益效果是：
13、1、本发明通过将联邦学习训练中局部\全局模型更新时的参数差编码为一组低维张量，使得在联邦学习训练过程中的通讯损耗由原来的模型大小降低为低维张量的大小，大大降低了联邦学习训练过程中的通讯损耗；
14、2、本发明用于提高联邦学习的通讯效率，对于在边缘设备与中央服务器完成更新后的网络，得到参数差信息后，将参数差编码为低维张量，使得更新前的模型可以根据这一低维张量可以无损/近无损的重建出更新后的模型；
15、3、相比于传统的模型参数压缩，本发明利用深度网络对模型参数差进行高效编码，显著的提高了联邦学习的通讯效率，具有很高的实用价值；
16、4、与传统的fedavg相比，本发明不会延长整体训练时间，相反，它实际上大大缩短了每轮的训练时间，这种改进归因于梯度蒸馏法大大减少了需要传输的数据量，从而缩短了传输所需的时间，并且，本发明可以与局部训练并行执行，此时中央服务器与边缘设备将同时执行梯度蒸馏与训练，减少了设备空闲时间，从而提升计算效率。
1.一种基于模型参数差编码的通讯高效联邦学习方法，其特征在于：所述一种基于模型参数差编码的通讯联邦学习方法的步骤包括：
2.根据权利要求1所述的一种基于模型参数差编码的通讯联邦学习方法，其特征在于：步骤1中所述参数差是指联邦学习中客户端本地训练前后或当前轮次负责全局聚合的设备在中央聚合前后的模型参数差。
3.根据权利要求1所述的一种基于模型参数差编码的通讯联邦学习方法，其特征在于：步骤1中所述网络结构与初始参数是指该模型更新前的网络结构与参数。
4.根据权利要求1所述的一种基于模型参数差编码的通讯联邦学习方法，其特征在于：步骤1中一组低维张量中的每个张量大小与数据集中数据点的大小相同。
5.根据权利要求1所述的一种基于模型参数差编码的通讯联邦学习方法，其特征在于：步骤3中的重建方式为将该组低维张量输入编码时使用的网络结构中以得到参数差信息。
