一种基于区块链与联邦学习的图像识别系统及方法与流程

1.本发明属于工业物联网技术领域，尤其涉及一种基于区块链与联邦学习的图像识别系统及方法。


背景技术：

2.现实生活中，除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现；同时国内外监管环境也在逐步加强数据保护，陆续出台相关政策，因此数据在安全合规的前提下自由流动，成了大势所趋；在用户和企业角度下，商业公司所拥有的数据往往都有巨大的潜在价值，两个公司甚至公司间的部门都要考虑利益的交换，往往这些机构不会提供各自数据与其他公司做与单的聚合，导致即使在同一个公司内，数据也往往以孤岛形式出现。基于以上不足以支撑实现、不允许粗暴交换、不愿意贡献价值三点，导致了现在大量存在的数据孤岛，以及隐私保护问题，联邦学习应运而生。
3.图像识别是人工智能的一个重要领域。图像识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术，并对质量不佳的图像进行一系列的增强与重建技术手段，从而有效改善图像质量。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。图像识别，顾名思义，就是对图像做出各种处理、分析，最终识别我们所要研究的目标。然而，现有研究普遍存在以下问题：
4.(1)各个参与方之间缺乏信任：在物联网场景中，各个传感器设备所监测的数据与用于息息相关，尤其是图像数据更是较为敏感，各个参与方之间由于缺乏相互信任，难以建立可信的协作机制对图像数据进行有效的分析利用。
5.(2)需要大规模的集中式训练数据：当前基于神经网络、深度学习等机器学习的图像识别算法，需要大量的图像数据作为训练集，才能保证模型的精度，而在物联网中，由于设备存储等资源的限制，难以集中提供大规模的训练数据。
6.(3)训练数据的安全与隐私难以保障：由于训练数据会包含用户的敏感信息，可能遭受恶意攻击并面临着严重的数据泄露威胁，而一旦这些敏感数据泄露，将会对物联网用户造成严重的损失。
7.因此，如何针对物联网中资源有限、安全难以保证的特点，建立一套安全可信的物联网协同图像识别机制，加强对数据的安全与隐私保证，提升图像识别的准确率是本发明的研究重点。


技术实现要素：

8.针对现有技术中的上述不足，本发明提供的一种基于区块链与联邦学习的图像识别系统及方法，既保护了用户的隐私，又准确、高效地完成了图像识别任务。
9.为了达到以上目的，本发明采用的技术方案为：
10.本方案提供一种基于区块链与联邦学习的图像识别系统，包括模型构建模块以及
与所述模型构建模块连接的图像识别模块；
11.所述模型构建模块，用于初始化系统，并根据图像采集设备节点和多个区块链节点，利用联邦学习协同生成图像识别预测模型；
12.所述图像识别模块，用于将所述图像识别预测模型发送至图像识别任务节点，并输入本地采集的待识别图像数据，获取识别结果，并执行本地实时检测以及周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别。
13.本发明的有益效果是：本发明通过引入区块链，在互不可信的分布式物联网设备之间建立一套可信的协作机制，实现分布式的图像协同识别。其次，通过利用联邦学习算法，在分布式的物联网设备间，联合学习图像识别的模型，避免了原始数据的集中式传输。最后，通过利用联邦学习所训练的全局模型，物联网设备可以快速高效的在本地完成图像识别任务，在保证数据隐私性的同时，实现了准确的图像识别，以解决当前图像识别准确率低、时延高的问题。
14.基于上述系统，本发明提供了一种基于区块链与联邦学习的图像识别方法，包括以下步骤：
15.s1、构建图像识别预测模型：初始化系统，并根据图像采集设备节点和多个区块链节点，利用联邦学习协同生成图像识别预测模型；
16.s2、图像识别：将所述图像识别预测模型发送至图像识别任务节点，并输入本地采集的待识别图像数据，获取识别结果，并执行本地实时检测以及周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别。
17.本发明的有益效果是：本发明通过联邦学习，将大规模的集中式训练分散为用户端的小规模训练，所需求的硬件资源量大大减少，同时降低了系统的整体时延；利用区块链对模型参数进行记录和认证，避免恶意参数，使联邦学习收敛速度得到提升；通过联邦学习系统，省去了中心化的管理者，避免了第三方服务器所导致的数据泄露风险；通过联邦学习训练模型，聚合不同图像数据，产生智能协同图像识别预测模型，能够有效地识别各种图像数据，以解决当前图像识别准确率低、时延高的问题。
18.进一步地，所述步骤s1包括以下步骤：
19.s101、初始化系统，并将图像采集设备节点在区块链上进行注册；
20.s102、判断图像采集设备节点的身份及授权信息是否真实，若是，则进入步骤s103，否则，返回s101；
21.s103、由图像识别任务请求节点发布计算任务请求，并从所有图像采集设备节点中选出参与计算任务的节点；
22.s104、由参与计算任务的节点依据本地传感器的历史数据参与联邦学习，基于全梯度下降算法训练本地模型；
23.s105、由参与计算任务的节点将所述本地模型的参数通过临近的基站上传至区块链，生成区块链交易记录；
24.s106、引入基于pow共识算法，利用区块链共识机制对所述区块链交易记录进行格式验证，并利用缓存的测试数据对本地模型的训练参数质量进行抽样测试校验，丢弃未通过的模型参数；
25.s107、将通过共识校正后的模型参数，利用区块链节点聚合所有参与计算任务节
点的模型参数，并将聚合后的模型参数写入至区块链中，广播至所有区块链节点；
26.s108、根据所述聚合后的模型参数，利用所有参与计算任务的节点从区块链中获取最新的全局模型；
27.s109、判断所述全局模型是否收敛至预设精度，若是，则进入步骤s1010，否则，返回步骤s104；
28.s1010、将多个基站进行联邦学习，并协同建立图像识别预测模型，并将所述图像识别预测模型发送至图像识别任务请求节点，完成图像识别预测模型的构建。
29.上述进一步方案的有益效果是：本发明通过将区块链和联邦学习引入图像识别，提出了智能协同图像识别预测模型。区块链在互不可信的的用户设备间建立了一种可靠的协作机制，联邦学习则实现了模型的协同训练，从而既保护了用户的隐私，又准确、高效地完成了图像识别任务。
30.再进一步地，所述步骤s108中最新的全局模型的表达式如下：
[0031][0032]
d
i
＝{(x
i,1
,y
i,1
),(x
i,2
,y
i,2
),...,(x
i,n
,y
i,n
)}
[0033]
其中，m
k
表示最新的全局模型，n表示表示本地采集传感器设备的总数，d
i
表示本地传感器的历史数据，x
i,n
,y
i,n
分别表示对应的图像及其识别结果。
[0034]
上述进一步方案的有益效果是：通过利用联邦学习所训练的全局模型，物联网设备可以快速高效的在本地完成图像识别任务，在保证数据隐私性的同时，全局模型集合了多个参与方的训练结果，扩展了模型所基于训练集的范围，实现了准确的图像识别，以解决当前图像识别准确率低、时延高的问题。
[0035]
再进一步地，所述步骤s1010中图像识别预测模型的表达式如下：
[0036][0037]
其中，g(θ)表示图像识别预测模型，k表示参与本次联邦学习的基站总数，g
k
(θ)表示参与联邦学习的基站k根据本地数据获取的本地预测模型。
[0038]
上述进一步方案的有益效果是：本发明通过联邦学习训练模型，聚合不同基站所覆盖区域范围的图像数据，产生智能协同的图像识别预测模型，能够有效地识别各种图像数据，以解决当前图像识别准确率低、时延高的问题。
[0039]
再进一步地，所述步骤s2包括以下步骤：
[0040]
s201、由图像识别任务请求节点接收图像识别预测模型；
[0041]
s202、由图像识别任务请求节点输入本地采集的待识别图像数据，并利用所述图像识别预测模型获取识别结果；
[0042]
s203、由图像识别任务请求节点根据识别结果，执行本地实时检测，并周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别。
[0043]
再进一步地，所述步骤202中识别结果的表达式如下：
[0044][0045]
其中，表示识别结果，g(
·
)表示图像识别任务中请求节点所接收到的模型，θ表示整体模型的精度，d
r
表示本地传感器实时采集的图像数据。
[0046]
上述进一步方案的有益效果是：本发明通过将在图像识别任务请求方一侧运行所接收的全局识别模型，提升了本地图像识别的精度，缩短了图像识别任务的时延，可以实现准确、高效的图像识别。
附图说明
[0047]
图1为本发明的系统结构示意图。
[0048]
图2为本发明的场景示意图。
[0049]
图3为本发明的方法流程图。
具体实施方式
[0050]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0051]
实施例1
[0052]
本发明考虑了以下几个影响物联网图像识别的因素：首先是物联网设备的资源有限，大量数据的传输与分析需要消耗大量的通信及计算资源，较为难以实现；其次是物联网的分布式特点导致集中式的数据分析处理会带来较高的时延开销，难以满足物联网图像识别任务的实时性要求；最后是数据的安全与隐私性，物联网中的终端数据包含大量的敏感信息，一旦泄露，可能造成严重的危害。针对上述问题，本发明设计了一种基于区块链与联邦学习的物联网图像协同识别系统，通过引入区块链，在缺乏信任的分布式物联网场景中，建立了一种安全可靠的协作机制，提升了系统的安全性与数据隐私保护程度。此外，本发明提出了一种基于联邦学习的协同训练机制，在分布式的用户间联合训练图像识别模型，提升了模型的准确率与识别效率。
[0053]
如图1所示，本发明提供了一种基于区块链与联邦学习的图像识别系统，包括模型构建模块以及与模型构建模块连接的图像识别模块；模型构建模块，用于初始化系统，并根据图像采集设备节点和多个区块链节点，利用联邦学习协同生成图像识别预测模型；图像识别模块，用于将所述图像识别预测模型发送至图像识别任务节点，并输入本地采集的待识别图像数据，获取识别结果，并执行本地实时检测以及周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别。
[0054]
本实施例中，如图2所示，本发明应用的工业物联网场景为：任意覆盖网络并具有图像采集设备的区域。图像采集设备在智能协同图像识别系统注册，完成验证，图像识别任务请求节点发布任务，经过筛选的图像识别设备参与计算任务并在本地进行联邦学习，区块链节点聚合联邦学习模型，并在区块链中写入记录，多个区块链节点协同产生智能图像识别预测模型，发出图像识别任务请求的节点接收图像识别预测模型，输入本地采集的图像数据，获取识别结果，执行本地实时识别检测，以解决当前图像识别准确率低、时延高的问题。
[0055]
实施例2
[0056]
如图3所示，本发明提供了一种基于区块链与联邦学习的图像识别方法，其实现方
法如下：
[0057]
s1、构建图像识别预测模型：初始化系统，并根据图像采集设备节点和多个区块链节点，利用联邦学习协同生成图像识别预测模型，其实现方法如下：
[0058]
s101、初始化系统，并将图像采集设备节点在区块链上进行注册；
[0059]
s102、判断图像采集设备节点的身份及授权信息是否真实，若是，则进入步骤s103，否则，返回s101；
[0060]
s103、由图像识别任务请求节点发布计算任务请求，并从所有图像采集设备节点中选出参与计算任务的节点；
[0061]
s104、由参与计算任务的节点依据本地传感器的历史数据参与联邦学习，基于全梯度下降算法训练本地模型；
[0062]
s105、由参与计算任务的节点将所述本地模型的参数通过临近的基站上传至区块链，生成区块链交易记录；
[0063]
s106、引入基于pow共识算法，利用区块链共识机制对所述区块链交易记录进行格式验证，并利用缓存的测试数据对本地模型的训练参数质量进行抽样测试校验，丢弃未通过的模型参数；
[0064]
s107、将通过共识校正后的模型参数，利用区块链节点聚合所有参与计算任务节点的模型参数，并将聚合后的模型参数写入至区块链中，广播至所有区块链节点；
[0065]
s108、根据所述聚合后的模型参数，利用所有参与计算任务的节点从区块链中获取最新的全局模型，其表达式如下：
[0066][0067]
d
i
＝{(x
i,1
,y
i,1
),(x
i,2
,y
i,2
),...,(x
i,n
,y
i,n
)}
[0068]
其中，m
k
表示最新的全局模型，n表示参与的传感器终端采集设备总数，d
i
表示本地传感器的历史数据，x
i,n
,y
i,n
分别表示对应的图像及其识别结果
[0069]
s109、判断所述全局模型是否收敛至预设精度，若是，则进入步骤s1010，否则，返回步骤s104；
[0070]
s1010、将多个基站进行联邦学习，并协同建立图像识别预测模型，并将所述图像识别预测模型发送至图像识别任务请求节点，完成图像识别预测模型的构建，其表达式如下：
[0071][0072]
其中，g(θ)表示图像识别预测模型，k表示系统中参与的基站数目，g
k
(θ)表示基站k所覆盖的网络内所训练的整体图像识别模型。
[0073]
s2、图像识别：将所述图像识别预测模型发送至图像识别任务节点，并输入本地采集的待识别图像数据，获取识别结果，并执行本地实时检测以及周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别，其实现方法如下：
[0074]
s201、由图像识别任务请求节点接收图像识别预测模型；
[0075]
s202、由图像识别任务请求节点输入本地采集的待识别图像数据，并利用所述图像识别预测模型获取识别结果，其表达式如下：
[0076][0077]
其中，表示识别结果，g(
·
)表示所接收到的图像识别模型，θ表示所训练模型的识别精度，d
r
表示请求方本地的待识别图像数据。
[0078]
s203、由图像识别任务请求节点根据识别结果，执行本地实时检测，并周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别。
[0079]
本实施例中，本发明基于联邦学习、区块链和图像识别技术，图像采集设备在智能协同图像识别系统注册，完成验证，图像识别任务请求节点发布任务，经过筛选的图像识别设备参与计算任务并在本地进行联邦学习，区块链节点聚合联邦学习模型参数，并在区块链中写入记录，多个区块链节点协同产生智能图像识别预测模型，发出图像识别任务请求的节点接收图像识别预测模型，输入本地采集的图像数据，获取识别结果，执行本地实时识别检测。本发明通过将区块链和联邦学习引入图像识别，提出了智能协同图像识别预测模型，既保护了用户的隐私，又准确、高效地完成了图像识别任务，以解决当前图像识别准确率低、时延高的问题。

技术特征：
1.一种基于区块链与联邦学习的图像识别系统，其特征在于，包括模型构建模块以及与所述模型构建模块连接的图像识别模块；所述模型构建模块，用于初始化系统，并根据图像采集设备节点和多个区块链节点，利用联邦学习协同生成图像识别预测模型；所述图像识别模块，用于将所述图像识别预测模型发送至图像识别任务节点，并输入本地采集的待识别图像数据，获取识别结果，并执行本地实时检测以及周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别。2.一种基于区块链与联邦学习的图像识别方法，其特征在于，包括以下步骤：s1、构建图像识别预测模型：初始化系统，并根据图像采集设备节点和多个区块链节点，利用联邦学习协同生成图像识别预测模型；s2、图像识别：将所述图像识别预测模型发送至图像识别任务节点，并输入本地采集的待识别图像数据，获取识别结果，并执行本地实时检测以及周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别。3.根据权利要求2所述的基于区块链与联邦学习的图像识别方法，其特征在于，所述步骤s1包括以下步骤：s101、初始化系统，并将图像采集设备节点在区块链上进行注册；s102、判断图像采集设备节点的身份及授权信息是否真实，若是，则进入步骤s103，否则，返回s101；s103、由图像识别任务请求节点发布计算任务请求，并从所有图像采集设备节点中选出参与计算任务的节点；s104、由参与计算任务的节点依据本地传感器的历史数据参与联邦学习，基于全梯度下降算法训练本地模型；s105、由参与计算任务的节点将所述本地模型的参数通过临近的基站上传至区块链，生成区块链交易记录；s106、引入基于pow共识算法，利用区块链共识机制对所述区块链交易记录进行格式验证，并利用缓存的测试数据对本地模型的训练参数质量进行抽样测试校验，丢弃未通过的模型参数；s107、将通过共识校正后的模型参数，利用区块链节点聚合所有参与计算任务节点的模型参数，并将聚合后的模型参数写入至区块链中，广播至所有区块链节点；s108、根据所述聚合后的模型参数，利用所有参与计算任务的节点从区块链中获取最新的全局模型；s109、判断所述全局模型是否收敛至预设精度，若是，则进入步骤s1010，否则，返回步骤s104；s1010、将多个基站进行联邦学习，并协同建立图像识别预测模型，并将所述图像识别预测模型发送至图像识别任务请求节点，完成图像识别预测模型的构建。4.根据权利要求3所述的基于区块链与联邦学习的图像识别方法，其特征在于，所述步骤s108中最新的全局模型的表达式如下：
d
i
＝{(x
i,1
,y
i,1
),(x
i,2
,y
i,2
),...,(x
i,n
,y
i,n
)}其中，m
k
表示最新的全局模型，n表示本地采集传感器设备的总数，d
i
表示本地第i个传感器的历史数据，x
i,n
,y
i,n
分别表示对应的图像及其识别结果。5.根据权利要求3所述的基于区块链与联邦学习的图像识别方法，其特征在于，所述步骤s1010中图像识别预测模型的表达式如下：其中，g(θ)表示图像识别预测模型，k表示参与本次联邦学习的基站总数，g
k
(θ)表示参与联邦学习的基站k根据本地数据获取的本地预测模型。6.根据权利要求2所述的基于区块链与联邦学习的图像识别方法，其特征在于，所述步骤s2包括以下步骤：s201、由图像识别任务请求节点接收图像识别预测模型；s202、由图像识别任务请求节点输入本地采集的待识别图像数据，并利用所述图像识别预测模型获取识别结果；s203、由图像识别任务请求节点根据识别结果，执行本地实时检测，并周期性更新图像识别模型，完成基于区块链与联邦学习的图像识别。7.根据权利要求6所述的基于区块链与联邦学习的图像识别方法，其特征在于，所述步骤202中识别结果的表达式如下：其中，表示识别结果，g(
·
)表示图像识别任务中请求节点所接收到的模型，θ表示整体模型的精度，d
r
表示本地传感器实时采集的图像数据。
技术总结
本发明提供了一种基于区块链与联邦学习的图像识别系统及方法，属于工业物联网技术领域，包括模型构建模块和图像识别模块。本发明在物联网图像识别过程中，提出了一种基于区块链与联邦学习的图像协同识别机制，首先，通过引入区块链，在互不可信的分布式物联网设备之间建立一套可信的协作机制，实现分布式的图像协同识别；其次，通过利用联邦学习算法，在分布式的物联网设备间，联合学习图像识别的模型，避免了原始数据的集中式传输；最后，通过利用联邦学习所训练的全局模型，物联网设备可以快速高效的在本地完成图像识别任务，在保证数据隐私性的同时，实现了准确的图像识别。实现了准确的图像识别。实现了准确的图像识别。


技术研发人员：张科 刘虹 蒲戈光 刘胜利
受保护的技术使用者：上海工业控制安全创新科技有限公司
技术研发日：2021.03.23
技术公布日：2021/6/24