一种多方参与隐私安全的知识库构建方法与流程

专利2026-06-25  12


本发明涉及互联网安全领域,具体涉及一种多方参与隐私安全的知识库构建方法。


背景技术:

1、大模型基座只包含互联网上的公开数据,对企业内部的框架知识和使用文档并不了解,现阶段大模型知识库的构建主要包含如下三个方面:text embeddings(文本向量化):不同于传统数据库的模糊搜索/匹配关键字,而是需要进行语义/特征匹配,通常使用文本相似度计算模型,如openai的text-embedding-ada-002模型;vector stores(向量存储):提前将企业文档进行 vector embeddings,然后存储在向量数据库里,如milvus,qrant等,后续的使用时直接检索,提升效率;similarity search(相似性搜索):通过比较向量之间的距离来判断文本的相似度,从而获取到与问题有关的知识片段,这一步需要向量库支持相关的检索算法。由于大模型知识库处于发展阶段,上述流程只是现阶段的一个探索式流程,并未形成行业规范;企业的知识库构建即使按照上述流程处理,最终会形成孤岛式或集中式的知识库,难以共享使用,在鼓励数据要素流通的今天难以发挥数据价值。


技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺点,如何让企业能够既安全又隐私的开放知识库给其他参与方使用,而提出的一种多方参与隐私安全的知识库构建方法。

2、为实现上述目的,本发明采用了如下技术方案:一种多方参与隐私安全的知识库构建方法,所述方法具体步骤如下:

3、s1:划分角色:

4、所述多方包括知识提供方、知识使用方以及ai代理方;

5、所述知识提供方为知识库的创建者,负责给问题提供背景知识; 所述知识使用方,使用知识库,提出问题,检索答案;

6、所述ai代理方,利用问题与知识片段作为输入获取ai答案。

7、s2:使用区块链构建文档库数据目录进行资源共享;

8、s21:创建文档库目录:在联盟中的每个参与方具备大量的文档资源,需要将这些资源进行归类整理,形成数据目录,维护在区块链上;

9、s22:数据保存:知识提供方将文档挂载于具体的文档库之下,区块链上可以保存文档的名称,描述摘要,数据指纹,存储位置等信息,但不包含文档原始内容。

10、s3:建立文档知识库:

11、s31:使用文档解析器将文档进行解析,并拆分成长度相同的文档片段;

12、s32:使用向量模型将文档片段转换为向量值,并形成映射关系;

13、s33:使用对称秘钥将文档片段加密,并与向量进行关联,一同存入向量库。

14、s4:构建身份授权与加密传输:

15、每个参与方使用数字身份标识,将身份标识与身份公钥记录在区块链,形成可信的pki体系。

16、s5:构建基于向量化的匿踪查询:

17、s51:知识使用方将原始问题通过向量模型转换为向量,并将原始问题进行对称加密,以及获取数据指纹,上链调用知识提供方;

18、s52:知识提供方使用问题向量在本地向量库中进行检索,返回topn相似度的文档片段的密文以及片段的摘要,上链;

19、s53:根据时间戳、请求信息、返回信息数据的特征,随机计算选择ai代理方服务。

20、s6:随机ai代理服务给出最终答案:

21、随机选择ai代理服务,代理服务接收到问题与片段的密文的同时,向知识使用方和知识提供方获取单次对称秘钥,并在安全环境中对数据进行解密,并校验指纹;然后调用大模型ai进行问答获取到答案;将答案使用提问方的公钥进行加密上链。

22、s7:知识使用方获取最终答案:

23、知识使用方获取到ai代理方的执行结果,使用私钥解密并校验数据指纹,从而获得最终答案。

24、较佳的,所述步骤s4中,加密传输包含两个部分,一个是基于步骤s33秘钥的身份识别机制,保证p2p请求的时候可以识别身份,一个是基于步骤s33秘钥的数据传输机制,保证数据的传输安全。

25、较佳的,所述步骤s4中,每个参与方需要通过智能合约向区块链网络注册自身的元数据信息。

26、较佳的,所述步骤s5中,所述向量的检索,使用余弦相似度检索算法配合随机扰动的方法。

27、较佳的,所述步骤s4中采用分布式身份的授权,主要是使用区块链的属性,在文档库中配置相关属性值,将文档库开放给某个参与方的身份。

28、较佳的,所述步骤s6中,ai代理方本地不需要特殊存储信息,当接收到智能合约的触发时,从区块链上获取到问题密文,答案片段密文。

29、较佳的,所述多方参与还可以引入审计方。

30、与现有技术相比,本发明的有益效果为:本发明使用区块链的可信特性共享知识库元数据,开放知识库的同时保护知识库的隐私,使用区块链的分布式身份能力对参与方进行鉴权,使得知识库的访问是可控的;同时使用隐私计算中的匿踪查询技术保证提供方知识库数据的隐私,和查询方查询问题的隐私;还将调用次数以及大模型的token量记录在区块链,方便统计;最终实现多方能够安全参与,实现知识数据可流转,又隐私的知识库联盟。



技术特征:

1.一种多方参与隐私安全的知识库构建方法,其特征在于:所述方法具体步骤如下:

2.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s4中,加密传输包含两个部分,一个是基于步骤s33秘钥的身份识别机制,保证p2p请求的时候可以识别身份,一个是基于步骤s33秘钥的数据传输机制,保证数据的传输安全。

3.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s4中,每个参与方需要通过智能合约向区块链网络注册自身的元数据信息。

4.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s5中,所述向量的检索,使用余弦相似度检索算法配合随机扰动的方法。

5.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s4中采用分布式身份的授权,主要是使用区块链的属性,在文档库中配置相关属性值,将文档库开放给某个参与方的身份。

6.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s6中,ai代理方本地不需要特殊存储信息,当接收到智能合约的触发时,从区块链上获取到问题密文,答案片段密文。

7.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述多方参与还可以引入审计方。


技术总结
本发明提供一种多方参与隐私安全的知识库构建方法,通过S1:划分角色;S2:使用区块链构建文档库数据目录进行资源共享;S3:建立文档知识库;S4:构建身份授权与加密传输;S5:构建基于向量化的匿踪查询;S6:随机AI代理服务给出最终答案:S7:知识使用方获取最终答案:本发明使用区块链的可信特性共享知识库元数据,开放知识库的同时保护知识库的隐私,使用区块链的分布式身份能力对参与方进行鉴权,使得知识库的访问是可控的;还将调用次数以及大模型的token量记录在区块链,方便统计;最终实现多方能够安全参与,实现知识数据可流转,又隐私的知识库联盟。

技术研发人员:蒋帅,杨诺,孟健,金志宇,李越,李强
受保护的技术使用者:鱼快创领智能科技(南京)有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1830573.html

最新回复(0)