本发明涉及互联网安全领域,具体涉及一种多方参与隐私安全的知识库构建方法。
背景技术:
1、大模型基座只包含互联网上的公开数据,对企业内部的框架知识和使用文档并不了解,现阶段大模型知识库的构建主要包含如下三个方面:text embeddings(文本向量化):不同于传统数据库的模糊搜索/匹配关键字,而是需要进行语义/特征匹配,通常使用文本相似度计算模型,如openai的text-embedding-ada-002模型;vector stores(向量存储):提前将企业文档进行 vector embeddings,然后存储在向量数据库里,如milvus,qrant等,后续的使用时直接检索,提升效率;similarity search(相似性搜索):通过比较向量之间的距离来判断文本的相似度,从而获取到与问题有关的知识片段,这一步需要向量库支持相关的检索算法。由于大模型知识库处于发展阶段,上述流程只是现阶段的一个探索式流程,并未形成行业规范;企业的知识库构建即使按照上述流程处理,最终会形成孤岛式或集中式的知识库,难以共享使用,在鼓励数据要素流通的今天难以发挥数据价值。
技术实现思路
1、本发明的目的是为了解决现有技术中存在的缺点,如何让企业能够既安全又隐私的开放知识库给其他参与方使用,而提出的一种多方参与隐私安全的知识库构建方法。
2、为实现上述目的,本发明采用了如下技术方案:一种多方参与隐私安全的知识库构建方法,所述方法具体步骤如下:
3、s1:划分角色:
4、所述多方包括知识提供方、知识使用方以及ai代理方;
5、所述知识提供方为知识库的创建者,负责给问题提供背景知识; 所述知识使用方,使用知识库,提出问题,检索答案;
6、所述ai代理方,利用问题与知识片段作为输入获取ai答案。
7、s2:使用区块链构建文档库数据目录进行资源共享;
8、s21:创建文档库目录:在联盟中的每个参与方具备大量的文档资源,需要将这些资源进行归类整理,形成数据目录,维护在区块链上;
9、s22:数据保存:知识提供方将文档挂载于具体的文档库之下,区块链上可以保存文档的名称,描述摘要,数据指纹,存储位置等信息,但不包含文档原始内容。
10、s3:建立文档知识库:
11、s31:使用文档解析器将文档进行解析,并拆分成长度相同的文档片段;
12、s32:使用向量模型将文档片段转换为向量值,并形成映射关系;
13、s33:使用对称秘钥将文档片段加密,并与向量进行关联,一同存入向量库。
14、s4:构建身份授权与加密传输:
15、每个参与方使用数字身份标识,将身份标识与身份公钥记录在区块链,形成可信的pki体系。
16、s5:构建基于向量化的匿踪查询:
17、s51:知识使用方将原始问题通过向量模型转换为向量,并将原始问题进行对称加密,以及获取数据指纹,上链调用知识提供方;
18、s52:知识提供方使用问题向量在本地向量库中进行检索,返回topn相似度的文档片段的密文以及片段的摘要,上链;
19、s53:根据时间戳、请求信息、返回信息数据的特征,随机计算选择ai代理方服务。
20、s6:随机ai代理服务给出最终答案:
21、随机选择ai代理服务,代理服务接收到问题与片段的密文的同时,向知识使用方和知识提供方获取单次对称秘钥,并在安全环境中对数据进行解密,并校验指纹;然后调用大模型ai进行问答获取到答案;将答案使用提问方的公钥进行加密上链。
22、s7:知识使用方获取最终答案:
23、知识使用方获取到ai代理方的执行结果,使用私钥解密并校验数据指纹,从而获得最终答案。
24、较佳的,所述步骤s4中,加密传输包含两个部分,一个是基于步骤s33秘钥的身份识别机制,保证p2p请求的时候可以识别身份,一个是基于步骤s33秘钥的数据传输机制,保证数据的传输安全。
25、较佳的,所述步骤s4中,每个参与方需要通过智能合约向区块链网络注册自身的元数据信息。
26、较佳的,所述步骤s5中,所述向量的检索,使用余弦相似度检索算法配合随机扰动的方法。
27、较佳的,所述步骤s4中采用分布式身份的授权,主要是使用区块链的属性,在文档库中配置相关属性值,将文档库开放给某个参与方的身份。
28、较佳的,所述步骤s6中,ai代理方本地不需要特殊存储信息,当接收到智能合约的触发时,从区块链上获取到问题密文,答案片段密文。
29、较佳的,所述多方参与还可以引入审计方。
30、与现有技术相比,本发明的有益效果为:本发明使用区块链的可信特性共享知识库元数据,开放知识库的同时保护知识库的隐私,使用区块链的分布式身份能力对参与方进行鉴权,使得知识库的访问是可控的;同时使用隐私计算中的匿踪查询技术保证提供方知识库数据的隐私,和查询方查询问题的隐私;还将调用次数以及大模型的token量记录在区块链,方便统计;最终实现多方能够安全参与,实现知识数据可流转,又隐私的知识库联盟。
1.一种多方参与隐私安全的知识库构建方法,其特征在于:所述方法具体步骤如下:
2.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s4中,加密传输包含两个部分,一个是基于步骤s33秘钥的身份识别机制,保证p2p请求的时候可以识别身份,一个是基于步骤s33秘钥的数据传输机制,保证数据的传输安全。
3.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s4中,每个参与方需要通过智能合约向区块链网络注册自身的元数据信息。
4.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s5中,所述向量的检索,使用余弦相似度检索算法配合随机扰动的方法。
5.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s4中采用分布式身份的授权,主要是使用区块链的属性,在文档库中配置相关属性值,将文档库开放给某个参与方的身份。
6.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述步骤s6中,ai代理方本地不需要特殊存储信息,当接收到智能合约的触发时,从区块链上获取到问题密文,答案片段密文。
7.如权利要求1所述的一种多方参与隐私安全的知识库构建方法,其特征在于:所述多方参与还可以引入审计方。
