检测方法及装置与流程

专利2025-04-13  12


本发明涉及信息安全,尤其涉及一种检测方法及装置。


背景技术:

1、随着计算机硬件、数据存储能力的不断提升,人们开始尝试使用复杂的神经网络模型来实现更加细致、精确的人工智能任务。例如,自然语言处理、图像识别、语音识别等等。

2、在上述背景下,大模型人工智能已悄然出现。大模型人工智能指的是通过使用大规模神经网络模型,进而实现人工智能的技术。而大规模神经网络模型通常需要大量的数据、计算资源进行模型训练,因此,在模型训练过程中,通常需要借助云计算、分布式计算等技术实现。

3、大模型人工智能技术的优点是可以在一定程度上模拟人类的智能,具有较强的泛化能力和鲁棒性,可以在不同的任务和场景中表现出较好的性能。

4、目前,在各领域内均存在应用大模型人工智能的场景。在一个示例中,用户在处理各种信息(包括图文、视频等各类信息)的过程中,经常会遇到各种信息安全问题。比如,部分信息不应该让青少年用户观看,部分信息不适宜用户长时间使用、观看等等。

5、现有的信息内容审核通过机器审核+人审的方式实现,机器审核需要客观的标准,但客观的标准不能解决各种“暗示”(无敏感词但内容违规),人审有可能会错漏审,且也很难在特定领域理解对应的“暗示”(上下文推导出违规内容)对于不适合的人群造成影响。


技术实现思路

1、有鉴于此,本发明实施例提供一种检测方法及装置,以解决现有机器审核+人审方式易出现错漏审的问题。

2、第一方面,本发明实施例提供一种检测方法,所述方法应用于服务器,所述方法包括:

3、接收用户终端发送的检测请求,所述检测请求包括待检测对象,所述待检测对象包括使用所述用户终端的第一用户的第一子对象以及作为第三方的第二用户的第二子对象;

4、分别对所述第一子对象以及所述第二子对象进行内容检测,得到内容检测结果;

5、向所述用户终端发送检测响应,所述检测响应包括所述内容检测结果,以使得所述用户终端向所述第一用户显示所述内容检测结果;

6、其中,所述内容检测结果包括所述第二用户公布所述第二子对象时的意图信息以及对所述待检测对象的预处理结果。

7、可选地,所述第一子对象还包括所述第一用户的用户标识;

8、所述分别对所述第一子对象以及所述第二子对象进行内容检测,得到内容检测结果,具体包括:

9、根据所述第一用户的用户标识,获取与所述第一用户对应的历史记录;

10、根据所述第一子对象以及所述第二子对象归属的对象类型,分别从所述第一子对象以及所述第二子对象中提取内容特征以及行为特征;

11、根据所述内容特征以及所述行为特征,确定所述第一子对象以及所述第二子对象的生成场景;

12、在所述生成场景下,将所述内容特征以及所述行为特征分别与所述历史记录以及所述生成场景对应的场景模版进行比对;

13、根据所述比对结果,确定所述第二用户公布所述第二子对象时的意图信息,并为所述待检测对象进行安全评分;

14、根据所述第二用户公布所述第二子对象时的意图信息以及所述安全评分,生成所述预处理结果;

15、其中,所述场景模版包括标注出的正样本子数据以及负样本子数据;所述预处理结果包括对所述第二子对象进行拦截处理、告警处理以及内容更新处理中的一种或多种组合。

16、可选地,所述接收用户终端发送的检测请求之前,所述方法还包括:

17、获取属于不同对象类型的样本数据;

18、对每类对象类型的样本数据进行识别,并在所述样本数据中标注出正样本子数据以及负样本子数据;

19、利用所述正样本子数据以及所述负样本子数据,生成属于不同对象类型的场景模版;

20、其中,所述对象类型包括文字类型、视频类型、语音类型、图片类型的一种或多种组合。

21、可选地,所述方法还包括:

22、在本地生成用户内容检测表项,所述用户内容检测表项包括用户的标识字段以及历史对象记录字段,所述历史对象记录字段内存储已检测对象以及所述已检测对象对应的内容检测结果。

23、可选地,所述服务器内包括内容安全模型;

24、所述在所述样本数据中标注出正样本子数据以及负样本子数据之后,所述方法还包括:

25、利用所述正样本子数据以及所述负样本子数据,对原始大规模语言模型llm进行训练,得到所述内容安全模型;

26、将所述检测请求传输至所述内容安全模型,以使得所述内容安全模型对所述待检测对象进行内容检测,并输出所述内容检测结果。

27、第二方面,本发明实施例提供一种检测装置,所述装置应用于服务器,所述装置包括:

28、接收单元,用于接收用户终端发送的检测请求,所述检测请求包括待检测对象,所述待检测对象包括使用所述用户终端的第一用户的第一子对象以及作为第三方的第二用户的第二子对象;

29、检测单元,用于分别对所述第一子对象以及所述第二子对象进行内容检测,得到内容检测结果;

30、发送单元,用于向所述用户终端发送检测响应,所述检测响应包括所述内容检测结果,以使得所述用户终端向所述第一用户显示所述内容检测结果;

31、其中,所述内容检测结果包括所述第二用户公布所述第二子对象时的意图信息以及对所述待检测对象的预处理结果。

32、可选地,所述第一子对象还包括所述第一用户的用户标识;

33、所述检测单元具体用于,根据所述第一用户的用户标识,获取与所述第一用户对应的历史记录;

34、根据所述第一子对象以及所述第二子对象归属的对象类型,分别从所述第一子对象以及所述第二子对象中提取内容特征以及行为特征;

35、根据所述内容特征以及所述行为特征,确定所述第一子对象以及所述第二子对象的生成场景;

36、在所述生成场景下,将所述内容特征以及所述行为特征分别与所述历史记录以及所述生成场景对应的场景模版进行比对;

37、根据所述比对结果,确定所述第二用户公布所述第二子对象时的意图信息,并为所述待检测对象进行安全评分;

38、根据所述第二用户公布所述第二子对象时的意图信息以及所述安全评分,生成所述预处理结果;

39、其中,所述场景模版包括标注出的正样本子数据以及负样本子数据;所述预处理结果包括对所述第二子对象进行拦截处理、告警处理以及内容更新处理中的一种或多种组合。

40、可选地,所述装置还包括:

41、获取单元,用于获取属于不同对象类型的样本数据;

42、识别单元,用于对每类对象类型的样本数据进行识别,并在所述样本数据中标注出正样本子数据以及负样本子数据;

43、第一生成单元,用于利用所述正样本子数据以及所述负样本子数据,生成属于不同对象类型的场景模版;

44、其中,所述对象类型包括文字类型、视频类型、语音类型、图片类型的一种或多种组合。

45、可选地,所述装置还包括:

46、第二生成单元,用于在本地生成用户内容检测表项,所述用户内容检测表项包括用户的标识字段以及历史对象记录字段,所述历史对象记录字段内存储已检测对象以及所述已检测对象对应的内容检测结果。

47、可选地,所述服务器内包括内容安全模型;

48、所述装置还包括:训练单元,用于利用所述正样本子数据以及所述负样本子数据,对原始大规模语言模型llm进行训练,得到所述内容安全模型;

49、传输单元,用于将所述检测请求传输至所述内容安全模型,以使得所述内容安全模型对所述待检测对象进行内容检测,并输出所述内容检测结果。

50、第三方面,本发明实施例提供一种电子设备,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述第一方面方法所述的检测方法。

51、第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述第一方面所述的检测方法。

52、本发明实施例提供的一种检测方法及装置,服务器接收用户终端发送的检测请求,该检测请求包括待检测对象,待检测对象包括使用用户终端的第一用户的第一子对象以及作为第三方的第二用户的第二子对象;服务器分别对第一子对象以及第二子对象进行内容检测,得到内容检测结果;服务器向用户终端发送检测响应,该检测响应包括内容检测结果,以使得用户终端向第一用户显示内容检测结果;其中,内容检测结果包括第二用户公布第二子对象时的意图信息以及对待检测对象的预处理结果。

53、前述方案通过对多用户的子对象进行内容检测,得到第三方用户的意图信息以及对子对象的预处理结果。实现了通过大模型人工智能技术对第三方用户的意图进行识别,进而对当前的使用用户进行安全保护。


技术特征:

1.一种检测方法,其特征在于,所述方法应用于服务器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一子对象还包括所述第一用户的用户标识;

3.根据权利要求2所述的方法,其特征在于,所述接收用户终端发送的检测请求之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述服务器内包括内容安全模型;

6.一种检测装置,其特征在于,所述装置应用于服务器,所述装置包括:

7.根据权利要求6所述的装置,其特征在于,所述第一子对象还包括所述第一用户的用户标识;

8.根据权利要求7所述的装置,其特征在于,所述装置还包括:

9.根据权利要求6所述的装置,其特征在于,所述装置还包括:

10.根据权利要求8所述的装置,其特征在于,所述服务器内包括内容安全模型;


技术总结
本发明公开一种检测方法及装置,涉及信息安全技术领域。所述方法应用于服务器,所述方法包括:接收用户终端发送的检测请求,该检测请求包括待检测对象,待检测对象包括第一用户的第一子对象以及作为第三方的第二用户的第二子对象;分别对第一子对象以及第二子对象进行内容检测,得到内容检测结果;向用户终端发送检测响应,该检测响应包括内容检测结果,以使得用户终端向第一用户显示内容检测结果;其中,内容检测结果包括第二用户公布第二子对象时的意图信息以及对待检测对象的预处理结果。本发明实现了通过大模型人工智能技术对第三方用户的意图进行识别,进而对当前的使用用户进行安全保护。

技术研发人员:胡月鹏,翟忠武
受保护的技术使用者:北京面壁智能科技有限责任公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1818564.html

最新回复(0)