动态稀疏方法、智能分析方法、装置、设备及存储介质与流程

专利2026-04-05  9


本申请涉及人工智能,尤其涉及一种动态稀疏方法、智能分析方法、装置、设备及存储介质。


背景技术:

1、神经网络,也被称为人工神经网络(artificial neural networks,简称ann),是一种类似于大脑神经元结构的计算模型。它由多层神经元节点组成,每个节点接受一组输入信息,进行计算,并将结果发送到下一层节点。这些输入和输出信息之间的权重可以通过训练来调整,从而使网络能够自适应地学习和识别模式。

2、神经网络广泛应用于计算机视觉、自然语言处理等智能分析应用领域。由于它可以处理大量数据并进行高精度的模式识别,因此在许多任务中可以取得优异的表现。

3、然而,神经网络需要部署到硬件平台上,以执行智能分析任务,如何减少神经网络的计算开销,以便节省硬件平台的资源消耗,提高硬件平台的处理效率,成为一个亟待解决的技术问题。


技术实现思路

1、有鉴于此,本申请提供一种动态稀疏方法、智能分析方法、装置、设备及存储介质,以减少硬件平台利用神经网络执行智能分析任务时资源消耗较大的问题。

2、具体地,本申请是通过如下技术方案实现的:

3、根据本申请实施例的第一方面,提供一种动态稀疏方法,包括:

4、获取目标神经网络模型的softmax算子的输入特征;其中,所述输入特征通过所述目标神经网络模型中第一类型模块对智能分析任务的输入数据进行处理得到;所述第一类型模块为所述目标神经网络模型中在所述softmax算子之前的模块;

5、对所述输入特征在计算维度上进行最大值对齐处理,得到处理后的特征;

6、确定所述处理后的特征中的待稀疏元素,并对所确定的待稀疏元素进行稀疏处理,得到稀疏后的特征;

7、基于所述稀疏后的特征,继续进行softmax处理,得到softmax处理结果;其中,所述softmax处理结果用于确定所述智能分析任务的处理结果。

8、根据本申请实施例的第二方面,提供一种智能分析方法,包括:

9、获取智能分析任务的输入数据;

10、将所述输入数据输入到智能分析模型,利用所述智能分析模型对所述输入数据进行智能分析处理,得到输出结果;其中,所述智能分析模型包括softmax算子,所述softmax算子利用第一方面提供的方法对输入特征进行稀疏处理;

11、依据所述输出结果,确定所述智能分析任务的处理结果。

12、根据本申请实施例的第三方面,提供一种动态稀疏装置,包括:

13、获取单元,用于获取目标神经网络模型的softmax算子的输入特征;其中,所述输入特征通过所述目标神经网络模型中第一类型模块对智能分析任务的输入数据进行处理得到;所述第一类型模块为所述目标神经网络模型中在所述softmax算子之前的模块;

14、对齐单元,用于对所述输入特征在计算维度上进行最大值对齐处理,得到处理后的特征;

15、稀疏单元,用于确定所述处理后的特征中的待稀疏元素,并对所确定的待稀疏元素进行稀疏处理,得到稀疏后的特征;

16、处理单元,用于基于所述稀疏后的特征,继续进行softmax处理,得到softmax处理结果;其中,所述softmax处理结果用于确定所述智能分析任务的处理结果。

17、根据本申请实施例的第四方面,提供一种智能分析装置,包括:

18、获取单元,用于获取智能分析任务的输入数据;

19、分析单元,用于将所述输入数据输入到智能分析模型,利用所述智能分析模型对所述输入数据进行智能分析处理,得到输出结果;其中,所述智能分析模型包括softmax算子,所述softmax算子利用第一方面提供的方法对输入特征进行稀疏处理;

20、确定单元,用于依据所述输出结果,确定所述智能分析任务的处理结果。

21、根据本申请实施例的第五方面,提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现第一方面或第二方面提供的方法。

22、根据本申请实施例的第六方面,提供一种机器可读存储介质,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现第一方面或第二方面提供的方法。

23、本申请提供的技术方案至少可以带来以下有益效果:

24、通过获取目标神经网络模型的softmax算子的输入特征,对获取到的输入特征在计算维度进行最大值对齐处理,得到处理后的特征,并确定处理后的特征中的待稀疏元素,并对所确定的待稀疏元素进行稀疏处理,得到稀疏后的特征,进而,可以基于稀疏后的特征,继续进行softmax处理,得到softmax处理结果,该softmax处理结果可以用于确定智能分析任务的处理结果,通过上述稀疏处理,可以减少softmax算子的计算耗时,提高计算速度,相应减少目标神经网络的计算耗时,提高计算速度,进而,可以减少硬件平台利用神经网络执行智能分析任务的资源消耗,并提高处理效率。



技术特征:

1.一种动态稀疏方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述确定所述处理后的特征中的待稀疏元素,并对所确定的待稀疏元素进行稀疏处理,得到稀疏后的特征,包括:

3.根据权利要求2所述的方法,其特征在于,所述依据预设稀疏度,选取所述处理后的特征中的待稀疏元素,包括:

4.根据权利要求1所述的方法,其特征在于,所述对所确定的待稀疏元素进行稀疏处理,包括:

5.一种智能分析方法,其特征在于,包括:

6.根据权利要求5所述的方法,其特征在于,所述智能分析任务包括计算机视觉任务,所述输入数据包括待处理图像;或,所述智能分析任务包括自然语言处理任务,所述输入数据包括待处理文本数据。

7.一种动态稀疏装置,其特征在于,包括:

8.根据权利要求7所述的装置,其特征在于,所述稀疏单元确定所述处理后的特征中的待稀疏元素,并对所确定的待稀疏元素进行稀疏处理,得到稀疏后的特征,包括:

9.一种智能分析装置,其特征在于,包括:

10.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求1-4或5-6任一项所述的方法。

11.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现如权利要求1-4或5-6任一项所述的方法。


技术总结
本申请提供一种动态稀疏方法、智能分析方法、装置、设备及存储介质,该方法包括:获取目标神经网络模型的softmax算子的输入特征;对所述输入特征在计算维度上进行最大值对齐处理,得到处理后的特征;确定所述处理后的特征中的待稀疏元素,并对所确定的待稀疏元素进行稀疏处理,得到稀疏后的特征;基于所述稀疏后的特征,继续进行softmax处理,得到softmax处理结果。该方法可以减少硬件平台利用神经网络执行智能分析任务的资源消耗,并提高处理效率。

技术研发人员:蓝朝祥,张凯,李哲暘,谭文明
受保护的技术使用者:杭州海康威视数字技术股份有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1828809.html

最新回复(0)