解码方法及装置、电子设备、计算机可读存储介质与流程

专利2025-07-14  5


本公开实施例涉及解码,特别涉及一种解码方法及装置、电子设备、计算机可读存储介质。


背景技术:

1、霍夫曼编码是一种熵编码方法,根据数据的统计特性确定不定长的编码表,以实现无损的数据压缩。霍夫曼编码广泛用于图片等文件的计算机网络传输,以减少带宽需求。

2、然而,霍夫曼解码一般是串行的,该解码方法一般难以适配gpu(graphicalprocessing unit,图形处理单元)、类脑芯片等大量配备的向量矩阵计算单元,因此霍夫曼编码的解码方案会导致较大的额外时间代价,会抵消一部分压缩带宽带来的性能优势。


技术实现思路

1、本公开实施例提供了一种解码方法及装置、电子设备、计算机可读存储介质。

2、第一方面,本公开实施例提供了一种解码方法,该解码方法包括:

3、获取基于霍夫曼编码的多个编码序列;所述多个编码序列为待编码数据进行分段后对多个分段分别进行编码获得的;

4、将所述多个编码序列加载到芯片上;

5、采用所述芯片上的解码模型,对所述多个编码序列进行片上并行解码,并对每个编码序列内部的多个编码进行并行解码;

6、其中,所述解码模型是基于多个编码序列样本进行训练或拟合获得的具有并行解码能力的模型;所述多个编码序列样本为待编码数据样本进行分段后对多个分段分别进行编码获得的。

7、第二方面,本公开提供了一种解码装置,该解码装置包括:

8、获取模块,用于获取基于霍夫曼编码的多个编码序列;所述多个编码序列为待编码数据进行分段后对多个分段分别进行编码获得的;

9、加载模块,用于将所述多个编码序列加载到芯片上;

10、解码模块,用于采用所述芯片上的解码模型,对所述多个编码序列进行片上并行解码,并对每个编码序列内部的多个编码进行并行解码;

11、其中,所述解码模型是基于多个编码序列样本进行训练或拟合获得的具有并行解码能力的模型;所述多个编码序列样本为待编码数据样本进行分段后对多个分段分别进行编码获得的。

12、第三方面,本公开提供了一种电子设备,包括:

13、多个处理核;以及

14、片上网络,被配置为交互所述多个处理核间的数据和外部数据;其中,一个或多个所述处理核中存储有一个或多个指令,一个或多个所述指令被一个或多个所述处理核执行,以使一个或多个所述处理核能够执行所述的解码方法。

15、第四方面,本公开提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序在被处理器/处理核执行时实现上述的解码方法。

16、本公开所提供的实施例通过采用芯片上的解码模型,对经过霍夫曼编码获得的多个编码序列进行片上并行解码,并对每个编码序列内部的多个编码进行并行解码,能够实现霍夫曼编码序列的并行解码,从而降低解码延迟,提高在大模型带宽压缩等场景中的解码速度。

17、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。



技术特征:

1.一种解码方法,其特征在于,所述方法包括:

2.根据权利要求1所述的解码方法,其特征在于,所述解码模型包括神经网络;

3.根据权利要求2所述的解码方法,其特征在于,所述神经网络为一维神经网络,所述解码模型包括多个所述一维神经网络;

4.根据权利要求2所述的解码方法,其特征在于,所述神经网络为多维神经网络;

5.根据权利要求2所述的解码方法,其特征在于,所述神经网络包括卷积神经网络。

6.根据权利要求1所述的解码方法,其特征在于,在所述将所述多个编码序列加载到芯片上之前,所述方法还包括:

7.根据权利要求1所述的解码方法,其特征在于,在获取基于霍夫曼编码的多个编码序列之前,所述方法还包括:

8.根据权利要求1所述的解码方法,其特征在于,所述解码模型包括神经网络;在所述采用所述芯片上的解码模型,对所述多个编码序列进行片上并行解码,并对每个编码序列内部的多个编码进行并行解码之前,所述方法还包括:

9.根据权利要求8所述的解码方法,其特征在于,

10.根据权利要求1或9所述的解码方法,其特征在于,所述待编码数据为大模型权重数据;在获取基于霍夫曼编码的多个编码序列之前,所述方法还包括:

11.一种解码装置,其特征在于,包括:

12.一种电子设备,其特征在于,包括:

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-10中任一项所述的解码方法。


技术总结
本公开实施例提供了一种解码方法及装置、电子设备、计算机可读存储介质,该解码方法包括:获取基于霍夫曼编码的多个编码序列;多个编码序列为待编码数据进行分段后对多个分段分别进行编码获得的;将多个编码序列加载到芯片上;采用芯片上的解码模型,对多个编码序列进行片上并行解码,并对每个编码序列内部的多个编码进行并行解码;解码模型是基于多个编码序列样本进行训练或拟合获得的具有并行解码能力的模型;多个编码序列样本为待编码数据样本进行分段后对多个分段分别进行编码获得的。通过该实施例方案,实现了霍夫曼编码序列的并行解码,从而降低了解码延迟,提高了在大模型带宽压缩等场景中的解码速度。

技术研发人员:刘发强,祝夭龙
受保护的技术使用者:北京灵汐科技有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1822481.html

最新回复(0)