本申请属于图像压缩,具体涉及一种图像处理方法、装置及设备。
背景技术:
1、在图像压缩技术领域,传统的图像压缩标准例如图像专家联合小组(jointphotographic experts group,jpeg)标准,通过多尺度架构提取原始图像对应的多个特征图,例如,通过特征金字塔网络(feature pyramid networks,fpn)提取原始图像对应的4个特征图,并对多个特征图进行压缩,生成码流。然而,上述不同的特征图之间存在信息冗余。因此现有技术中存在编码的码流较大的问题。
技术实现思路
1、本申请实施例提供一种图像处理方法、装置及设备,能够解决现有方案中存在的编码的码流较大的问题。
2、第一方面,提供了一种图像处理方法,包括:
3、编码端获取第一图像;
4、所述编码端提取所述第一图像对应的n个特征图;n为大于或等于2的正整数;
5、所述编码端根据所述n个特征图对应的目标像素值,对所述n个特征图进行归一化处理;
6、所述编码端通过预设的压缩预测网络对目标特征图进行压缩处理,获得目标码流;所述目标码流携带有所述目标像素值,所述目标特征图为n个归一化处理后的特征图中的部分特征图。
7、第二方面,提供一种图像处理方法,包括:
8、解码端获取目标码流;所述目标码流基于对目标特征图进行压缩处理生成,所述目标特征图为n个特征图中的部分特征图,n为大于或等于2的正整数;
9、所述解码端通过预设的解压预测网络对所述目标码流进行解压处理,获得n个重建特征图;
10、所述解码端基于所述目标码流携带的所述n个重建特征图对应的目标像素值,对所述n个重建特征图进行反归一化处理,获得n个特征图。
11、第三方面,提供了一种图像处理装置,应用于编码端,包括:
12、获取模块,用于获取第一图像;
13、提取模块,用于提取所述第一图像对应的n个特征图;n为大于或等于2的正整数;
14、第一处理模块,用于根据所述n个特征图对应的目标像素值,对所述n个特征图进行归一化处理;
15、第二处理模块,用于通过预设的压缩预测网络对目标特征图进行压缩处理,获得目标码流;所述目标码流携带有所述目标像素值,所述目标特征图为n个归一化处理后的特征图中的部分特征图。
16、第四方面,提供了一种图像处理装置,应用于解码端,包括:
17、获取模块,用于获取目标码流;所述目标码流基于对目标特征图进行压缩处理生成,所述目标特征图为n个特征图中的部分特征图,n为大于或等于2的正整数;
18、第一处理模块,用于通过预设的解压预测网络对所述目标码流进行解压处理,获得n个重建特征图;
19、第二处理模块,用于基于所述目标码流携带的所述n个重建特征图对应的目标像素值,对所述n个重建特征图进行反归一化处理,获得n个特征图。
20、第五方面,提供了一种终端,该终端包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
21、第六方面,提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
22、第七方面,提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法,或者实现如第二方面所述的方法。
23、第八方面,提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤,或者实现如第二方面所述的方法的步骤。
24、第九方面,提供了一种系统,所述系统包括编码端和解码端,所述编码端执行如第一方面所述的方法的步骤,所述解码端执行如第二方面所述的方法的步骤。
25、本申请实施例中,编码端获取第一图像;编码端提取第一图像对应的n个特征图,n为大于或等于2的正整数;编码端根据n个特征图对应的目标像素值,对n个特征图进行归一化处理;编码端通过预设的压缩预测网络对目标特征图进行压缩处理,获得目标码流。相比于现有技术中对图像对应的全部特征图进行压缩处理获得目标码流的方式,本申请实施例只需要对部分特征图进行压缩处理即可获得目标码流,以此降低了编码码流的码率。
1.一种图像处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述目标像素值包括所述n个特征图对应的最大像素值和所述n个特征图对应的最小像素值,所述根据所述n个特征图对应的目标像素值,对所述n个特征图进行归一化处理包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述n个特征图对应的最大像素值和所述n个特征图对应的最小像素值,调整每个特征图中的每个像素点的像素值包括:
4.根据权利要求1所述的方法,其特征在于,所述通过预设的压缩预测网络对目标特征图进行压缩处理,获得目标码流包括:
5.一种图像处理方法,其特征在于,包括:
6.根据权利要求5所述的方法,其特征在于,所述通过预设的解压预测网络对所述目标码流进行解压处理,获得n个重建特征图包括:
7.根据权利要求5所述的方法,其特征在于,所述目标像素值包括所述n个重建特征图对应的最大像素值和所述n个重建特征图对应的最小像素值,所述基于所述目标码流携带的所述n个重建特征图对应的目标像素值,对所述n个重建特征图进行反归一化处理包括:
8.根据权利要求7所述的方法,其特征在于,所述根据所述最大像素值和所述最小像素值,调整每个重建特征图中每个像素点的像素值包括:
9.根据权利要求5-8中任一项所述的方法,其特征在于,所述解压预测网络的损失函数基于对预设的速率损失函数和n个失真损失函数进行加权求和确定,所述n个失真损失函数为与每个特征图相关联的损失函数。
10.根据权利要求9所述的方法,其特征在于,所述速率损失函数基于预设的边缘信息,以及对潜在变量确定;所述失真损失函数基于相关联的特征图与相关联的重建特征图之间的损失确定。
11.一种图像处理装置,其特征在于,应用于编码端,包括:
12.根据权利要求11所述的装置,其特征在于,所述目标像素值包括最大像素值和最小像素值,所述第一处理模块,具体用于:
13.根据权利要求12所述的装置,其特征在于,所述第一处理模块,还具体用于:
14.根据权利要求11所述的装置,其特征在于,所述第二处理模块,具体用于:
15.一种图像处理装置,其特征在于,应用于解码端,包括:
16.根据权利要求15所述的装置,其特征在于,所述第一处理模块,具体用于:
17.根据权利要求15所述的装置,其特征在于,所述目标像素值包括所述n个重建特征图对应的最大像素值和所述n个重建特征图对应的最小像素值,所述第二处理模块,具体用于:
18.根据权利要求17所述的装置,其特征在于,所述第二处理模块,还具体用于:
19.根据权利要求15-18中任一项所述的装置,其特征在于,所述解压预测网络的损失函数基于对预设的速率损失函数和n个失真损失函数进行加权求和确定,所述n个失真损失函数为与每个特征图相关联的损失函数。
20.根据权利要求19所述的装置,其特征在于,所述速率损失函数基于预设的边缘信息,以及对潜在变量确定;所述失真损失函数基于相关联的特征图与相关联的重建特征图之间的损失确定。
21.一种终端,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-4中任一项所述的图像处理方法的步骤,或者实现如权利要求5-10中任一项所述的图像处理方法的步骤。
22.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-4中任一项所述的图像处理方法的步骤,或者实现如权利要求5-10中任一项所述的图像处理方法的步骤。
