一种面向量化分块压缩感知的区域层次化预测编码方法与流程

专利2022-05-09  101


本发明涉及图像信号的获取与压缩技术,尤其涉及一种面向量化分块压缩感知的观测矢量预测编码方法。



背景技术:

量化分块压缩感知的测量端将目标图像划分成互不重叠的若干块,采用块级观测矩阵对各块进行独立的采样,获得各块的观测矢量,然后执行预测和量化编码。如果需要改变整幅图像的压缩比,测量端可对采样率或质量因子进行调整。分块操作虽然提高了图像处理的实时性,但忽略了块与块之间的空域冗余。若当前块的原始像素与相邻块的原始像素具有较强的空域相关性,那么进行线性投影至低维空间后所得观测矢量的相关性依然较强,尤其对于大面积的背景区域,相邻块之间的观测矢量差异很小。若能在量化之前,消除观测矢量之间的相关性,那么率失真性能将得到提升。

观测矢量预测编码是指在获得当前块的观测矢量之后,在测量域利用相邻块的反量化矢量对当前块的观测矢量进行差分预测,然后对残差进行量化和熵编码,以减少码流冗余度。现有的预测编码方法采用固定的预测模式,难以充分利用观测矢量之间的多种相关性。为了解决这一问题,本发明在测量端引入区域层次化预测编码方法,通过构建块编码模型为不同区域分配合适的质量因子,以提高量化分块压缩感知的率失真性能。



技术实现要素:

本发明要解决的技术问题是:如何在量化分块压缩感知中执行优化的观测矢量预测编码,在码率约束下降低目标图像的编码失真。

为了解决上述技术问题,本发明的技术方案是提供一种区域层次化预测编码方法,主要包含以下两个并行运作的环节:

(1)在目标图像的所有n块以同一采样率进行观测后(n≥9),各块从中心块开始、按由内向外的扫描顺序进行编号,i表示块号,i=1,2,…,n。yi表示第i块的观测矢量,最多同时四个相邻块的反量化矢量可能用于yi的预测。yi的上下文感知候选集pi从四个可能相邻块的反量化矢量中选择至多两个更重要的反量化矢量,其重要性准则包括:在逐块预测编码中,某块被编码得越早,它就越相对重要;空间上更接近的相邻块更重要。通过最小化观测矢量yi与候选集pi中的反量化矢量之间的残差,第i块的预测矢量选自与之具有最小均方误差的反量化矢量,即其中l1范式‖*‖1是将矢量所有条目的绝对值相加。

(2)根据层次相关性,目标图像的所有n块被划分到三种区域之一:关键区域、非关键区域和分散区域。如果反量化矢量可能被至少六个观测矢量所预测参考,则该反量化矢量所在的块将被划分到关键区域,这些观测矢量所在的块将被划分到非关键区域;其余块属于分散区域。质量因子是整数,ci表示第i块的观测矢量中所有分量的标准差,第i块的预测比特数使用块编码模型模型参数α>0和β<0依赖于图像内容和初始质量因子q。参数拟合所需的k个样本(k≈0.2n)来自于n个观测矢量的随机选取,这些样本采用初始质量因子q进行量化,参数α和β可通过下式进行求解:其中,分别表示第k个样本(1≤k≤k)的实际比特数和基于块编码模型的预测比特数。qn表示非关键区域的质量因子,可通过求解下式获得:其中,пk和пn分别表示关键区域和非关键区域,符号“[]”表示最接近的整数,经验常数τ=1.1。至此,关键区域、非关键区域、分散区域分别采用质量因子[τq]、qn、q逐块地执行最终的量化和熵编码。

有益效果

观测矢量预测编码是量化分块压缩感知的重要机制之一,为了在码率约束下有效地降低测量端的编码失真,本发明提出了一种基于上下文感知候选集和区域层次化相关性的观测矢量预测编码方法。所有块按由内向外的扫描顺序逐块地进行预测与量化,为观测矢量从上下文感知候选集中选择预测矢量,并对层次相关性较强的关键区域赋予较大的质量因子。与现有的预测编码方法相比,所提方法不需要将信号分布作为先验知识,充分利用了相邻块观测矢量之间的空域相关性以及预测编码过程中的层次相关性,通过块编码模型为不同区域自适应地分配质量因子,在保持平均采样率的同时,有效降低了目标图像的编码失真。

附图说明

图1是量化分块压缩感知的测量端模块图;

图2是上下文感知候选集的示意图;

图3是逐块预测过程中的区域层次化相关性;

图4是三种区域的示例图。

具体实施方式

下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

面向低复杂度的测量端,图1给出了量化分块压缩感知的测量端模块图。测量端的bcs观测模块将目标图像划分为不重叠的块,所有块采用同一采样率进行观测;在这些模块中,量化模块和反量化模块仅占用了测量端少量的复杂度,预测模块消耗了主要的计算资源;熵编码模块用于生成二进制比特流,以供数据传输或存储;预测模块存储反量化矢量。在接收到比特流之后,重建端可以利用任何图像重建算法来恢复图像。

测量端将目标图像x划分为n=100个不重叠的块,块大小是b2像素。块级观测矩阵φb是一个大小为mb×b2的高斯随机矩阵,mb比b2小得多。图像级观测矩阵φ由沿对角线的多个φb组成,即φ=diag([φb,φb,…,φb]。所有块按一定的顺序编号,i表示块号,i=1,2,…,n。表示图像中第i块的原始信号。bcs观测模块通过块级观测矩阵φb获取所有块的观测矢量。表示第i块的观测矢量。当采样率s=mb/b2时,xi由块级观测矩阵φb独立测量,从而产生第i块的观测矢量yi。块级观测过程可以表示为:

yi=φb·xi(1)

测量端只需存储φb,而不需要存储整个φ。在所有块以同一采样率进行观测后,测量端开始执行逐块的预测编码。由于相邻块之间的相关性,预测编码技术可以减少观测矢量的冗余。在测量端,表示图像x中第i块的反量化矢量;对于观测矢量yi的预测,第i块的候选集pi由其邻域中的一个或多个反量化矢量组成;表示第i块的预测矢量,它从第i块的候选集pi中选择反量化矢量。因此,预测残差di是观测矢量yi与预测矢量的差值,其计算公式如下:

di是实值,需要执行量化操作。由于随机观测,压缩感知的质量因子应该是细粒度的。测量端通过一个初始质量因子q对预测残差di进行量化,得到量化值si,然后对量化值si进行熵编码。为了后续的预测编码,表示第i块的反量化残差。通过将与预测矢量相加,反量化矢量表示为:

在目标图像中,各块之间并不独立,当前块与相邻块具有一定的空域相关性。可以推断,每个观测矢量与其周围的反量化矢量也具有空域相关性。如果当前块具有更好的候选集,则其预测矢量能够更接近当前观测矢量。基于候选集中的反量化矢量,预测编码需要计算当前观测矢量与每个反量化矢量之间的均方误差,预测矢量是具有最小均方误差的反量化矢量。现有的预测编码方法几乎都选择了三个或四个反量化矢量。

在逐块预测编码中,图2给出了上下文感知候选集的示意图,当前块的邻域包括八个可能候选的相邻块,并且最多同时四个相邻块的反量化矢量可能用于当前块的预测。上下文感知候选集是从四个可能相邻块的反量化矢量中选择至多两个更重要的反量化矢量,其重要性准则包括:在逐块预测编码中,某块被编码得越早,它就越相对重要;空间上更接近的相邻块更重要。根据该重要性准则,当前块周围的八个相邻块从1到8排序,其中序号越小,对于预测编码越重要。所提方法按照序号的升序,从当前块周围八个相邻块的候选反量化矢量中选择至多两个更重要的反量化矢量,由此获得当前块的候选集pi。一个块需要一个指示比特。

所提方法从图像的中心块开始,按由内向外的扫描顺序继续预测编码后续块。当前块的观测矢量从候选集中选择其预测矢量。通过最小化观测矢量yi与候选集pi的反量化矢量之间的残差,第i块的预测矢量由以下公式确定:

其中‖*‖1是l1范式,它将矢量中所有条目的绝对值相加。第i块的观测矢量yi减去其预测矢量获得预测残差di,其量化值为si,表示如下:

如果当前块的预测矢量越精确,则预测残差越小,压缩比越高。量化值si进行熵编码,获得比特流。同时,量化值si被反量化,获得反量化残差预测编码可以消除矢量之间的冗余:首先,相邻矢量在测量域具有空域相关性;其次,各块具有不同的层次相关性。在逐块预测编码中,一个反量化矢量可能被0~8个观测矢量所参考。图3示出了逐块预测过程中的区域层次化相关性,其中六个观测矢量(块号分别为4、11、12、13、14、15)的预测可利用块号为第3块的反量化矢量,五个观测矢量(块号分别为5、6、14、15、16)的预测可利用块号为第4块的反量化矢量。因此,第3块比第4块具有更强的层次相关性。

对于目标图像的所有观测矢量,逐块扫描的预测编码顺序呈现由内向外的趋势。第3块的反量化矢量可能将被六个观测矢量作为预测参考,而第4块的反量化矢量可能将被五个观测矢量作为预测参考,依此类推。当相同的反量化矢量可能预测更多的观测矢量时,反量化矢量所在的块具有更强的层次相关性。因此,根据层次相关性,所有块划分到三种区域之一,即关键区域、非关键区域和分散区域。如果反量化矢量可能被至少六个观测矢量所预测参考,则该反量化矢量所在的块将被分类到关键区域,对应观测矢量所在的那些块将被分类到非关键区域;其余块属于分散区域。关键区域的块大多位于在预测编码顺序中更为关键的角点处。图4给出了三种区域的示例图:关键区域(黑色)、非关键区域(对角线)和分散区域(白色),其中块号i按由内向外的扫描顺序从1到100,较小的块号表示该块是较早编码的。

图像的不同区域包含各种层次信息,可为每个区域自适应地分配质量因子,更大的质量因子将导致较大的码率和较小的编码失真。高质量的关键区域具有很强的预测重要性,可提高对应非关键区域的预测精度。因此,层次相关性较强的关键区域应赋予较大的质量因子。质量因子是整数,ci表示第i块的观测矢量中所有分量的标准差,所提方法使用如下的块编码模型来预测比特数:

上式中,是第i块的预测比特数,模型参数α>0和β<0依赖于图像内容和初始质量因子q。参数拟合所需的k个样本(k≈0.2n)来自于n个观测矢量的随机选取,这些样本采用初始质量因子q进行量化,模型参数α和β可通过下式进行求解:

上式中,分别表示第k个样本(1≤k≤k)的实际比特数和基于块编码模型的预测比特数。qn表示非关键区域的质量因子,可通过求解下式获得:

上式中,пk和пn分别表示关键区域和非关键区域,符号“[]”表示最接近的整数,经验常数τ=1.1。至此,关键区域、非关键区域、分散区域分别采用质量因子[τq]、qn、q逐块地执行量化和熵编码。重建端在收到比特流后,可采用任意一种图像重构算法进行恢复。


技术特征:

1.一种面向量化分块压缩感知的区域层次化预测编码方法,包括两个并行运作的环节,其特征在于,在目标图像的所有n块(n≥9)以同一采样率执行观测后,所述环节(1)从中心块开始、按由内向外的扫描顺序对所有n块进行编号,i表示块号,i=1,2,…,n;第i块的观测矢量yi可能参考四个相邻块的反量化矢量,yi对应的上下文感知候选集pi从这四个相邻块的反量化矢量中选择至多两个更重要的反量化矢量,其重要性准则为:在逐块预测编码中,某相邻块被编码得越早,它就越相对重要;空间上更接近的相邻块更重要;通过比较观测矢量yi与候选集pi中反量化矢量之间的均方误差,第i块的预测矢量是具有最小均方误差的反量化矢量,即其中l1范式‖*‖1是对矢量所有条目的绝对值求和。

2.一种面向量化分块压缩感知的区域层次化预测编码方法,其特征在于,所述环节(2)根据层次相关性,将目标图像的所有n块划分到三种区域之一:关键区域、非关键区域、分散区域,如果反量化矢量可能被至少六个观测矢量所预测参考,则该反量化矢量所在的块将被划分到关键区域,这些观测矢量所在的块将被划分到非关键区域;其余块属于分散区域,第i块的预测比特数采用块编码模型模型参数α>0和β<0依赖于图像内容和初始质量因子q,ci是yi中所有分量的标准差,模型参数拟合所需的k个样本(k≈0.2n)来自于n个观测矢量的随机选取,这些样本采用初始质量因子q进行量化,α和β通过下式求解:其中分别表示第k个样本(1≤k≤k)的实际比特数和基于块编码模型的预测比特数,qn表示非关键区域的质量因子,通过下式求解:其中пk和пn分别表示关键区域和非关键区域,经验常数τ=1.1,符号“[]”表示最接近的整数,至此,关键区域、非关键区域、分散区域分别采用质量因子[τq]、qn、q逐块地执行最终的量化和熵编码。

技术总结
在量化分块压缩感知的预测编码中,大量低效的候选者将导致较高的复杂度。为了降低量化分块压缩感知的编码失真,本发明提出一种基于上下文感知候选集和区域层次化相关性的预测编码方法。在所有块以同一采样率进行观测后,各块按由内向外的扫描顺序进行预测与量化,当前观测矢量从上下文感知候选集中选取与之具有最小均方误差的反量化矢量,作为其预测矢量;并根据层次相关性,所有块划分到三种区域之一,通过块编码模型为不同区域设定差异化的质量因子,关键区域被赋予比非关键区域更大的质量因子。与现有方法比,该方法综合利用了观测矢量之间的空域相关性和层次相关性,提高了预测矢量的匹配度和参考价值,在预测编码中获得良好的率失真性能。

技术研发人员:刘明瑞;刘浩;黄震;胡敏;廖荣生;魏国林;袁文野
受保护的技术使用者:刘明瑞
技术研发日:2021.04.23
技术公布日:2021.08.03

转载请注明原文地址:https://doc.8miu.com/read-1758.html

最新回复(0)