背景技术:
1、在视频译码(例如,编码和/或解码)的上下文中,一些视频图像(诸如游戏视频图像)的纹理特性可能从一个区域到另一个区域而变化。变化的一个原因可能是这些区域可能位于距相机不同的距离处,或者这些区域可能与不同的对象、不同的运动等相关联。这些视频图像在深度、运动、语义等方面的不连续性可能导致在视频译码操作期间生成伪影。
技术实现思路
1、本文公开了与减少由视频数据中的深度和/或运动不连续性引起的译码伪影相关联的系统、方法及工具。系统、方法和工具可以包括视频解码设备和/或视频编码设备或由其实现。使用视频解码设备作为示例,该设备可以包括处理器,该处理器被配置为获得可以包括当前视频块的视频数据,并且还获得与当前视频块相关联的深度信息。处理器可以被进一步配置为基于深度信息确定与当前视频块相关联的滤波操作(例如,环内或环外),并且基于所确定的滤波操作处理当前视频块。由视频解码设备获得的深度信息可以包括在视频数据中接收的指示(例如,标志),该指示可以指示当前视频块中存在或不存在深度不连续性。深度信息还可以由视频解码设备基于视频解码设备处可用的深度分量来确定,在此情况下,视频解码设备可以基于深度分量确定当前视频块中存在或不存在深度不连续性,和/或确定当前视频块中的深度不连续性的位置或方向中的至少一者。
2、由视频解码设备基于深度信息确定的滤波操作可以与双边滤波器(blf)、解块滤波器(dbf)、自适应环路滤波器(alf)、样本自适应偏移(sao)滤波器或交叉分量样本自适应偏移(cc-sao)滤波器中的至少一者相关联。在滤波操作与dbf相关联的示例中,视频解码设备可以被配置为基于深度信息确定第一样本与第二样本之间的深度差,并且当基于第二样本将dbf应用于第一样本时,基于第一样本与第二样本之间的深度差确定dbf的强度。举例来说,视频解码设备可以在第一样本与第二样本之间的深度差大于阈值的情况下将dbf的强度设定为第一值,并且在第一样本与第二样本之间的深度差等于或小于阈值的情况下将dbf的强度设定为第二值。
3、在滤波操作与blf相关联的示例中,视频解码设备可以被配置为基于深度信息确定第一样本与第二样本之间的深度差,并且当基于第二样本将blf应用于第一样本时,基于第一样本与第二样本之间的深度差调整第二样本对滤波的贡献。举例来说,视频解码设备可以调整第二样本的贡献,使得该贡献与第一样本与第二样本之间的深度差成反比。
4、在滤波操作与sao相关联的示例中,视频解码设备可以被配置为基于深度信息确定第一样本与第二样本之间的深度差,并且当基于第二样本将sao应用于第一样本时,基于第一样本与第二样本之间的深度差确定待应用于第一样本的滤波偏移。在滤波操作与cc-sao相关联的示例中,与视频块相关联的深度信息可以包括与视频块相关联的深度分量,并且视频解码设备可以被配置为基于深度分量确定与cc-sao相关联的滤波偏移。在滤波操作与alf相关联的示例中,视频解码设备可以被配置为基于深度信息确定与alf相关联的一个或多个分类参数。
5、本文关于深度信息或深度不连续性所描述的技术还可以适用于运动信息或运动不连续性。
1.一种由视频解码设备实现的方法,所述方法包括:
2.根据权利要求1所述的方法,其中获得与所述当前视频块相关联的所述深度信息包括在所述视频数据中接收指示所述当前视频块中存在深度不连续性的指示。
3.根据权利要求1所述的方法,其中获得与所述当前视频块相关联的所述深度信息包括:基于在所述视频解码设备处可用的深度分量来确定在所述当前视频块中是否存在深度不连续性。
4.根据权利要求3所述的方法,还包括基于在所述视频解码设备处可用的所述深度分量来确定所述深度不连续性在所述当前视频块中的位置或方向中的至少一者。
5.根据权利要求1至4中任一项所述的方法,其中所述滤波操作与双边滤波器(blf)、解块滤波器(dbf)、自适应环路滤波器(alf)、样本自适应偏移(sao)滤波器或交叉分量样本自适应偏移(cc-sao)滤波器中的至少一者相关联。
6.根据权利要求5所述的方法,其中所述滤波操作与所述dbf相关联,并且其中至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述dbf应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差确定所述dbf的强度。
7.根据权利要求6所述的方法,其中在所述第一样本与所述第二样本之间的所述深度差大于阈值的情况下将所述dbf的所述强度设定为第一值,并且其中在所述第一样本与所述第二样本之间的所述深度差等于或小于所述阈值的情况下将所述强度设定为第二值。
8.根据权利要求5所述的方法,其中所述滤波操作与所述blf相关联,并且其中至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述blf应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差调整所述第二样本对所述滤波的贡献。
9.根据权利要求8所述的方法,其中调整所述第二样本的所述贡献,使得所述贡献与所述第一样本与所述第二样本之间的所述深度差成反比。
10.根据权利要求5所述的方法,其中所述滤波操作与所述sao相关联,并且其中至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述sao应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差确定待应用于所述第一样本的滤波偏移。
11.根据权利要求5所述的方法,其中所述滤波操作与所述cc-sao相关联,其中与所述视频块相关联的所述深度信息包括与所述视频块相关联的深度分量,并且其中至少基于所述深度信息确定所述滤波操作包括基于所述深度分量确定与所述cc-sao相关联的滤波偏移。
12.根据权利要求5所述的方法,其中所述滤波操作与所述alf相关联,并且其中至少基于所述深度信息确定所述滤波操作包括基于所述深度信息确定与所述alf相关联的一个或多个分类参数。
13.根据权利要求1至12中任一项所述的方法,其中所述滤波操作是环内滤波操作或环外滤波操作。
14.根据权利要求1至13中任一项所述的方法,还包括获得与所述当前视频块相关联的运动信息,其中进一步基于所述运动信息确定与所述当前视频块相关联的所述滤波操作。
15.一种视频解码设备,所述视频解码设备包括:
16.根据权利要求15所述的视频解码设备,其中所述处理器被配置为获得与所述当前视频块相关联的所述深度信息包括所述处理器被配置为在所述视频数据中接收指示所述当前视频块中存在深度不连续性的指示。
17.根据权利要求15所述的视频解码设备,其中所述处理器被配置为获得与所述当前视频块相关联的所述深度包括所述处理器被配置为基于在所述视频解码设备处可用的深度分量来确定在所述当前视频块中是否存在深度不连续性。
18.根据权利要求17所述的视频解码设备,其中所述处理器被进一步配置为基于在所述视频解码设备处可用的所述深度分量来确定所述深度不连续性在所述当前视频块中的位置或方向中的至少一者。
19.根据权利要求15至18中任一项所述的视频解码设备,其中所述滤波操作与双边滤波器(blf)、解块滤波器(dbf)、自适应环路滤波器(alf)、样本自适应偏移(sao)滤波器或交叉分量样本自适应偏移(cc-sao)滤波器中的至少一者相关联。
20.根据权利要求19所述的视频解码设备,其中所述滤波操作与所述dbf相关联,并且其中所述处理器被配置为至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:所述处理器被配置为基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述dbf应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差确定所述dbf的强度。
21.根据权利要求20所述的视频解码设备,其中在所述第一样本与所述第二样本之间的所述深度差大于阈值的情况下将所述dbf的所述强度设定为第一值,并且其中在所述第一样本与所述第二样本之间的所述深度差等于或小于所述阈值的情况下将所述强度设定为第二值。
22.根据权利要求19所述的视频解码设备,其中所述滤波操作与所述blf相关联,并且其中所述处理器被配置为至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:所述处理器被配置为基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述blf应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差调整所述第二样本对所述滤波的贡献。
23.根据权利要求21所述的视频解码设备,其中调整所述第二样本的所述贡献,使得所述贡献与所述第一样本与所述第二样本之间的所述深度差成反比。
24.根据权利要求19所述的视频解码设备,其中所述滤波操作与所述sao相关联,并且其中所述处理器被配置为至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:所述处理器被配置为基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述sao应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差确定待应用于所述第一样本的滤波偏移。
25.根据权利要求19所述的视频解码设备,其中所述滤波操作与所述cc-sao相关联,其中与所述视频块相关联的所述深度信息包括与所述视频块相关联的深度分量,并且其中所述处理器被配置为至少基于所述深度信息确定所述滤波操作包括所述处理器被配置为基于所述深度分量确定与所述cc-sao相关联的滤波偏移。
26.根据权利要求19所述的视频解码设备,其中所述滤波操作与所述alf相关联,并且其中所述处理器被配置为至少基于所述深度信息确定所述滤波操作包括所述处理器被配置为基于所述深度信息确定与所述alf相关联的一个或多个分类参数。
27.根据权利要求15至26中任一项所述的视频解码设备,其中所述滤波操作是环内滤波操作或环外滤波操作。
28.根据权利要求15至27中任一项所述的视频解码设备,其中所述处理器被进一步配置为获得与所述当前视频块相关联的运动信息并且进一步基于所述运动信息确定与所述当前视频块相关联的所述滤波操作。
29.一种视频编码设备,所述视频编码设备包括:
30.根据权利要求29所述的视频编码设备,其中所述处理器被配置为确定与所述当前视频块相关联的所述深度信息包括所述处理器被配置为确定所述当前视频块中存在或不存在深度不连续性。
31.根据权利要求30所述的视频编码设备,其中所述处理器被进一步配置为将所述深度信息发信号通知给视频解码设备。
32.根据权利要求20至31中任一项所述的视频编码设备,其中所述滤波操作与双边滤波器(blf)、解块滤波器(dbf)、自适应环路滤波器(alf)、样本自适应偏移(sao)滤波器或交叉分量样本自适应偏移(cc-sao)滤波器中的至少一者相关联。
33.根据权利要求32所述的视频编码设备,其中所述滤波操作与所述dbf相关联,并且其中所述处理器被配置为至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:所述处理器被配置为基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述dbf应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差确定所述dbf的强度。
34.根据权利要求33所述的视频编码设备,其中在所述第一样本与所述第二样本之间的所述深度差大于阈值的情况下将所述dbf的所述强度设定为第一值,并且其中在所述第一样本与所述第二样本之间的所述深度差等于或小于所述阈值的情况下将所述强度设定为第二值。
35.根据权利要求32所述的视频编码设备,其中所述滤波操作与所述blf相关联,并且其中所述处理器被配置为至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:所述处理器被配置为基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述dbf应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差调整所述第二样本对所述滤波的贡献。
36.根据权利要求35所述的视频编码设备,其中调整所述第二样本的所述贡献,使得所述贡献与所述第一样本与所述第二样本之间的所述深度差成反比。
37.根据权利要求32所述的视频编码设备,其中所述滤波操作与所述sao相关联,并且其中所述处理器被配置为至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:所述处理器被配置为基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述sao应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差确定待应用于所述第一样本的滤波偏移。
38.根据权利要求32所述的视频编码设备,其中所述滤波操作与所述cc-sao相关联,其中与所述视频块相关联的所述深度信息包括与所述视频块相关联的深度分量,并且其中所述处理器被配置为至少基于所述深度信息确定所述滤波操作包括所述处理器被配置为基于所述深度分量确定与所述cc-sao相关联的滤波偏移。
39.根据权利要求32所述的视频编码设备,其中所述滤波操作与所述alf相关联,并且其中所述处理器被配置为至少基于所述深度信息确定所述滤波操作包括所述处理器被配置为基于所述深度信息确定与所述alf相关联的一个或多个分类参数。
40.根据权利要求29至39中任一项所述的视频编码设备,其中所述滤波操作是环内操作。
41.根据权利要求29至40中任一项所述的视频编码设备,其中所述处理器被进一步配置为获得与所述当前视频块相关联的运动信息并且进一步基于所述运动信息确定与所述当前视频块相关联的所述滤波操作。
42.一种由视频编码设备实现的方法,所述方法包括:
43.根据权利要求42所述的方法,其中确定与所述当前视频块相关联的所述深度信息包括确定所述当前视频块中存在或不存在深度不连续性。
44.根据权利要求43所述的方法,还包括将所述深度信息发信号通知给视频解码设备。
45.根据权利要求42至44中任一项所述的方法,其中所述滤波操作与双边滤波器(blf)、解块滤波器(dbf)、自适应环路滤波器(alf)、样本自适应偏移(sao)滤波器或交叉分量样本自适应偏移(cc-sao)滤波器中的至少一者相关联。
46.根据权利要求45所述的方法,其中所述滤波操作与所述dbf相关联,并且其中至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述dbf应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差确定所述dbf的强度。
47.根据权利要求46所述的方法,其中在所述第一样本与所述第二样本之间的所述深度差大于阈值的情况下将所述dbf的所述强度设定为第一值,并且其中在所述第一样本与所述第二样本之间的所述深度差等于或小于所述阈值的情况下将所述强度设定为第二值。
48.根据权利要求45所述的方法,其中所述滤波操作与所述blf相关联,并且其中至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述dbf应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差调整所述第二样本对所述滤波的贡献。
49.根据权利要求48所述的方法,其中调整所述第二样本的所述贡献,使得所述贡献与所述第一样本与所述第二样本之间的所述深度差成反比。
50.根据权利要求45所述的方法,其中所述滤波操作与所述sao相关联,并且其中至少基于所述深度信息确定与所述当前视频块相关联的所述滤波操作包括:基于所述深度信息确定第一样本与第二样本之间的深度差,并且当基于所述第二样本将所述sao应用于所述第一样本时,基于所述第一样本与所述第二样本之间的所述深度差确定待应用于所述第一样本的滤波偏移。
51.根据权利要求45所述的方法,其中所述滤波操作与所述cc-sao相关联,其中与所述视频块相关联的所述深度信息包括与所述视频块相关联的深度分量,并且其中至少基于所述深度信息确定所述滤波操作包括基于所述深度分量确定与所述cc-sao相关联的滤波偏移。
52.根据权利要求45所述的方法,其中所述滤波操作与所述alf相关联,并且其中至少基于所述深度信息确定所述滤波操作包括基于所述深度信息确定与所述alf相关联的一个或多个分类参数。
53.根据权利要求42至52中任一项所述的方法,其中所述滤波操作是环内操作。
54.根据权利要求42至53中任一项所述的方法,还包括获得与所述当前视频块相关联的运动信息,其中进一步基于所述运动信息确定与所述当前视频块相关联的所述滤波操作。
55.一种计算机程序产品,所述计算机程序产品存储在非暂态计算机可读介质上并且包括程序代码指令,所述程序代码指令用于在由处理器执行时实现根据权利要求1至14或权利要求42至54中任一项所述的方法的步骤。
56.一种计算机程序,所述计算机程序包括程序代码指令,所述程序代码指令用于在由处理器执行时实现根据权利要求1至14或权利要求42至54中任一项所述的方法的步骤。
57.一种比特流,所述比特流包括表示所述当前视频块的信息或根据权利要求1至14或权利要求42至54中任一项所述的方法的所述深度信息。
58.一种视频解码设备,所述视频解码设备包括:
59.一种视频编码设备,所述视频编码设备包括:
