本公开的实施例总体上涉及视频编解码技术,更具体地说,涉及图像/视频编解码中的多重假设预测的信令。
背景技术:
1、如今,数字视频功能正被应用于人们生活的各个方面。针对视频编码/解码,已经提出了多种类型的视频压缩技术,如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4part10高级视频编码(avc)、itu-th.265高效视频编码(hevc)标准、通用视频编码(vvc)标准。然而,传统视频编码技术的编码效率普遍较低,这是不期望的。
技术实现思路
1、本公开的实施方案提供了一种用于视频处理的解决方案。
2、在第一方面中,提出了一种视频处理方法。该方法包括:在视频的视频单元与所述视频单元的比特流之间的转换期间,确定所述视频单元的多重假设信息,所述视频单元是经多重假设编解码的视频单元;将所述多重假设信息插入基于历史的运动候选表中;以及根据所述基于历史的运动候选表执行所述转换。与传统解决方案相比,所提出的方法能有效提高编解码效率和性能。
3、在第二方面中,提出了一种用于处理视频数据的装置,包括处理器和在其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使所述处理器执行根据第一方面所述的方法。
4、在第三方面中,提出了一种用于处理视频数据的装置。非暂态计算机可读存储介质存储有指令,这些指令处理器执行根据第一方面所述的方法。
5、在第四方面中,提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储有视频的由视频处理装置执行的方法所生成的比特流,其中该方法包括:确定所述视频的视频单元的多重假设信息,所述视频单元是经多重假设编解码的视频单元;将所述多重假设信息插入基于历史的运动候选表中;以及根据所述基于历史的运动候选表生成所述视频单元的比特流。
6、在第五方面中,提出了另一种视频处理方法。该方法用于存储视频的比特流,其包括:确定所述视频的视频单元的多重假设信息,所述视频单元是经多重假设编解码的视频单元;将所述多重假设信息插入基于历史的运动候选表;根据所述基于历史的运动候选表生成所述视频单元的比特流;以及将所述比特流存储在非暂态计算机可读记录介质中。
7、提供本
技术实现要素:
是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护主题的范围。
1.一种视频处理方法,包括:
2.根据权利要求1所述的方法,其中所述多重假设信息包括所述视频单元的附加假设的多重假设数据。
3.根据权利要求1所述的方法,其中所述多重假设信息包括所述视频单元的基本假设的编解码信息。
4.根据权利要求1所述的方法,其中基于历史的运动候选从所述视频单元生成,并且
5.根据权利要求4所述的方法,如果所述视频单元的基本假设的编解码信息被插入到所述基于历史的运动候选表中,则所述基于历史的运动候选的多重假设的数目被视为零。
6.根据权利要求1所述的方法,其中所述视频单元的哪部分编解码信息被包括在基于历史的运动候选中取决于所述视频单元的预测信息。
7.根据权利要求6所述的方法,其中所述视频单元的所述编解码信息包括以下至少一项:
8.根据权利要求6所述的方法,其中所述视频单元的所述预测信息包括以下至少一项:
9.根据权利要求6所述的方法,其中,如果所述视频单元是被常规合并编解码的,则所述视频单元的基本假设的编解码信息和所述视频单元的附加假设的多重假设数据被包括在基于历史的运动候选中并且被插入到所述基于历史的运动候选表中。
10.根据权利要求6所述的方法,其中,如果所述视频单元是以下一项:被组合的帧间帧内预测(ciip)编解码的、被几何划分模式(gpm)编解码的或被模板匹配(tm)编解码的,则所述视频单元的基本假设的编解码信息被包含在基于历史的运动候选中并且被插入到所述基于历史的运动候选表中。
11.根据权利要求1所述的方法,其中所述视频单元的多重假设数据是否被包括在基于历史的运动候选中取决于所述基于历史的运动候选的使用情况。
12.根据权利要求11所述的方法,其中如果所述基于历史的运动候选被添加到高级运动矢量预测(amvp)列表中,则所述基于历史的运动候选不包括所述视频单元的多重假设数据。
13.根据权利要求11所述的方法,其中如果所述基于历史的运动候选被添加到合并列表中,则所述基于历史的运动候选包括所述视频单元的多重假设数据。
14.根据权利要求1所述的方法,其中是否将多重假设数据从所述视频单元的邻居视频单元继承到合并候选中取决于所述合并候选或包括所述合并候选的合并候选列表的使用情况。
15.根据权利要求14所述的方法,其中如果所述合并候选被用于tm编解码,则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
16.根据权利要求14所述的方法,其中如果所述合并候选被用于tm编解码,则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
17.根据权利要求14所述的方法,其中如果所述合并候选被用于gpm编解码或与所述gpm编解码相关联的变体,则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
18.根据权利要求14所述的方法,其中如果所述合并候选被用于gpm编解码或与所述gpm编解码相关联的变体,则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
19.根据权利要求14所述的方法,其中如果所述合并候选被用于ciip编解码或与所述ciip编解码相关联的变体,则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
20.根据权利要求14所述的方法,其中如果所述合并候选被用于ciip编解码或与所述ciip编解码相关联的变体,则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
21.根据权利要求14所述的方法,其中如果所述合并候选被用于带有运动矢量差的合并模式(mmvd)编解码,则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
22.根据权利要求14所述的方法,其中如果所述合并候选被用于mmvd编解码,则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
23.根据权利要求14所述的方法,其中如果所述合并候选被用于仿射合并模式编解码,则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
24.根据权利要求14所述的方法,其中如果所述合并候选被用于仿射合并编解码,则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
25.根据权利要求14所述的方法,其中如果所述合并候选被用于基于子块的时间运动矢量预测(sbtmvp)的、带有运动矢量差的合并模式(mmvd)编解码,则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
26.根据权利要求14所述的方法,其中如果所述合并候选被用于sbtmvp合并编解码,则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
27.根据权利要求14所述的方法,其中如果所述合并候选被用于常规合并模式编解码,则所述多重假设数据不从所述邻居视频单元继承到所述合并候选。
28.根据权利要求14所述的方法,其中如果所述合并候选被用于常规合并编解码,则所述多重假设数据从所述邻居视频单元继承到所述合并候选。
29.根据权利要求1所述的方法,其中是否将多重假设数据从所述视频单元的邻居视频单元继承到合并候选取决于反映所述多重假设数据来源的条件。
30.根据权利要求29所述的方法,其中所述条件指示所述多重假设数据是否来自以下一项:
31.根据权利要求29所述的方法,其中所述条件指示所述多重假设数据是否来自与所述视频单元相关联的当前块的非相邻邻居。
32.根据权利要求29所述的方法,其中所述条件指示所述多重假设数据是否来自与关联于所述视频单元的当前块相邻的空间邻居。
33.根据权利要求29所述的方法,其中所述条件指示所述多重假设数据是否来自以下一项:
34.根据权利要求29所述的方法,其中所述多重假设数据继承自与所述视频单元相关联的经编解码的空间邻居块。
35.根据权利要求29所述的方法,其中所述多重假设数据继承自与所述视频单元相关联的经编解码的时间块。
36.根据权利要求29所述的方法,其中如果所述多重假设数据来自经tm编解码的邻居块,则所述多重假设数据不被继承到所述合并候选。
37.根据权利要求29所述的方法,其中如果所述多重假设数据来自经tm编解码的邻居块,则所述多重假设数据被继承到所述合并候选。
38.根据权利要求29所述的方法,其中如果所述多重假设数据来自经gpm编解码的邻居块或所述经gpm编解码的邻居块的变体,则所述多重假设数据不被继承到所述合并候选。
39.根据权利要求29所述的方法,其中如果所述多重假设数据来自经gpm编解码的邻居块或所述经gpm编解码的邻居块的变体,则所述多重假设数据被继承到所述合并候选。
40.根据权利要求29所述的方法,其中如果所述多重假设数据来自经ciip编解码的邻居块或所述经ciip编解码的邻居块的变体,则所述多重假设数据不被继承到所述合并候选。
41.根据权利要求29所述的方法,其中如果所述多重假设数据来自经ciip编解码的邻居块或所述经ciip编解码的邻居块的变体,则所述多重假设数据被继承到所述合并候选。
42.根据权利要求29所述的方法,其中如果所述多重假设数据来自经mmvd编解码的邻居块,则所述多重假设数据不被继承到所述合并候选。
43.根据权利要求29所述的方法,其中如果所述多重假设数据来自经mmvd编解码的邻居块,则所述多重假设数据被继承到所述合并候选。
44.根据权利要求29所述的方法,其中如果所述多重假设数据来自经仿射编解码的邻居块,则所述多重假设数据不被继承到所述合并候选。
45.根据权利要求29所述的方法,其中如果所述多重假设数据来自经仿射编解码的邻居块,则所述多重假设数据被继承到所述合并候选块。
46.根据权利要求29所述的方法,其中如果所述多重假设数据来自经sbtmvp编解码的邻居块,则所述多重假设数据不被继承到所述合并候选。
47.根据权利要求29所述的方法,其中如果所述多重假设数据来自经sbtmvp编解码的邻居块,则所述多重假设数据被继承到所述合并候选块。
48.根据权利要求29所述的方法,其中如果所述多重假设数据来自经常规合并编解码的邻居块,则所述多重假设数据不被继承到所述合并候选块。
49.根据权利要求29所述的方法,其中如果所述多重假设数据来自经常规合并编解码的邻居块,则所述多重假设数据被继承到所述合并候选块。
50.根据权利要求1所述的方法,其中是否将所述多重假设数据包括到amvp候选中取决于所述amvp候选或包括所述amvp候选的amvp列表的使用情况。
51.根据权利要求50所述的方法,其中所述amvp候选或所述amvp列表的使用情况是指以下一项:常规amvp、仿射amvp、或具有对称运动矢量差(smvd)的amvp。
52.根据权利要求1所述的方法,其中是否将所述多重假设数据包括到amvp候选中取决于反映所述多重假设数据来源的条件。
53.根据权利要求52所述的方法,其中所述条件指示所述多重假设数据是否来自以下一项:
54.根据权利要求52所述的方法,其中所述条件指示所述多重假设数据是否来自以下一项:
55.根据权利要求1所述的方法,其中哪种附加假设被允许用于所述视频单元取决于与所述视频单元相关联的附加假设的数目。
56.根据权利要求55所述的方法,其中如果多个附加假设与基本假设相关联,则不允许所述多个附加假设的预测方法相同。
57.根据权利要求55所述的方法,其中针对所述视频单元的基本假设,不允许所述基本假设有多于一个的经帧内编解码的附加假设或多于一个的经平面编解码的附加假设。
58.根据权利要求55所述的方法,其中针对所述视频单元的基本假设,允许预定数目的平面编解码附加假设。
59.根据权利要求1所述的方法,其中第一预测方法不被允许用作所述视频单元的基本假设,且所述视频单元是多假设预测(mhp)视频单元。
60.根据权利要求1所述的方法,其中第二预测方法不被允许用作所述视频单元的附加假设,且所述视频单元是多假设预测(mhp)视频单元。
61.根据权利要求1所述的方法,其中,如果预测方法不被允许用于作为mhp视频单元的所述视频单元,则不针对所述mhp视频单元指示与所述预测方法有关的语法元素。
62.根据权利要求59所述的方法,其中所述第一预测方法是以下一项:
63.根据权利要求60所述的方法,其中所述第二预测方法是以下一项:
64.根据权利要求1所述的方法,其中所述视频单元的多重假设数据包括至少一个语法元素,所述至少一个语法元素指定基于至少一个帧内预测的附加假设的编解码信息。
65.根据权利要求64所述的方法,其中指定附加假设是否是通过第一预测方法编解码的指示在多重假设数据结构中被指示。
66.根据权利要求65所述的方法,其中所述预测方法包括以下方法之一:
67.根据权利要求64所述的方法,其中第一指示在多重假设数据结构中被指示,用于指定附加假设是否是通过第一预测方法编解码的。
68.根据权利要求64所述的方法,其中第二指示在多重假设数据结构中被指示,用于指定附加假设是通过第二预测方法编解码的还是通过第三预测第二预测方法编解码的。
69.根据权利要求67或68所述的方法,其中所述第二指示的存在是以所述第一指示的值为条件的。
70.根据权利要求67或68所述的方法,其中所述第一指示和所述第二指示是被独立指示的。
71.根据权利要求1所述的方法,其中指示是否被指示取决于与所述视频单元相关联的经指定预测方法编解码的假设的数目。
72.根据权利要求71所述的方法,其中所指定的预测方法是以下一项:
73.根据权利要求71所述的方法,其中,如果被编解码的经帧内编解码的假设的数目大于阈值,则不允许经帧内编解码的假设用于所述视频单元。
74.根据权利要求73所述的方法,其中不针对下一假设指示更多的指定所述下一假设是被帧内编解码的还是非帧内编解码的指示。
75.根据权利要求73所述的方法,其中下一假设被继承为被非帧内编解码。
76.根据权利要求1所述的方法,其中指示是否被指示取决于所述视频单元的基本假设的预测方法/模式。
77.根据权利要求76所述的方法,其中,如果所述基本假设是通过预定的预测方法编解码的,则所述指示不被指示或被推断为某个值。
78.根据权利要求76所述的方法,其中如果所述基本假设是通过预定的预测方法编解码的,则不允许向该视频单元提供所述指示。
79.根据权利要求77或78的方法,其中所述预定的预测方法包括以下一项:
80.根据权利要求1所述的方法,其中是否和/或如何针对所述视频单元应用经帧内编解码的假设取决于与所述视频单元相关联的块大小。
81.根据权利要求80所述的方法,其中如果所述块大小不大于虚拟流水线数据单元(vpdu)大小,则允许经帧内编解码的假设。
82.根据权利要求80所述的方法,其中如果所述块大小的宽度或高度小于阈值,则允许经帧内编解码的假设。
83.根据权利要求80所述的方法,其中所述经帧内编解码的预测以子块方式被应用。
84.根据权利要求83所述的方法,其中如果所述视频单元的块大小大于阈值或vpdu大小,则将所述视频单元分割成多个子块,并对每个子块应用所述经帧内编解码的预测。
85.根据权利要求83所述的方法,其中如何将所述视频单元分割成子块是预定义的。
86.根据权利要求85所述的方法,其中所述视频单元被隐性分割成多个子块。
87.根据权利要求85所述的方法,其中所述视频单元被四叉树分割成四个大小平均的子块。
88.根据权利要求85所述的方法,其中所述视频单元被水平分割成多个子块,或
89.根据权利要求1所述的方法,其中所述视频单元的多重假设数据包括至少一个语法元素,所述至少一个语法元素指定对所述视频单元的多重假设进行加权求和的权重。
90.根据权利要求89所述的方法,其中所述视频单元的至少一个假设是帧内预测。
91.根据权利要求89所述的方法,其中所述权重是从编解码信息隐含导出的。
92.根据权利要求91所述的方法,其中所述编解码信息包括所述视频单元的邻居视频单元的预测模式。
93.根据权利要求91所述的方法,其中与基于帧内预测的假设相关的权重从编解码信息中隐含导出并且遵循与ciip权重导出相同的规则。
94.根据权利要求1-93中任一项所述的方法,其中是否和/或如何将所述多重假设信息插入所述基于历史的运动候选表中的指示在以下一项中被指示:
95.根据权利要求1-93中任一项所述的方法,其中是否和/或如何将所述多重假设信息插入所述基于历史的运动候选表中的指示在以下一项中被指示:
96.根据权利要求1-93中任一项所述的方法,其中是否和/或如何将所述多重假设信息插入所述基于历史的运动候选表中的指示被包括在以下一项中:
97.根据权利要求1-93中任一项所述的方法,还包括:
98.根据权利要求1-97中任一项所述的方法,其中所述转换包括将所述视频单元编码到所述比特流中。
99.根据权利要求1-97中任一项所述的方法,其中所述转换包括从所述比特流中解码所述视频单元。
100.一种用于处理视频数据的装置,包括处理器和在其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-99中任一项所述的方法。
101.一种非暂态计算机可读存储介质,存储有使处理器执行根据权利要求1-99中任一项所述的方法的指令。
102.一种非暂态计算机可读记录介质,存储有视频的由视频处理装置执行的方法所生成的比特流,其中所述方法包括:
103.一种用于存储视频的比特流的方法,包括:
