视频质量确定方法、装置、存储介质及电子设备与流程

专利2022-05-09  87


本公开涉及计算机视觉技术领域,尤其涉及视频质量确定方法、装置、存储介质及电子设备。



背景技术:

视频作为人类社交过程中传达信息的重要媒体资源,已经被广泛用于各种应用软件之中,通过视频剪辑的方式将来源不同的视频进行剪辑、拼接等操作,可以得到新的视频,从而提升视频的数量和表现力。

相关技术中难以准确对视频的序列合理度进行量化,故较多依赖于剪辑师的专业能力和人工设定的剪辑规则来保证剪辑得到的视频是合理的,一定程度上降低剪辑效率提升了人力成本。为了提升剪辑效率,相关技术中也提出了自动剪辑方法,比如基于视频片段颜色一致性的视频剪辑方法来保障剪辑得到的视频的序列合理度,但是颜色一致性与视频合理度并不能够等同,以颜色是否一致作为视频的序列是否合理的标准可能导致剪辑得到的视频缺乏视觉冲击力,造成视频表现力下降。

综上所述,相关技术中尚缺乏能够客观准确计算视频的序列合理度的方案,这也在一定程度上影响了剪辑视频的效率和剪辑得到的视频的表现力。



技术实现要素:

本公开提供视频质量确定方法、装置、存储介质及电子设备,以至少解决相关技术中尚缺乏能够客观准确确定视频的序列合理度的方案的问题。本公开的技术方案如下:

根据本公开实施例的第一方面,提供一种视频质量确定方法,包括:

获取视频,对所述视频进行基于镜头的切分,得到所述视频对应的镜头序列;

确定所述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列;

根据特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中确定目标特征片段,所述特征片段库中的特征片段根据参考视频处理得到;

根据所述目标特征片段在所述特征片段库中出现的次数,确定所述目标特征片段的合理度;

根据所述目标特征片段的合理度,确定所述视频的质量。

在一示例性的实施方式中,所述确定所述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列,包括:

对所述每个镜头进行特征提取,得到对应的特征提取结果;

根据所述特征提取结果查询镜头特征库,将所述镜头特征库中与所述特征提取结果距离最近的镜头特征确定为所述每个镜头对应的镜头特征;所述镜头特征库中的镜头特征根据所述参考视频处理得到。

在一示例性的实施方式中,所述根据所述目标特征片段在所述特征片段库中出现的次数,确定所述目标特征片段的合理度,包括:

在所述特征片段库中查询所述目标特征片段出现的次数;

若所述次数高于预设阈值,则根据所述目标特征片段出现的次数确定所述目标特征片段出现的概率,将所述概率作为所述目标特征片段的合理度;

若所述次数小于等于所述预设阈值,则将所述目标特征片段的合理度设置为缺省值。

在一示例性的实施方式中,所述根据特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中确定目标特征片段,包括:根据所述特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中提取全部目标特征片段;

所述根据所述目标特征片段的合理度,确定所述视频的质量,包括:计算各个所述目标特征片段的合理度的乘积,根据乘积结果确定所述视频的质量。

在一示例性的实施方式中,所述方法还包括:

提取所述参考视频中的镜头;

对所述参考视频中的镜头进行特征提取,得到对应的参考镜头特征提取结果;

对各个所述参考镜头特征提取结果进行聚类,得到聚类结果;

确定所述聚类结果中的每个类对应的类镜头特征;

根据各个所述类镜头特征构建所述镜头特征库。

在一示例性的实施方式中,所述方法还包括:

对所述参考视频进行基于镜头的切分,得到所述参考视频对应的参考镜头序列;

对于所述参考镜头序列中的参考镜头,查询所述镜头特征库得到所述参考镜头对应的参考镜头特征,形成参考镜头特征序列;

在所述参考镜头特征序列中提取特征片段;

根据提取结果构建所述特征片段库。

根据本公开实施例的第二方面,提供一种视频质量确定装置,包括:

镜头序列获取模块,被配置为执行获取视频,对所述视频进行基于镜头的切分,得到所述视频对应的镜头序列;

镜头特征序列获取模块,被配置为执行确定所述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列;

目标特征片段确定模块,被配置为执行根据特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中确定目标特征片段,所述特征片段库中的特征片段根据参考视频处理得到;

目标特征片段合理度确定模块,被配置为执行根据所述目标特征片段在所述特征片段库中出现的次数,确定所述目标特征片段的合理度;

视频质量确定模块,被配置为执行根据所述目标特征片段的合理度,确定所述视频的质量。

在一示例性的实施方式中,所述镜头特征序列获取模块,包括:

特征提取结果获取单元,被配置为执行对所述每个镜头进行特征提取,得到对应的特征提取结果;

镜头特征确定单元,被配置为执行根据所述特征提取结果查询镜头特征库,将所述镜头特征库中与所述特征提取结果距离最近的镜头特征确定为所述每个镜头对应的镜头特征;所述镜头特征库中的镜头特征根据所述参考视频处理得到。

在一示例性的实施方式中,所述目标特征片段合理度确定模块,被配置为执行在所述特征片段库中查询所述目标特征片段出现的次数;若所述次数高于预设阈值,则根据所述目标特征片段出现的次数确定所述目标特征片段出现的概率,将所述概率作为所述目标特征片段的合理度;若所述次数小于等于所述预设阈值,则将所述目标特征片段的合理度设置为缺省值。

在一示例性的实施方式中,所述目标特征片段确定模块,被配置为执行根据所述特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中提取全部目标特征片段;所述视频质量确定模块,被配置为执行计算各个所述目标特征片段的合理度的乘积,根据乘积结果确定所述视频的质量。

在一示例性的实施方式中,所述装置还包括:

参考视频镜头提取模块,被配置为执行提取所述参考视频中的镜头;

参考镜头特征提取结果获取模块,被配置为执行对所述参考视频中的镜头进行特征提取,得到对应的参考镜头特征提取结果;

聚类模块,被配置为执行对各个所述参考镜头特征提取结果进行聚类,得到聚类结果;

类镜头特征获取模块,被配置为执行确定所述聚类结果中的每个类对应的类镜头特征;

镜头特征库构建模块,被配置为执行根据各个所述类镜头特征构建所述镜头特征库。

在一示例性的实施方式中,所述装置还包括:

参考镜头序列确定模块,被配置为执行对所述参考视频进行基于镜头的切分,得到所述参考视频对应的参考镜头序列;

参考镜头特征序列获取模块,被配置为执行对于所述参考镜头序列中的参考镜头,查询所述镜头特征库得到所述参考镜头对应的参考镜头特征,形成参考镜头特征序列;

特征片段获取模块,被配置为执行在所述参考镜头特征序列中提取特征片段;

特征片段库构建模块,被配置为执行根据提取结果构建所述特征片段库。

根据本公开实施例的第三方面,提供一种电子设备,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现上述如第一方面中任一项所述的视频质量确定方法。

根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述如第一方面中任一项所述的视频质量确定方法。

根据本公开实施例的第五方面,提供一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述如第一方面中任一项所述的视频质量确定方法。

本公开的实施例提供的技术方案至少带来以下有益效果:

本公开提供一种视频质量确定方案,可以自动高效地将视频质量准确量化,本公开实施例示出的视频质量确定方案不受限于人工制定的规则或具体场景,具备较好的普适性,依托于本公开示出的视频质量确定方案最终得到的视频可以具备高序列合理度和高表现力的优势。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频质量确定方法的应用环境示意图;

图2是根据一示例性实施例示出的一种视频质量确定方法的流程图;

图3是根据一示例性实施例示出的对上述视频进行基于镜头的切分,得到上述视频对应的镜头序列的流程图;

图4是根据一示例性实施例示出的对上述确定上述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列的流程图;

图5是根据一示例性实施例示出的构建镜头特征库的方法的流程图;

图6是根据一示例性实施例示出的特征片段库构建方法的流程图;

图7是根据一示例性实施例示出的目标特征片段的合理度确定方法流程图;

图8是根据一示例性实施例示出的一种视频质量确定装置框图;

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在视频剪辑过程中,为了保证剪辑结果中的镜头序列是合理的,可以设置剪辑规则,依赖于专业的剪辑师和设定好的剪辑规则剪辑出新的视频,但是这对剪辑师的要求较高,人力成本过高导致了剪辑效率的降低。随着计算机技术的发展,也可以依赖于自动剪辑来自动生成新的视频,比如,基于视频片段颜色一致性方法剪辑视频。但是视觉上颜色一致与否与逻辑序列合理与否并不能完全等同,比如从黑夜镜头过渡到白天镜头形成的镜头序列中的镜头在视觉颜色上不同,但是这种镜头序列是合理的,可见基于颜色一致性的剪辑方法得到的视频可能造成合理的镜头序列被丢弃,降低了视频表现力。

为了在能够高效剪辑出具备高序列合理度的视频的同时不降低视频的表现力,本公开实施例示出了一种视频质量确定方法,依托于大数据统计结果计算视频短序列的合理度,并基于短序列合理度确定视频的质量。通过在序列合理度这个维度上客观量化视频质量,可以使得基于本公开实施例中的视频质量确定方法筛选得到的视频可以不仅具备合理的序列合理度,还可以维持较好的视频表现力,为用户带来新鲜的视听体验。

请参阅图1,其所示为根据一示例性实施例示出的一种视频质量确定方法的应用环境图,该应用环境可以包括终端110和服务器120。

其中,终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。终端110中可以运行有由服务器120提供后台服务的客户端。

在一示例性的实施方式中,该客户端可以向上述服务器120发送剪辑好的视频,该视频可以由人工剪辑得到。获取并显示服务器120返回的对该剪辑好的视频的视频质量的确定结果,若上述确定结果高于第一阈值,则可以保留该视频,若上述计算结果低于第二阈值,说明该视频的镜头序列不甚合理,该客户端可以对该剪辑好的视频进行进一步的编辑修正。通过服务器辅助人工剪辑的方式,提升人工剪辑的视频的序列合理度和表现力,也降低了对人工专业能力的要求,降低了人力成本。本公开实施例不限定上述第一阈值和上述第二阈值的具体数值。

在另一示例性的实施方式中,该客户端可以通过与服务器120交互获取各种镜头,并且对于获取到的镜头进行自动剪辑,得到剪辑后的视频。获取并显示服务器120返回的对该剪辑好的视频的视频质量的确定结果,若上述确定结果高于上述第一阈值,则可以保留该视频,若上述确定结果低于上述第二阈值,可以丢弃该视频。通过服务器辅助自动剪辑的方式,筛选得到序列合理的剪辑结果,既通过自动剪辑提升剪辑效率,又确保了剪辑结果的序列合理度和表现力。

图1中所示的服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,终端110和服务器120之间可以通过有线网络或者无线网络连接。

图2是根据一示例性实施例示出的一种视频质量确定方法的流程图,如图2所示,以该视频质量确定方法应用于图1所示的服务器120中进行说明,包括以下步骤。

在步骤s10中,获取视频,对上述视频进行基于镜头的切分,得到上述视频对应的镜头序列。

具体地,本公开中镜头可以被理解为摄像机的单操作产生的图像序列,本公开实施例中的视频可以被视为是由一系列镜头按序拼接形成的镜头序列。本公开实施例中视频的类型包括但不限于:体育视频,新闻联播视频、影视视频、短视频等,本公开实施例并不对视频类型进行限制。

本公开实施例中并不限定基于镜头的切分的具体方法,在一个示例性的实施方式中,可以参考图3,其是根据一示例性实施例示出的对上述视频进行基于镜头的切分,得到上述视频对应的镜头序列的流程图,包括:

在步骤s11中,按照时间顺序,将视频划分为各个视频片段。

在步骤s12中,获取各个视频片段各自对应的镜头类型,其中,镜头类型为第一镜头类型或者第二镜头类型,第一镜头类型表征具有变化的镜头,第二镜头类型表征不具有变化的镜头。

步骤s13中,针对镜头类型为第一镜头类型的各个视频片段,获取该视频片段的图像方差。

步骤s14中,针对镜头类型为第一镜头类型的各个视频片段,根据该视频片段的图像方差,获取该视频的镜头边界信息,其中,镜头边界信息包括镜头变化位置,镜头变化位置可以是镜头突变情况下的变化切点,也可以是镜头渐变情况下的变化区域。

步骤s15中,根据镜头类型为第一镜头类型的各个视频片段的镜头边界信息,将该视频划分为多个镜头,得到该视频对应的镜头序列。

在步骤s20中,确定上述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列。

在一个示例性的实施方式中,可以参考图4,其是根据一示例性实施例示出的对上述确定上述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列的流程图,包括:

在步骤s21中,对上述每个镜头进行特征提取,得到对应的特征提取结果。

本步骤中的特征提取方法与下文构建镜头特征库时使用的特征提取方法一致,具体请参考下文。

在步骤s22中,根据上述特征提取结果查询镜头特征库,将上述镜头特征库中与上述特征提取结果距离最近的镜头特征确定为上述每个镜头对应的镜头特征;上述镜头特征库中的镜头特征根据参考视频处理得到。

本公开实施例中镜头特征库用于查询镜头对应的镜头特征,在实际使用中,可以基于从海量视频(参考视频)中提取的大数据量的镜头构建得到。但是,直接从海量视频中提取得到的镜头存在大量的冗余。比如,在办公室开会这个场景中,描述办公室开会场景的镜头可能成百上千,这些镜头彼此之间是高度相似的。因此,直接根据海量镜头构建的镜头特征库相应的也可能存在较大的数据冗余,这种数据冗余可能会导致在确定视频质量的过程中计算量的增大和计算速度的降低,并且镜头特征库本身也占据了较多的存储资源和运行资源。

为了镜头特征库的冗余度,在一个示例性的实施方式中,可以参考图5,其是根据一示例性实施例示出的构建镜头特征库的方法的流程图,包括:

在步骤s210,提取上述参考视频中的镜头。

本公开实施例中参考视频可以来源于服务器存储的视频资源,或者也可以来自于从网络中爬取到的海量视频,这些视频可以被实际呈现给用户,本公开实施例中可以认为这些视频的序列通常较为合理,在本公开实施例中将这些视频作为参考视频,将该参考视频作为构建镜头特征库的素材。通过对这些参考视频进行基于镜头的切分,可以得到参考视频中的镜头。本公开实施例并未限定切分的具体方法,可以参考步骤s10中的相关描述。

在步骤s220,对上述参考视频中的镜头进行特征提取,得到对应的参考镜头特征提取结果。

本公开实施例并不限定对于参考视频中的镜头进行特征提取的具体方法。示例性的,在一个具体的实施方式中,可以从上述参考视频中的镜头中提取出视频帧,然后再对提取出的视频帧进行图像特征提取,根据得到各个视频帧的图像特征提取结果,得到上述参考视频中的镜头对应的特征提取结果。本公开实施例中并不限定进行图像特征提取的方法,可以采用人工智能的方法,比如,通过训练好的卷积神经网络(convolutionalneuralnetworks,cnn)、计算机视觉组网络(visualgeometrygroup,vgg)对视频帧进行图像特征提取;也可以采用非人工智能的方法,比如通过方向梯度直方图(histogramoforientedgradient,hog)、尺度不变特征变换(scale-invariantfeaturetransform,sift),对视频帧进行图像特征提取。

在步骤s230,对各个上述参考镜头特征提取结果进行聚类,得到聚类结果。

有鉴于海量参考视频中的镜头之间可能存在较大的冗余,本公开实施例可以对参考镜头特征提取结果进行聚类。通常用于描述相同场景的不同的镜头彼此相似,而描述不同场景的不同的镜头彼此差异较大,通过聚类的方式可以将彼此相似的镜头归为一类,并使用统一的镜头特征表达这一类的镜头的镜头特征。示例性的,在聚类之前,办公场景中的镜头1对应参考镜头特征提取结果1,镜头2对应参考镜头特征提取结果2,喂猫场景中的镜头3对应参考镜头特征提取结果3,镜头4对应参考镜头特征提取结果4。在聚类后,可以相应的得到两个类,其中类目1包括镜头1和镜头2,类目2包括镜头3和镜头4。

在步骤s240,确定上述聚类结果中的每个类对应的类镜头特征。

本公开实施例中并不限定提取每个类的类镜头特征的具体方法,示例性的,可以根据每个类的聚类中心确定上述每个类镜头特征。示例性的,类目n为由m个参考镜头特征提取结果形成,可以将这m个参考镜头特征提取结果唯一确定的中心所对应的数据确定为上述类目n的类镜头特征。

在步骤s250,根据各个上述类镜头特征构建上述镜头特征库。

通过将海量的镜头对应的参考镜头特征提取结果进行聚类,并保留每个类对应的类镜头特征,可以构建得到镜头特征库。相似度高的镜头可以被归为一类,对应于同一个类镜头特征,而相似度低的镜头可以被归为不同类,对应于不同的类镜头特征,从而使得镜头特征库在显著降低数据冗余的前提下达到了记录镜头特征的目的。

本公开实施例中通过查询镜头特征库可以得到每个镜头对应的镜头特征,本公开中视频质量的确定实质是对于视频的镜头特征序列的合理度评估,通过准确得到视频中每个镜头的镜头特征,提升了镜头特征序列的准确度,从而也提升了视频质量确定的准确度。

在步骤s30中,根据特征片段库中特征片段所包含的镜头特征的数量,从上述镜头特征序列中确定目标特征片段,上述特征片段库中的特征片段根据上述参考视频处理得到。

本公开实施例中上述目标特征片段为上述镜头特征序列中预设数量个连续镜头特征形成的序列,上述预设数量即为特征片段库中特征片段所包含的镜头特征的数量。

示例性的,若特征片段库中特征片段所包含的镜头特征的数量为三,则上述镜头特征序列中每连续三个镜头特征可以形成一个目标特征片段。

示例性的,若上述镜头特征序列为{a,b,c,d,e},并且特征片段库中特征片段所包含的镜头特征的数量为3,则{a,b,c},{b,c,d},{c,d,e}都是目标特征片段。

在一个示例性的实施方式中,可以提取上述镜头特征序列中的全部的目标特征片段。示例性的,对于镜头特征序列{a,b,c,d,e},在步骤s30中可以提取得到3个目标特征片段,分别为{a,b,c},{b,c,d},{c,d,e}。

在步骤s40中,根据上述目标特征片段在上述特征片段库中出现的次数,确定上述目标特征片段的合理度。

本步骤基于特征片段库计算目标特征片段的合理度。在一个示例性的实施方式中,可以参考图6,其是根据一示例性实施例示出的特征片段库构建方法的流程图,包括:

在步骤s310中,对上述参考视频进行基于镜头的切分,得到上述参考视频对应的参考镜头序列。

在步骤s320中,对于上述参考镜头序列中的参考镜头,查询上述镜头特征库得到上述参考镜头对应的参考镜头特征,形成参考镜头特征序列。

本公开实施例中的特征片段库的构建过程应用到前文所述的镜头特征库,根据镜头特征库查询每个参考镜头对应的参考镜头特征,得到参考镜头特征序列。具体地,可以基于上述镜头特征库得到上述参考镜头序列中每个参考镜头对应的镜头特征。这个过程与前文所述步骤s21-s22相同,在此不再赘述。

在步骤s330中,在上述参考镜头特征序列中提取特征片段。

具体地,上述特征片段表征上述参考镜头特征序列中预设数量个连续的参考镜头特征构成的子序列。

示例性的,若上述参考镜头特征序列为{a,b,c,d,e},并且上述预设数量为3,则{a,b,c},{b,c,d},{c,d,e}都是特征片段。

在步骤s340中,根据提取结果构建上述特征片段库。

示例性的,以三个参考视频为例说明如下:

参考视频1对应的参考镜头特征序列为{a,b,c,d,e},提取到的特征片段为{a,b,c},{b,c,d},{c,d,e};

参考视频2对应的参考镜头特征序列为{a,q,c,d,e},提取到的特征片段为{a,q,c},{q,c,d},{c,d,e};

参考视频3对应的参考镜头特征序列为{a,b,c,d,w},提取到的特征片段为{a,b,c},{b,c,d},{c,d,w};

则上述特征片段库相应的包括9个特征片段,分别为{a,b,c},{b,c,d},{c,d,e},{a,q,c},{q,c,d},{c,d,e},{a,b,c},{b,c,d},{c,d,w},其中,特征片段{b,c,d}出现两次,特征片段{c,d,e}出现两次,特征片段{a,b,c}出现两次,其它特征片段均出现一次。

本公开实施例通过构建得到特征片段库可以便于统计每个目标特征片段的出现次数,根据该出现次数量化目标特征片段的序列合理度,基于目标特征片段的序列合理度可以准确计算得到待评估的视频的视频质量。

在一个实施例中,可以参考图7,其是根据一示例性实施例示出的目标特征片段的合理度确定方法流程图,上述根据上述目标特征片段在上述特征片段库中出现的次数,确定上述目标特征片段的合理度,包括:

在步骤s41中,在上述特征片段库中查询上述目标特征片段出现的次数。

示例性的,以上文所述的包括9个特征片段的特征片段库为例,特征片段{b,c,d}出现两次,特征片段{c,d,e}出现两次,特征片段{a,b,c}出现两次,其它特征片段均出现一次。若目标特征片段为{b,c,d},则其对应的次数为2,若目标特征片段为{a,b,c},则其对应的次数为2,若目标特征片段为{i,p,i}显然其并未出现在上述特征片段库中,其出现次数为0。

在步骤s42中,若上述次数高于预设阈值,则根据上述目标特征片段出现的次数确定上述目标特征片段出现的概率,将上述概率作为上述目标特征片段的合理度。

本公开实施例中对于上述预设阈值不进行限定,其可以为大于0的正整数,具体数值根据实际情况设定即可。

在一个可行的实施方式中,上述概率为上述次数与目标数的比值,上述目标数为以上述镜头特征库中镜头特征的总数量为底数,以目标特征片段中的镜头特征的数量为指数得到的数值。

在步骤s43中,若上述次数小于等于上述预设阈值,则将上述目标特征片段的合理度设置为缺省值。

示例性的,若目标特征片段并未出现在特征片段库中,则可以将其合理度设置为缺省值,本公开实施例中缺省值可以小于在步骤s42中计算到的任意上述概率的最小值。

本公开实施例中可以根据目标特征片段在特征片段库中出现次数的统计结果确定该目标特征片段的合理度,目标特征片段的合理度的计算过程是客观的,并没有以人为设定的规则为依据,并且与大数据统计结果相一致,这可以使得基于该目标特征片段的合理度得到的视频质量的确定结果更为准确。

在步骤s50中,根据上述目标特征片段的合理度,确定上述视频的质量。

在一个示例性的实施方式中,可以提取上述镜头特征序列中的全部的目标特征片段。相应的,计算各个上述目标特征片段的合理度的乘积,根据该乘积结果确定上述视频的质量。通过得到视频的全部目标特征片段,并根据上述目标特征片段对应的合理度的乘积确定视频的质量,可以较为全面地衡量视频的镜头序列中相邻镜头是否合理,准确将视频的序列合理程度量化,使得视频质量的确定结果准确。

在另一个示例性的实施方式中,可以随机抽取上述镜头特征序列中的部分目标特征片段,相应的,计算各个上述目标特征片段的合理度的乘积,根据该乘积结果确定上述视频的质量。

在另一个示例性的实施方式中,也可以随机抽取上述镜头特征序列中的单个目标特征片段,相应的,根据该单个目标特征片段的合理度确定上述视频的质量。

本公开实施例中并不限定根据上述乘积结果或单个目标特征片段的合理度确定视频质量的具体方法。

在一个实施例中,可以直接将上述乘积结果或单个目标特征片段的合理度作为质量得分输出或应用。在其他实施例中,可以基于预设质量确定规则得到视频的质量。比如,若上述乘积结果或单个目标特征片段的合理度高于预设高值,则判定该视频为高质量视频;若上述乘积结果或单个目标特征片段的合理度低于预设低值,则判定该视频为低质量视频。本公开实施例并不对预设高值或预设低值的具体数值进行限定。

本公开实施例提供一种视频质量确定方法,可以自动高效地将视频质量准确量化,本公开实施例示出的视频质量确定方案不受限于人工制定的规则或具体场景,具备较好的普适性,依托于本公开实施例示出的视频质量确定方案最终得到的视频可以具备高序列合理度和高表现力的优势。

图8是根据一示例性实施例示出的一种视频质量确定装置,如图8所示,上述装置包括:

镜头序列获取模块10,被配置为执行获取视频,对上述视频进行基于镜头的切分,得到上述视频对应的镜头序列;

镜头特征序列获取模块20,被配置为执行确定上述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列;

目标特征片段确定模块30,被配置为执行根据特征片段库中特征片段所包含的镜头特征的数量,从上述镜头特征序列中确定目标特征片段,上述特征片段库中的特征片段根据参考视频处理得到;

目标特征片段合理度确定模块40,被配置为执行根据上述目标特征片段在上述特征片段库中出现的次数,确定上述目标特征片段的合理度;

视频质量确定模块50,被配置为执行根据上述目标特征片段的合理度,确定上述视频的质量。

在一示例性的实施方式中,上述镜头特征序列获取模块,包括:

特征提取结果获取单元,被配置为执行对上述每个镜头进行特征提取,得到对应的特征提取结果;

镜头特征确定单元,被配置为执行根据上述特征提取结果查询镜头特征库,将上述镜头特征库中与上述特征提取结果距离最近的镜头特征确定为上述每个镜头对应的镜头特征;上述镜头特征库中的镜头特征根据上述参考视频处理得到。

在一示例性的实施方式中,上述目标特征片段合理度确定模块,被配置为执行在上述特征片段库中查询上述目标特征片段出现的次数;若上述次数高于预设阈值,则根据上述目标特征片段出现的次数确定上述目标特征片段出现的概率,将上述概率作为上述目标特征片段的合理度;若上述次数小于等于上述预设阈值,则将上述目标特征片段的合理度设置为缺省值。

在一示例性的实施方式中,上述目标特征片段确定模块,被配置为执行根据上述特征片段库中特征片段所包含的镜头特征的数量,从上述镜头特征序列中提取全部目标特征片段;上述视频质量确定模块,被配置为执行计算各个上述目标特征片段的合理度的乘积,根据乘积结果确定上述视频的质量。

在一示例性的实施方式中,上述装置还包括:

参考视频镜头提取模块,被配置为执行提取上述参考视频中的镜头;

参考镜头特征提取结果获取模块,被配置为执行对上述参考视频中的镜头进行特征提取,得到对应的参考镜头特征提取结果;

聚类模块,被配置为执行对各个上述参考镜头特征提取结果进行聚类,得到聚类结果;

类镜头特征获取模块,被配置为执行确定上述聚类结果中的每个类对应的类镜头特征;

镜头特征库构建模块,被配置为执行根据各个上述类镜头特征构建上述镜头特征库。

在一示例性的实施方式中,上述装置还包括:

参考镜头序列确定模块,被配置为执行对上述参考视频进行基于镜头的切分,得到上述参考视频对应的参考镜头序列;

参考镜头特征序列获取模块,被配置为执行对于上述参考镜头序列中的参考镜头,查询上述镜头特征库得到上述参考镜头对应的参考镜头特征,形成参考镜头特征序列;

特征片段获取模块,被配置为执行在上述参考镜头特征序列中提取特征片段;

特征片段库构建模块,被配置为执行根据提取结果构建上述特征片段库。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

在示例性实施例中,还提供了一种电子设备,包括处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行存储器上所存放的指令时,实现上述实施例中的视频质量确定方法的步骤。

该电子设备可以终端、服务器或者类似的运算装置,以该电子设备是服务器为例,图9是根据一示例性实施例示出的视频质量确定方法的电子设备的框图,该电子设备1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)1010(处理器1010可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1030,一个或一个以上存储应用程序1023或数据1022的存储介质1020(例如一个或一个以上海量存储设备)。其中,存储器1030和存储介质1020可以是短暂存储或持久存储。存储在存储介质1020的程序可以包括一个或一个以上模块,每个模块可以包括对电子设备中的一系列指令操作。更进一步地,中央处理器1010可以设置为与存储介质1020通信,在电子设备1000上执行存储介质1020中的一系列指令操作。电子设备1000还可以包括一个或一个以上电源1060,一个或一个以上有线或无线网络接口1050,一个或一个以上输入输出接口1040,和/或,一个或一个以上操作系统1021,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。

输入输出接口1040可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1000的通信供应商提供的无线网络。在一个实例中,输入输出接口1040包括一个网络适配器(networkinterfacecontroller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个示例性实施例中,输入输出接口100可以为射频(radiofrequency,rf)模块,其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解,图9所示的结构仅为示意,其并不对上述电子设备的结构造成限定。例如,电子设备1000还可包括比图9中所示更多或者更少的组件,或者具有与图9所示不同的配置。

在示例性实施例中,还提供了一种存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述实施例中任一种实施方式中提供的视频质量确定方法。

在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述任一种实施方式中提供的视频质量确定方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。


技术特征:

1.一种视频质量确定方法,其特征在于,所述方法包括:

获取视频,对所述视频进行基于镜头的切分,得到所述视频对应的镜头序列;

确定所述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列;

根据特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中确定目标特征片段,所述特征片段库中的特征片段根据参考视频处理得到;

根据所述目标特征片段在所述特征片段库中出现的次数,确定所述目标特征片段的合理度;

根据所述目标特征片段的合理度,确定所述视频的质量。

2.根据权利要求1所述的视频质量确定方法,其特征在于,所述确定所述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列,包括:

对所述每个镜头进行特征提取,得到对应的特征提取结果;

根据所述特征提取结果查询镜头特征库,将所述镜头特征库中与所述特征提取结果距离最近的镜头特征确定为所述每个镜头对应的镜头特征;所述镜头特征库中的镜头特征根据所述参考视频处理得到。

3.根据权利要求1或2所述的视频质量确定方法,其特征在于,所述根据所述目标特征片段在所述特征片段库中出现的次数,确定所述目标特征片段的合理度,包括:

在所述特征片段库中查询所述目标特征片段出现的次数;

若所述次数高于预设阈值,则根据所述目标特征片段出现的次数确定所述目标特征片段出现的概率,将所述概率作为所述目标特征片段的合理度;

若所述次数小于等于所述预设阈值,则将所述目标特征片段的合理度设置为缺省值。

4.根据权利要求1-3中任意一项所述的视频质量确定方法,其特征在于:

所述根据特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中确定目标特征片段,包括:根据所述特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中提取全部目标特征片段;

所述根据所述目标特征片段的合理度,确定所述视频的质量,包括:计算各个所述目标特征片段的合理度的乘积,根据乘积结果确定所述视频的质量。

5.根据权利要求2-4中任意一项所述的视频质量确定方法,其特征在于,所述方法还包括:

提取所述参考视频中的镜头;

对所述参考视频中的镜头进行特征提取,得到对应的参考镜头特征提取结果;

对各个所述参考镜头特征提取结果进行聚类,得到聚类结果;

确定所述聚类结果中的每个类对应的类镜头特征;

根据各个所述类镜头特征构建所述镜头特征库。

6.根据权利要求5所述的视频质量确定方法,其特征在于,所述方法还包括:

对所述参考视频进行基于镜头的切分,得到所述参考视频对应的参考镜头序列;

对于所述参考镜头序列中的参考镜头,查询所述镜头特征库得到所述参考镜头对应的参考镜头特征,形成参考镜头特征序列;

在所述参考镜头特征序列中提取特征片段;

根据提取结果构建所述特征片段库。

7.一种视频质量确定装置,其特征在于,包括:

镜头序列获取模块,被配置为执行获取视频,对所述视频进行基于镜头的切分,得到所述视频对应的镜头序列;

镜头特征序列获取模块,被配置为执行确定所述镜头序列中每个镜头对应的镜头特征,得到镜头特征序列;

目标特征片段确定模块,被配置为执行根据特征片段库中特征片段所包含的镜头特征的数量,从所述镜头特征序列中确定目标特征片段,所述特征片段库中的特征片段根据参考视频处理得到;

目标特征片段合理度确定模块,被配置为执行根据所述目标特征片段在所述特征片段库中出现的次数,确定所述目标特征片段的合理度;

视频质量确定模块,被配置为执行根据所述目标特征片段的合理度,确定所述视频的质量。

8.一种电子设备,其特征在于,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的视频质量确定方法。

9.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的视频质量确定方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的视频质量确定方法。

技术总结
本公开关于视频质量确定方法、装置、存储介质及电子设备。该方法包括获取视频,对该视频进行基于镜头的切分,得到该视频对应的镜头序列;确定该镜头序列中每个镜头对应的镜头特征,得到镜头特征序列;根据特征片段库中特征片段所包含的镜头特征的数量,从该镜头特征序列中确定目标特征片段,该特征片段库中的特征片段根据参考视频处理得到;根据该目标特征片段在该特征片段库中出现的次数,确定该目标特征片段的合理度;根据该目标特征片段的合理度,确定该视频的质量。本公开的视频质量确定方案不受限于人工制定的规则或具体场景,具备较好的普适性,依托于本公开示出的视频质量确定方案最终得到的视频可以具备高序列合理度和高表现力的优势。

技术研发人员:郭晓锋;张德兵
受保护的技术使用者:北京达佳互联信息技术有限公司
技术研发日:2021.03.26
技术公布日:2021.08.03

转载请注明原文地址:https://doc.8miu.com/read-7721.html

最新回复(0)