基于内容的高时长视频色情内容检测方法与流程

1.本发明涉及视频内容审核方法，尤其涉及基于内容的高时长视频色情内容 检测方法。


背景技术：

2.互联网技术和自媒体的快速发展给人们的工作和生活带来了诸多便利，然 而，网络视频资源共享为人们提供便利的同时，一些恐暴、色情等不良视频严重 危害青少年的身心健康。我国《宪法》《未成年人保护法》等对不良视频内容明 文禁止。这使得视频审核技术成为了各大视频网站不可或缺的一种重要技术，引 起了广泛关注。
3.现有的视频审核方法多采用人工方法，而视频审核员在审核时往往效率低 下。而一些无需人工介入的智能识别方法，如传统色情检测方法，或神经网络等 深度学习方法，却多用于短视频。这是因为短视频往往具有低分辨率，短时长等 特点，这些特点使得传统方法特别适用于短视频，却难以适用于自然拍摄的长视 频。
4.然而很多含有不良信息的场景，往往多见于百万像素甚至更高分辨率，超过 30分钟的高时长自然视频中，现有的视频审核方法用时极长，消耗计算资源巨 大，难以进行。


技术实现要素：

5.为克服现有百万级别分辨率，时长大于30分钟的视频审核方法高度依赖人 工，用时长，消耗计算资源巨大等不足，本发明提出基于内容的高时长视频色情 内容检测方法，进行高效地智能地审核。
6.本发明的技术方案是这样实现的，基于内容的高时长视频色情内容检测方 法，包括步骤：
7.s1：构造高低分辨率特征图融合单元模块，使用所述高低分辨率特征图融合 单元模块构造高分辨率图像预处理网络；
8.s2：将百万像素级视频数据进行标注，输入所述多分辨率图像预处理网络， 处理为合适的训练格式；
9.s3：搭建低延迟分割网络，所述低延迟分割网络包括基础网络、关键帧选取 模块和特征传播模块，其中所述基础网络使用经过预训练的resnet
‑
101，所述特 征传播模块包括权值预测器模块和随空间变化的卷积方法；
10.s4：使用步骤s2中处理后的视频数据集对所述低延迟分割网络进行训练， 得到低延迟分割模型；
11.s5：使用所述低延迟分割模型和双进程调度方案，对百万级别分辨率、时长 大于30分钟的视频进行视频缩略和重点位置标注；
12.s6：构建时域和空间域分离进行卷积的s3d
‑
g网络；
13.s7：使用数据集对所述时域和空间域分离进行卷积的s3d
‑
g网络进行训练， 得到视频分类网络模型；
14.s8：将步骤s5处理后的缩略视频输入步骤s7视频分类网络模型中进行视 频分类，保存结果；
15.s9：构造文本情感分类网络，使用数据集对此文本情感分类网络进行训练， 得到评论色情内容分类模型；
16.s10：使用步骤s9中所述的论文色情内容分类模型对原视频附带的评论文 本进行分类，并记录结果；
17.s11：构造图像分类网络，使用数据集对此图像分类网络进行训练，得到封 面色情内容分类模型；
18.s12：使用步骤s11中所述的封面色情内容分类模型对原视频附带的封面图 像进行分类，并记录结果；
19.s13：使用步骤s8、s10、s12中所记录的色情内容评定结果，针对于原视 频的视频、封面、评论进行综合评定。
20.进一步地，步骤s1中所述高分辨率图像预处理网络的构造包括步骤:
21.s101：构造高低分辨率特征图融合单元模块，所述高低分辨率特征图融合单 元模块需要2个输入：特征映射1，用f1表示，特征映射2，用f2表示；所述高 低分辨率特征图融合单元模块内部包含一个上采样模块，一个膨胀卷积模块，两 个批处理归一化层，一个求和层和一个relu层；
22.s102：构造高分辨率图像预处理网络。
23.进一步地，步骤s3中所述的低延迟分割网络的搭建包括步骤:
24.s31：基础网络的搭建，基础网络使用经过预训练的resnet
‑
101，网络从帧 中提取视觉特征，将模型分为了两部分，下部和上部，其中下部用s
l
表示，上 部用s
h
表示，来自s
l
的低级特性用于选择关键帧和控制高级特性的传播方式；
25.s32：关键帧选取模块的搭建，对于每个时间步骤t，即一个新的帧，卷积 神经网络较低部分的层s
l
首先计算低层特征f
lt
，基于每个之前关键帧的较低 层特征f
lk
和f
lt
，框架会决定是否设置i
t
为一个新的关键帧，这取决于此帧与 前一个关键帧的偏离程度，如果偏离程度小，说明这是一个重复帧，如果偏离程 度大，则这是一个关键帧，通过利用较低层特征来推断一个新帧是否为关键帧， 不论其是否为关键帧，都计算其高层特征，特别地，当新帧不被认定为关键帧时， 通过之前的关键帧，使用随空间变化的卷积方式来得到当前帧的高层特征，而不 是通过其高层部分直接计算其高层特征，初始化此算法的方式是通过给定第一 帧的高层和低层特征，在之后的每个时间t，都会自动计算；
26.s33：特征传播模块的搭建，设计一个卷积核权重预测器，同时接受两帧的 低层特征f
lt
，其由神经网络较低部分的层s
l
计算得出，然后在所有位置产生卷 积核，其由三个卷积层和relu层交叉在一起，所述卷积核权重预测器的输出结 果是h
k2×
h
×
k，其中h和k是帧的长宽，而h
k2
会被变形为h
k
×
h
k
，经 过一个softmax层之后变成卷积核的标准化权重，经过softmax是为了让每一个 卷积核的权重之和为1。
27.进一步地，步骤s5中所述的使用低延迟分割模型和双进程调度方案，包含 步骤：
28.s51：双进程调度方案的使用，推断一帧为关键帧之后，再计算后面的帧的 高层特征时，使用两个进程，进程一通过特征传播来计算高层特征，而后台进程 二使用此帧i
t
自身特征，从基础网络下部s
l
到上部s
h
，逐层传播计算高层特 征；
29.s52：视频缩略和重点位置标注，使用步骤s4中得到的模型对原视频进行 缩略和重点位置标注。
30.进一步地，步骤s6中所述的构建时域和空间域分离进行卷积的s3d
‑
g网络 包括步骤：
31.s61：构造basicconv3d模块；
32.s62：构造sepconv3d卷积层模块；
33.s63：构造mixed
‑
3d卷积模块；
34.s64：构造s3d
‑
g网络，所述s3d
‑
g网络是基于i3d网络结构改良的s3d
‑ꢀ
g模型，所述i3d网络是双流膨胀3d卷积网络。
35.进一步地，步骤s7中所述数据集为已标注的视频数据集，所述已标注的视 频数据集为二分类视频数据集：有色情内容和无色情内容。
36.进一步地，s8所述的缩略视频输入所述视频分类网络模型中进行视频分类， 并记录结果包括步骤：
37.s81：步骤s5处理后的缩略视频输入步骤s7视频分类网络模型中进行视频 分类，并记录结果。
38.进一步地，s9中所述的评论色情内容分类模型包括步骤：
39.s91：构造文本情感分类网络，所述的文本情感分类网络指的是长短时记忆 网络；
40.s92：带标注语料数据集的收集，构造词向量。其中分类类别定为两类，分 别为有色情内容和无色情内容。
41.s93：使用s92中所述的数据集对长短时记忆网络模型进行训练，得到评论 色情内容分类模型。
42.进一步地，s10中所所述的论文色情内容分类模型对原视频附带的评论文本 进行分类，并记录结果，包括步骤：
43.s101：将原视频附带的评论文本输入步骤s9中模型进行分类，并记录结果。
44.进一步地，s11中所述的构造图像分类网络包括步骤：
45.s111：将原视频附带的评论文本输入步骤s9中模型进行分类，并记录结果；
46.s112：构造图像分类网络，所述的图像分类网络指的是resnet34网络；
47.s113：带标签的数据集的收集，其中分类类别定为两类，分别为有色情内容 和无色情内容；
48.s114：使用s112中所述的数据集对resnet34网络模型进行训练，得到色情 图像分类模型。
49.进一步地，s12中所述的封面色情内容分类模型对原视频附带的封面图像进 行分类包括步骤：
50.s121：使用步骤s11中所述的封面色情内容分类模型对封面图像进行分类， 并记录结果。
51.进一步地，s13所述的色情内容综合评定结果包括步骤：
52.s131：将步骤s8，s10，s12中所记录的结果进行计算获得针对于原视频的 视频、封面、评论的综合评定。
53.本发明的有益效果在于，与现有技术相比，本发明丰富了长视频审核的手段， 可
以针对百万像素级分辨率的且时长大于30分钟的自然视频，尤其是长视频进 行色情内容检测，克服了以往方法处理高分辨率变化的长视频效率低下、对硬件 要求高、延迟高的弊端。
附图说明
54.图1是本发明基于内容的高时长视频色情内容检测方法流程示意图；
55.图2是本发明中高分辨率图像预处理网络设计图；
56.图3是本发明中高低分辨率特征图融合单元设计图；
57.图4是本发明中cnn高低层分界示意图；
58.图5是本发明中低延迟分割网络设计图；
59.图6是应用本发明进行色情内容检测的流程示意图；
60.图7是本发明中basicconv3d模块设计图；
61.图8是本发明中sepconv3d模块设计图；
62.图9是本发明中mixed
‑
3d模块设计图；
63.图10是本发明中s3d
‑
g网络结构设计图；
64.图11是本发明中长短时记忆网络细胞内部结构示意图；
65.图12是本发明中长短时记忆网络结构示意图；
66.图13是本发明中resnet34网络残差单元结构图；
67.图14是本发明中resnet34网络结构示意图。
具体实施方式
68.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
69.请参见图1，本发明基于内容的高时视频色情内容检测方法，包括步骤：
70.s1：构造高低分辨率特征图融合单元模块，使用所述高低分辨率特征图融合 单元模块构造高分辨率图像预处理网络；
71.s2：将百万像素级视频数据进行标注，输入所述多分辨率图像预处理网络， 处理为合适的训练格式；
72.s3：搭建低延迟分割网络，所述低延迟分割网络包括基础网络、关键帧选取 模块和特征传播模块，其中所述基础网络使用经过预训练的resnet
‑
101，所述特 征传播模块包括权值预测器模块和随空间变化的卷积方法；
73.s4：使用步骤s2中处理后的视频数据集对所述低延迟分割网络进行训练， 得到低延迟分割模型；
74.s5：使用所述低延迟分割模型和双进程调度方案，对百万级别分辨率、时长 大于30分钟且含有变化的视频进行视频缩略和重点位置标注；
75.s6：构建时域和空间域分离进行卷积的s3d
‑
g网络；
76.s7：使用数据集对所述时域和空间域分离进行卷积的s3d
‑
g网络进行训练， 得到
视频分类网络模型；
77.s8：将步骤s5处理后的缩略视频输入步骤s7视频分类网络模型中进行视 频分类，保存结果；
78.s9：构造文本情感分类网络，使用数据集对此文本情感分类网络进行训练， 得到评论色情内容分类模型；
79.s10：使用步骤s9中所述的论文色情内容分类模型对原视频附带的评论文 本进行分类，并记录结果；
80.s11：构造图像分类网络，使用数据集对此图像分类网络进行训练，得到封 面色情内容分类模型；
81.s12：使用步骤s11中所述的封面色情内容分类模型对原视频附带的封面图 像进行分类，并记录结果；
82.s13：使用步骤s8、s10、s12中所记录的色情内容评定结果，针对于原视 频的视频、封面、评论进行综合评定。
83.在步骤s1中，构造高低分辨率特征图融合单元模块，使用所述高低分辨率 特征图融合单元模块构造多分辨率图像预处理网络，包括步骤s11和步骤s12。
84.s11：构造高低分辨率特征图融合单元模块。
85.请参见图2，所述高低分辨率特征图融合单元模块需要2个输入，分别是： 特征映射1，用f1表示，特征映射2，用f2表示。其中f1大小是c1×
h1×
w1，f2大小是c2×
h2×
w2，h代表特征图高度，w代表特征图宽度，c代表特征图 数量。
86.所述高低分辨率特征图融合单元模块内部包含一个上采样模块，一个膨胀 卷积模块，两个批处理归一化层，一个求和层，一个relu层。
87.由于f1的分辨率是f2的二分之一，因此使用上采样率为2的双线性插值法， 构建上采样层对输入f1进行两倍上采样。紧接着使用膨胀卷积，卷积核大小为 c3×3×
3，使用膨胀卷积对上采样层得到的结果进行细化，扩张率设置为2。膨 胀卷积将原始中心像素和其临近的像素点的特征信息相结合，保持参数个数不 变的情况下增大了卷积核的感受野，而越大的感受野包含越多的上下文信息，减 少了模型参数，加快了速度。
88.对于另一个输入f2，利用卷积核大小c3×1×
1的投影卷积方法来对f2进行 卷积，使其在经过此卷积层处理后，和f1具有相同的通道数，便于以后合并。
89.将f1，f2经过处理后的特征各自经过一个批处理的归一化层，对特征进行 归一化。再将f1，f2输入求和层和一个relu层，得到融合特征f2’
，其大小为 c3×
h2×
w2。
90.至此，高低分辨率特征图融合单元构造完毕，对于任意输入f1，f2，此单元 输出融合后的特征f2’
，通过此高低分辨率特征图融合单元，可以对不同分辨率 的特征图进行融合，输出融合后的新特征图。
91.s12：构造多分辨率图像预处理网络。
92.请参见图3，针对于视频中任意一帧的一张图像，由于是自然图像，未经过 压缩，因此具有分辨率高的特点，本发明的一个实施例中中应用图像的分辨率选 择1000
×
1000。此全分辨率图像用img表示。
93.全分辨率的输入图像img输入多分辨率图像预处理网络中后，按照2和4 的因子进行降采样，形成中分辨率和低分辨率分支的双分支输入，降采样因子为 2的中分辨率图像
用img2表示，降采样因子为4的低分辨率图像用img4表示。
94.本发明针对高分辨率图像进行处理时，为了克服以往的经典深度学习模型 在处理高分辨率图像时十分费时的困难，我们使用低分辨率输入img4进行语义 提取。如图3中所示，中分辨率图像img2和低分辨率图像img4所经过的卷积 层使用的卷积核共享权值，在之后的训练中共同训练。
95.使用低分辨率图像img4进行语义信息提取的具体方法是，将img4经过3 个卷积层，一个膨胀卷积层和一个减少特征图数量的卷积层，之后送入高低分辨 率特征图融合单元进行特征融合。经过如此处理可以快速得到语义信息，但弊端 在于，其同时也会降低分割质量。因此本发明应用中分辨率和高分辨率分支的中 分辨率图像img2和高分辨率图像img，帮助对粗糙的预测结果进行细化和恢复。
96.使用低分辨率图像img4进行语义信息的提取，尽管生成了模糊而粗糙的边 界，但是仍然获取了原图像大多数语义信息。这是因为尽管图像img4分辨率低， 但是卷积层数量深，而越深的卷积层越能提取到语义信息。而低分辨率分支的输 出和中分辨率分支的输出通过高低分辨率特征图融合单元进行融合，再和高分 辨率分支的输出相融合，既获取了语义信息，又得到了较为精准的边界，兼顾语 义信息和边界信息。
97.其中，高分辨率分支卷积神经网络的权值可以适当降低，因为低分辨率分支 已经获取到了足够的语义信息，降低权值可以使得高分辨率分支起到辅助作用， 而不会影响到低分辨率分支的输出结果，导致模型效果降低。
98.步骤s2中所述的将视频数据集经标注的图像经过多分辨率图像预处理网络 处理为合适的训练格式，其中视频数据集的图像数据使用img表示。将img传 入s1所述的多分辨率图像预处理网络，通过步骤s11和s12所述的方法，处理 成为合适格式的视频数据集图像，用imgs表示。
99.具体实现方法为，将视频数据集用vid表示，将视频vid切分成一个一个独 立的帧，每切分出一帧img，则将其传入s1所述的多分辨率图像预处理网络， 将其按照s12所述的方法，处理为三种不同的分辨率img，img2和img4，并按 照s1中搭建好的网络得到输出imgs。传出的输出大小为c
s
×
h
s
×
w
s
，其中h
s
和w
s
是imgs的长和宽，cs是imgs的特征图数量。
100.步骤s3中所述的低延迟分割网络的搭建包括步骤s31、s32和s33。
101.s31：基础网络的搭建。
102.基础网络使用经过预训练的resnet
‑
101，用model表示。model从帧中提取 视觉特征。model被分为了两部分，下部和上部，其中下部用s
l
表示，上部用 s
h
表示。从低层特征s
l
提取出来的特征为f
l
，从高层特征s
h
提取出来的特征 为f
h
。来自s
l
的低层特征将用于选择关键帧和控制高级特性的传播方式。之所 以使用低层特征进行操作，而不使用高层特征，是因为，低层特征只需要从深度 卷积的浅层提取特征，具有速度快的优势，如果使用高层特征去进行同样的计算， 会导致效率极其低下，因为高层特征需要从深度卷积的深层提取特征，属于暴力 计算。
103.若想通过特征传播的方式对低层特征加以利用，其关键在于到底应该固定 哪些帧，针对这个关键帧选取的问题，需要搭建关键帧选取模块。
104.s32：关键帧选取模块的搭建。
105.请参见图4，任何一个深层的卷积神经网络都分为若干层，在训练的过程中 数据
从第一层输入，逐层抽象。因此按照抽象程度将一个完整的卷积神经网络从 正中一层切割为两部分，神经网络较低部分的层为s
l
，较高部分的层为s
h
。由 s
l
计算出来的低层特征为f
lt
，由s
h
计算出来的高层特征为f
ht
。
106.对于每个时间步骤t，或者说一个新的帧，卷积神经网络较低部分的层s
l
首先计算低层特征f
lt
。基于每个之前关键帧的较低层特征f
lk
和f
lt
，框架会 决定是否设置i
t
为一个新的关键帧，具体的操作方法取决于此帧与前一个关键 帧的偏离程度，如果偏离程度小，说明这是一个重复帧，如果偏离程度大，则这 是一个关键帧。
107.定义“偏移程度”的一种做法是计算两幅图像的曼哈顿距离，但针对于百万 像素级的图像，此做法效率低下。此处使用的方法是，复用多分辨率图像预处理 网络的输出结果，即由网络提取出的低层部分s
l
计算出的低层特征f
l
。使用这 种复用方法的好处在于：
108.(1)复用之前的结果，模型效率大大提升；
109.(2)深度卷积神经网络的浅层信息含有丰富的图像信息，适合于判断两帧 的图像像素偏移程度。
110.通过利用较低层特征f
l
来推断一个新帧是否为关键帧，不论其是否为关键 帧，都计算其高层特征f
h
，特别的，当其不被认定为为关键帧时，通过之前的 关键帧，使用随空间变化的卷积的方式来得到当前帧的高层特征，而不是通过其 高层部分直接计算高层特征。因此在一个完整视频中，只有被选定成为关键帧的 帧才使用高层部分计算，或者说暴力计算。而通过巧妙的选定阈值，可以手动决 定在一个视频中，到底有百分之几的帧需要被选定为关键帧。不被选定的非关键 帧通过特征传播的方式计算特征。
111.在视频快速变化时更频繁地选择关键帧，而在观察到的场景稳定时减少计 算量，不仅可以在处理相对静止场景的视频时产生良好的效果，还可以应对复杂 的场景。
112.关键帧选取模块的原理是：判断是否选择一帧作为新的关键帧的一个自然 标准是其分割图与前一关键帧的偏移。这个偏移量可以定义为语义标签不同像 素的比例。直观的来看，一个大的偏差意味着重大的变化，因此此处应当设置一 个新的关键帧。
113.然而，获取上文所述的“偏移量”，或者说两帧语义标签的差别，需要计算 当前帧的分割图，此处使用低级特征来预测。具体而言，根据对若干数据集进行 的研究表明低层特征的差异与偏差值之间存在很强的相关性。低级特征差异大， 则语义差异也相对较大。
114.其中model包括两个卷积核，256通道，一个全局池化层和一个全连接层。 在运行时，当时间步骤参数取为t时，我们使用该网络来预测低级特征提取后 与前一关键帧的偏差。
115.当此关键帧选取模块选取一帧为关键帧之后，为每个t时间的帧进行计算， 和之前关键帧之间的差距，发现这个差距总在不断变大，当过了几帧之后，这个 差距将大于一个我们认为设定的阈值，而本发明应用的此阈值设置为0.2，差距 超过0.2意味着我们可以选取此帧为一个新关键帧，并使用较高层s
h
计算其高 层特征f
h
。
116.本发明关键帧选取模块的初始化此算法是，通过给定第一帧的高层和低层 特征，在之后的每个时间t，都会自动计算。
117.s33：特征传播模块的搭建。
118.设计一个卷积核权重预测器，它是一个小网络，同时接受两帧的低层特征 f
lt
，其由神经网络较低部分的层s
l
计算得出，然后在所有位置产生卷积核。
119.这个网络由三个卷积层和relu层交叉在一起。
120.这个网络输出的结果是h
k2×
h
×
k，其中h和k就是帧的长宽，而h
k
2 会被变形为h
k
×
h
k
。经过一个softmax层之后变成卷积核的标准化权重，经过 softmax是为了让每一个卷积核的权重之和为1。
121.当一个帧不被选为关键帧时，其高层特征由前一个关键帧传播而来。对于高 层特征图来讲，每个特征点捕捉到的实际上是一片相邻区域的视觉模式，而不是 单独的一个点。一个线性组合可能可以提供更大的范围，更准确的表达传播。
122.其中，空间变化的卷积具体实现方式如下，请参见图5：
123.场景上的不同位置有着不同的动作模式，因此需要不同的权重进行传播。使 用随空间变化的卷积来对某点相邻区域的线性组合进行表示，卷积核随空间不 同位置的变化而变化。
124.设卷积核的大小为h
k
×
h
k
，然后从前一个关键帧的高级特征f
hk
到当前 帧表示如公式(1)所示：
[0125][0126]
这里f
ht
(l，i,j)是第l条通道在f
ht
中(i，j)处的特征取值，w
ij(k,t)
是一个h
×
h的卷积核，用于计算从f
hk
传播到f
ht
时在(i,j)处的特征取值。请 注意，卷积核值将为相邻不同位置分配权重值，这些权重取决于此特征的位置 (i,j)，但在所有通道中共享。
[0127]
此方法的核心之处在于如何获得随空间变化的核w
ij(k,t)
。同样，本发明应用 低级特征来解决这个问题，提出权重预测器模块。
[0128]
本发明特征传播模块的权重预测器具体的实现方式如下:
[0129]
权重预测器是一个小网络，同时接受两帧的低级特征，然后在所有位置产生 卷积核。其由三个卷积层和一个relu层交叉在一起。
[0130]
此网络输出的结果格式是h
k2×
h
×
k，其中h和k是帧的长和宽，设置 这两个参数，而不是单纯的输出h
k2
，是因为要为一帧上不同的位置都设计一 个卷积核)，而h
k2
会被重塑为h
k
×
h
k，
经过一个softmax层之后变成卷积核的 标准化权重，经过softmax是为了让每一个卷积核的权重之和为1。
[0131]
通过使用底层特征决定卷积核权重，使得内核不仅对不同位置有适应性，而 且对帧的内容也有适应性，从而获得了强大的表达能力。
[0132]
使用s31，s32，s33所述的方法搭建低延迟分割网络，其中，具体的模型 model运作的方式如下，请参见图5：
[0133]
对于每个时间步骤t，即一个新的帧，首先使用model较浅层网络部分s
l
计算其特征f
lt
，此特征为低层特征。基于每个之前关键帧的较低层特征f
lk
和 f
lt
，此网络会决定是否设置i
t
为一个新的关键帧，这取决于此帧与前一个关键 帧的偏离程度，如果偏离程度小，说明这是一个重复帧，如果偏离程度大，则这 是一个关键帧。如果选择设置其为新关键帧，则会将f
lt
送进网络高层部分s
h
， 并基于高层s
h
计算高层特征f
ht
，由于是关键帧，因此此处使用暴力计算。如 果不选择设置其为新关键帧，则它们将通过使用随空间变化的卷积从f
hk
传播而 得到高层特征f
ht
。将f
lt
送进一个权重预测器，由此得到一组卷积核，利用它 们通过随空间变化的卷积来传播上一个关键帧的高层特征。高层特征可以通过 逐像素分类方法得出分割图。
[0134]
通过利用较低层特征来推断一个新帧是否为关键帧，不论其是否为关键帧， 都计算其高层特征，特别的，当其不被认定为为关键帧时，通过之前的关键帧， 使用随空间变化的卷积的方式来得到当前帧的高层特征，而不是通过其高层部 分直接计算高层特征。
[0135]
因此低层特征占比多，高层特征占比少，通过结合权重预测器和随空间变化 的卷积的方式来计算高层特征f
ht
，要比通过低层特征f
lt
直接送进高层s
h
来 暴力计算高层特征f
ht
的代价要小太多。
[0136]
使用这种传播方案可以在距离关键帧10帧之内保持相当高的精度，具有可 以处理变化的优势。
[0137]
使用步骤s31，s32和s33所述的方法搭建低延迟分割网络，其中，具体的 模型model运作的方式如下：
[0138]
对于每个时间步骤t，即一个新的帧，首先使用model较浅层网络部分s
l
计算其特征f
lt
，此特征为低层特征。基于每个之前关键帧的较低层特征f
lk
和 f
lt
，此网络会决定是否设置i
t
为一个新的关键帧，这取决于此帧与前一个关键 帧的偏离程度，如果偏离程度小，说明这是一个重复帧，如果偏离程度大，则这 是一个关键帧。如果选择设置其为新关键帧，则会将f
lt
送进网络高层部分s
h
， 并基于高层s
h
计算高层特征f
ht
，由于是关键帧，因此此处使用暴力计算。如 果不选择设置其为新关键帧，则它们将通过使用随空间变化的卷积从f
hk
传播而 得到高层特征f
ht
。将f
lt
送进一个权重预测器，由此得到一组卷积核，利用它 们通过随空间变化的卷积来传播上一个关键帧的高层特征。高层特征可以通过 逐像素分类方法得出分割图。
[0139]
通过利用较低层特征来推断一个新帧是否为关键帧，不论其是否为关键帧， 都计算其高层特征，特别的，当其不被认定为为关键帧时，通过之前的关键帧， 使用随空间变化的卷积的方式来得到当前帧的高层特征，而不是通过其高层部 分直接计算高层特征。
[0140]
因此低层特征占比多，高层特征占比少，通过结合权重预测器和随空间变化 的卷积的方式来计算高层特征f
ht
，要比通过低层特征f
lt
直接送进高层s
h
来 暴力计算高层特征f
ht
的代价要小太多。
[0141]
使用这种传播方案可以在距离关键帧10帧之内保持相当高的精度，具有可 以处理复杂场景变化的优势。
[0142]
请参见图6，在步骤s4中，所述的使用经多分辨率图像预处理网络处理后 的视频数据集，对低延迟分割网络进行训练，得到低延迟分割模型。具体实现方 法为：
[0143]
视频数据集处理后的输出imgs大小为c
s
×
h
s
×
w
s
，其中h
s
和w
s
是imgs 的长和宽，c
s
是imgs的特征图数量。
[0144]
步骤s3所述的低延迟分割网络的低层s
l
是神经网络低层特征，其接受的数 据是h
input
×
w
input
×
c
input
，其中h
input
和w
input
分别是传入特征图的长和宽， 即imgs分辨率大小的一帧的长和宽，c
input
是输入特征图的数量。
[0145]
而h
input
，w
input
和c
input
允许输入的数据格式刚好等同于h
s
，w
s
和c
s
， 将原始数据传入步骤s4所述的分割网络，使用s3所述的具体的model运作方 式对模型进行训练，得到低
延迟分割模型，用lcsscm表示。
[0146]
在步骤s5中，所述的使用低延迟语义分割模型和一种双进程调度方案，对 百万像素级的，包含变化的，时长大于30分钟的视频进行视频缩略和重点位置 标注。包含步骤s51和s52。
[0147]
s51：双进程调度方案的使用。
[0148]
本发明的模型使用双进程调度方案，具体实施方式如下：
[0149]
推断一帧为关键帧之后，再计算后面的帧的高层特征时，使用两个进程，进 程一通过特征传播来计算高层特征，而后台进程二是通过s
h
来计算高层特征， 由于使用暴力计算，进程二速度慢于进程一，但是精度较高。
[0150]
进程一计算出来之后先保存在缓存中，暂时使用，等到进程二计算出来之后， 逐步替换缓存中的低精度信息。使用双进程方式进行调度，在使用进程一最大程 度保证模型效率高，延迟低的同时，使用进程二，用多进程的方式对进程一的低 精度粗糙结果进行弥补和恢复。
[0151]
s52：视频缩略和重点位置标注。
[0152]
对于百万像素级变化的长视频色情内容检测，本发明的一个实施例中处理 的视频主要集中用户上传视频中。这类视频由于属于大范围，自然视频，因此具 有分辨率高，场景变化复杂等特点。
[0153]
其中最有可能出现色情等不良信息的位置较为分散，因此通过步骤s1到s4 所述之方法对视频进行缩略，并在缩略后的视频上标注可能含有色情信息的时 间点和具体位置。
[0154]
具体实施方式如下：
[0155]
步骤s4所述的低延迟分割模型，用lcsscm表示，输入到模型中待处理的 百万像素级分辨率高时长自然视频用vid表示。
[0156]
vid输入到lcsscm模型中，输出一个经缩略的视频skeletonizedvid，并标 注重点位置。具体的缩略方法是，vid被lcsscm认定为存在色情等不良内容 所在的帧被提取出来，重新合并成一个缩略视频，并将此视频传入s6中，进行 视频分类。
[0157]
重点位置的标注指的是，如果经缩略的视频skeletonizedvid中，经lcsscm 模型认定，在同一时刻情况下，场景十分复杂。如同一帧中存在过多的人类，或 者过多的车辆时。则使用lcsscm模型的语义信息和分割信息对复杂场景下的 多个人类，多个车辆等位置进行边缘标注。
[0158]
步骤s6中所述的构建时域和空间域分离进行卷积的s3d
‑
g网络包括步骤 s61、s62、s63和s64。
[0159]
s61：构造basicconv3d模块。
[0160]
请参见图7，该basicconv3d模块作为后续所需要的必要组件需要优先构建， 其参数将在后续步骤确定。此basicconv3d模块由三个部分构成：一层3d卷积 层、一层3d batch normalization层、relu激活函数层，其中padding默认为0。
[0161]
s62：构造sepconv3d卷积层模块。
[0162]
请参见图8，该sepconv3d卷积层模块作为后续所需要的必要组件，需要优 先构建，其参数将在后续步骤确定。此sepconv3d模块由三个部分构成:一层卷 积核为1
×
k
×
k
的卷积层、一层3d batch normalization层、relu激活函数层、 一层卷积核为k
×1×
1的卷积层、一层3d batch normalization层、relu激活函 数层。上述k为后续需要确定的参数，且两层卷积层中的k为同一参数。
[0163]
s63：构建mixed
‑
3d卷积模块。
[0164]
miexed
‑
3d卷积层由四部分构成，请参见图9：
[0165]
第一部分：一层basicconv3d层，其中basicconv3d层参数为(输入，输出， 卷积核大小，步长)，其中卷积核大小为1，步长为1。
[0166]
第二部分：一层basicconv3d层，一层sepconv3d卷积层，其中basicconv3d 层参数为(输入，输出，卷积核大小，步长)，其中卷积核大小为1，步长为1， sepconv3d卷积层参数为(输入，输出，卷积核大小，步长，填充)，其中卷积核 大小为3，步长为1，填充为1。
[0167]
第三部分：一层basicconv3d层，一层sepconv3d卷积层，其中basicconv3d 层参数为(输入，输出，卷积核大小，步长)，其中卷积核大小为1，步长为1， sepconv3d卷积层参数为(输入，输出，卷积核大小，步长，填充)，其中卷积核 大小为3，步长为1，填充为1。
[0168]
第四部分：一层最大池化层，一层，其中最大池化层参数为(卷积核大小， 步长，填充)其中步长为1，填充为1，basicconv3d层参数为(输入，输出，卷积 核大小，步长)，其中卷积核大小为1，步长为1。
[0169]
将输入通过第一部分获得x0，通过第二部分获得x1，通过第三部分获得x2， 通过第四部分获得x3。将x0，x1，x2，x3进行拼接获得最后输出output。
[0170]
网络结构中的miexed
‑
3d卷积层每一层的输入输出都不一样，因此在s64中 miexed
‑
3d卷积层会加上后缀，以突出其的不同。
[0171]
s64：构造s3d
‑
g网络。
[0172]
请参见图10，我们的模型时基于i3d网络结构改良的s3d
‑
g模型，i3d模 型是双流膨胀3d卷积网络，在imagenet上训练好的深度结构网络可以用于其 他任务，同时随着深度结构的改进，效果也越来越好。
[0173]
而s3d
‑
g模型是在i3d的基础上结合top
‑
heavy结构以及采用了时域和空 间域分离进行卷积。
[0174]
第一层：sepconv3d卷积层，sepconv3d卷积层参数格式为(输入，输出， 卷积核，步长，填充)，其中步长为2，填充为3。
[0175]
第二层：最大池化层，参数格式为(卷积核大小，步长，填充)，其中步长为 (1，2，2)，填充为(0，1，1)。
[0176]
第三层：basicconv3d卷积层，参数格式为(输入，输出，卷积核，步长)， 其中卷积核大小为1，步长为1。
[0177]
第四层：sepconv3d卷积层，sepconv3d卷积层参数格式为(输入，输出， 卷积核，步长，填充)，其中步长为1，填充为1。
[0178]
第五层：最大池化层，参数格式为(卷积核大小，步长，填充)，其中步长为 (1，2，2)填充为(0，1，1)。
[0179]
第六层:：mixed
‑
3d卷积层命名为miexed
‑
3d
‑
3a。
[0180]
第七层：mixed
‑
3d卷积层命名为miexed
‑
3d
‑
3b。
[0181]
第八层：最大池化层，参数格式为(卷积核大小，步长，填充)，其中步长为 (2，2，2)
填充为(1，1，1)。
[0182]
第九层：mixed
‑
3d卷积层命名为miexed
‑
3d
‑
4a。
[0183]
第十层：mixed
‑
3d卷积层命名为miexed
‑
3d
‑
4b。
[0184]
第十一层：mixed
‑
3d卷积层命名为miexed
‑
3d
‑
4c。
[0185]
第十二层：mixed
‑
3d卷积层命名为miexed
‑
3d
‑
4d。
[0186]
第十三层：mixed
‑
3d卷积层命名为miexed
‑
3d
‑
4e。
[0187]
第十四层：最大池化层，参数格式为(卷积核大小，步长，填充)，其中步长 为(2，2，2)填充为(0，0，0)。
[0188]
第十五层：mixed
‑
3d卷积层命名为miexed
‑
3d
‑
5a。
[0189]
第十六层；mixed
‑
3d卷积层命名为miexed
‑
3d
‑
5b。
[0190]
第十七层：平均池化层，参数为(卷积核大小，步长)。
[0191]
第十八层；dropout层。
[0192]
第十九层：全连接层，num_classes参数设置为为2，即二分类，在本发明的 应用场景中，即分别为存在色情信息和不存在色情信息。
[0193]
如s61到s64所述的s3d
‑
g网络结构，与传统c3d与i3d模型比较，采用 了时域和空间域分离进行卷积：sepconv3d卷积层，结合了i3d的特点：miexed
‑ꢀ
3d卷积层，且采用top
‑
heavy的结构，即先进行2d卷积再进行3d卷积，该方 法能够提升模型速度，因此s3d
‑
g模型能够在提升精度的基础上，减少训练时 间，且模型尺寸更小。
[0194]
在步骤s8中，将步骤s5处理后的缩略视频输入步骤s7视频分类网络模型 中进行视频分类，保存结果，包括步骤s81。
[0195]
s81：使用由s5对长时间视频视频进行视频缩略和重点位置标注输出的缩 略视频输入s3d
‑
g网络中获得对长时间视频视频的分类，并记录结果x8(1表示 含有色情内容，0表示不含)。
[0196]
在步骤s9中，构造文本情感分类网络，使用数据集对此文本情感分类网络 进行训练，得到评论色情内容分类模型，包括步骤s91，s92，s93。
[0197]
s91：构造文本情感分类网络，所述的文本情感分类网络指的是长短时记忆 网络。请参见图11，长短时记忆网络细胞内部结构示意图。其中x代表输入向 量，c代表从当前细胞中得到的记忆，σ代表sigmoid函数，
×
代表元素级别的 乘积，c’代表从前一个细胞中得到的记忆，h代表当前细胞的输出，tanh代表 双曲正切函数， 代表元素级别的加和与拼接，h’代表前一个细胞的输出。请参 见图12，长短时记忆网络结构示意图。一整个长短时记忆网络是一系列统一结 构的循环体，或者说，将多个图11所示的网络副本线性叠加，即得到完整的长 短时记忆网络架构。
[0198]
s92：带标注语料数据集的收集，构造词向量。词向量模型基于一种假设， 即词汇和它的上下文构成一个象，当从语料库当中学习到相识或相近的象时，他 们在语义上总是相识的。词向量具体的搭建方法是，从收集到的语料库中，可以 把对文本内容的处理简化为k维向量空间中的向量运算，而向量空间上的相似 度可以用来表示文本语义上的相似度。其中分类类别定为两类，分别为有色情内 容和无色情内容。
[0199]
s93：使用s92中所述的数据集对长短时记忆网络模型进行训练，得到评论 色情内容分类模型。模型训练完毕之后，输入一段文本，输出结果是判断特定文 本是否含有色情
内容。
[0200]
在步骤s10中，使用步骤s9中所述的论文色情内容分类模型对原视频附带 的评论文本进行分类，并记录结果，包括步骤s101：将原视频附带的评论文本 输入步骤s9中模型进行分类，并记录分类结果x
10
(1表示含有色情内容，0表示 不含)。
[0201]
在步骤s11中，构造图像分类网络，使用数据集对此图像分类网络进行训 练，得到封面色情内容分类模型，包括步骤s111，s112，s113。
[0202]
s111：构造图像分类网络，所述的图像分类网络指的是resnet34网络。请 参见图13和图14，图13是resnet34网络残差单元结构图，图14是resnet34网 络结构示意图。在图13中，x代表输入向量，输出为h(x)，该残差单元中采用 了捷径连接的方式，能够保持在后续的层次中不会造成精度的下降，捷径连接可 以是将输入的x直接传到输出作为初始的结果，即为h(x)＝f(x) x，relu为 线性修正单元。基于上述公式，使得后续的学习目标变为将残差f逼近于零，使 得h(x)＝x防止网络出现退化，精度下降。请参见图14，resnet34网络结构示 意图。其中实线连接表示为：通道相同时，采用计算方式为h(x)＝f(x) x。 其中虚线连接表示为：通道不相同时，采用计算方式为h(x)＝f(x) w(x)，其 中w是卷积操作，用来调整x维度，使其与f一致。
[0203]
s112：带标签的数据集的收集，其中分类类别定为两类，分别为有色情内容 和无色情内容。数据集构建原则：1、色情图像的确认应该基于某种标准判断， 明确其界限；2、图像的丰富度应该较高，不能局限于某一类型；3、两类图像数 量应该差别不大，且数量不易过少；4、测试集图像不应于训练集图像有重合。
[0204]
s113：使用s112中所述的数据集对resnet34网络模型进行训练，必要的时 候可以进行数据增强，得到封面色情内容分类模型。模型训练完毕之后，输入若 干图像，输出结果是判断特定图像是否含有色情内容。
[0205]
在步骤s12中，使用步骤s11中所述的封面色情内容分类模型对原视频附 带的封面图像进行分类，并记录结果，包括步骤s121：调用s11中所述的封面 色情内容分类模型，将原视频附带的封面图像输入进封面色情内容分类模型，获 得分类结果，并保存结果x
12
(1表示含有色情内容，0表示不含)。
[0206]
在步骤s13中，使用步骤s8、s101、s121中所记录的色情内容评定结果， 针对于原视频的视频、封面、评论进行综合评定，包括步骤s131：将步骤s8、 s10、s12中所保存的结果，根据公式y＝2x8 x
10
x
12
进行计算获得针对于 原视频的视频、封面、评论进行综合评定，若y≥2则含有色情内容，反之则不 含有。
[0207]
在s3d
‑
g网络中加载由步骤s7获得的视频分类网络模型，将由步骤s5中 获得的对长时间视频视频进行视频缩略和重点位置标注输出的缩略视频输入进 s3d
‑
g网络中，获得缩略视频的视频分类，分别为“存在色情信息”和“不存在 色情信息”两种类别。
[0208]
一旦模型认为输入视频存在色情信息，在获得分类结果的同时获得的还有， 在输入视频上可能存在违规的时间位置标注和空间位置标注，大大降低了审核 难度，加快了视频审核的速度，减少了人工审核时对关键信息遗漏的可能性。
[0209]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术 人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改 进和润饰也视为本发明的保护范围。