一种基于文本注意力和细粒度信息的视频问答系统、方法、计算机及存储介质与流程

1.本发明涉及一种视频问答方法，尤其涉及一种基于文本注意力和细粒度信息的视频问答系统、方法、计算机及存储介质，属于计算机视觉和自然语言处理交叉领域。


背景技术：

2.近几年，随着计算机视觉与自然语言处理的发展，大量的视觉与语言研究课题得到了广泛的关注。视频问答是跨模态任务，它包括多种不同模态的数据信息，如视频模态、语音模态、文本模态。
3.视频问答的任务可以描述为，已知一段视频和与视频内容相关的自然语言描述的问题，通过获取他们的视觉信息和语义信息，对问题给出合适的答案的过程。当人们观看一段视频时，会通过视频帧展现的视觉信息来获取视频中出现的人物、物体、环境等，场景带来的视觉信息使人们对视频内容有了一个整体的了解。
4.传统的视频问答方法通常通过直接提取视频特征进行推理，而忽略了问题语句和视频的模态差异问题，因此在进行相似度计算后生成的视频特征表示并不是与问题最相关的；此外，大多数视频问答方法提取视频特征时，忽略了视频帧的区域细粒度特征，从而影响最终答案推理的准确性。
5.因此，如何实现答案推理的准确性显得尤为重要。本发明针对该问题，提出了一种基于文本注意力和细粒度信息的视频问答系统、方法、计算机及存储介质。


技术实现要素：

6.在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
7.本发明提供了一种基于文本注意力和细粒度信息的视频问答系统，包括，词嵌入获取模块、视频文本级别特征表示获取模块、视频帧级别特征表示获取模块、问题导向的视频帧级别特征表示获取模块、问题导向的视频特征表示获取模块、视频特征表示融合模块和生成答案获取模块；
8.所述词嵌入获取模块用于针对问题语句，获取问题语句的词嵌入表示；
9.所述视频文本级别特征表示获取模块用于将得到的问题语句的词嵌入表示，使用文本注意力机制为视频的每条文本描述生成一个注意力得分，以此为基础获得问题导向的视频文本级别特征表示；
10.所述视频帧级别特征表示获取模块用于提取视频每一帧中的区域特征，构成视频帧的区域特征集合，根据问题语句的词嵌入表示，使用空间注意力机制为每个区域特征生成一个注意力得分，以此为基础得到问题导向的具有空间注意的视频帧级别特征表示；
11.所述问题导向的视频帧级别特征表示获取模块用于根据具有空间注意的视频帧级别特征，获得最终的问题导向的视频帧级别特征表示；
12.所述问题导向的视频特征表示获取模块用于使用三维卷积神经网络c3d获取视频片段，获得问题导向的视频片段级别特征表示；
13.所述视频特征表示融合模块用于将视频文本级别特征表示、视频帧级别特征表示和视频片段级别特征表示进行特征融合，得到具有问题导向的视频特征表示；
14.所述答案获取模块用于使用softmax函数计算生成答案。
15.一种基于文本注意力和细粒度信息的视频问答方法，包括以下步骤：
16.s1、针对问题语句，获得问题语句的词嵌入表示；
17.s2、针对一段视频，为每一个视频生成m句的视频文本描述,根据步骤s1得到的问题语句的词嵌入表示，使用文本注意力机制为视频的每条文本描述生成一个注意力得分，以此为基础获得问题导向的视频文本级别特征表示；
18.s3、针对一段视频，提取视频每一帧中的区域特征，构成视频帧的区域特征集合，根据步骤s1得到的问题语句的词嵌入表示，使用空间注意力机制为每个区域特征生成一个注意力得分，以此为基础得到问题导向的具有空间注意的视频帧级别特征表示；
19.s4、对于步骤s3所得到的具有空间注意的视频帧级别特征，获得最终的问题导向的视频帧级别特征表示；
20.s5、使用三维卷积神经网络c3d获取视频片段，获得问题导向的视频片段级别特征表示；
21.s6、对步骤s2所获得的视频文本级别特征表示，步骤s3所获得的视频帧级别特征表示，步骤s5获得的视频片段级别特征表示进行特征融合，得到具有问题导向的视频特征表示，并生成答案。
22.优选的，步骤s1所述获得问题语句的词嵌入表示的方法具体是：针对一条问题语句，首先采用词向量编码网络word2wec获得问题语句中的每个单词的词嵌入向量表示，然后将每个词嵌入向量表示输入门控循环单元网络gru中，获得问题的隐状态表示h
q
作为问题的词嵌入表示。
23.优选的，步骤s2所述获得问题导向的视频文本级别特征表示的具体方法是：首先使用一个预训练的词汇全卷积神经网络lexical
‑
fcn为每一个视频生成m句的文本描述s1，s2，...，s
m
来概括视频中不同区域的内容，其次，使用gru模型对m句文本描述进行特征的编码表示，记为其中为第i时刻编码的文本描述的隐状态表示，i∈{1,2,...,m}；
24.使用文本注意力机制来计算问题语句与每一句文本描述的相似度，生成每一句文本描述的权重，并进行加权融合得到问题导向的文本描述的文本特征表示，具体的计算过程如下：
25.a)计算文本特征的注意力分数：
[0026][0027]
其中，h
q
为问题的词嵌入表示，上标t为矩阵的转置运算，w
s
是用来计算文本注意力得分的参数矩阵；
[0028]
b)对于每一个文本特征使用softmax函数对权重进行数值转换，计算公式如下：
[0029][0030]
c)根据权重系数对进行加权求和得到问题导向的视频文本级别特征表示，计算公式如下：
[0031][0032]
优选的，步骤s3所述得到问题导向的具有空间注意的视频帧级别特征表示的具体的方法是：
[0033]
使用预训练的视网膜网络retinanet提取每一个视频帧中的区域特征，记为：其中k表示每一帧中区域特征的数量，表示第i帧中的第j个区域特征，表示提取的第i帧的视频帧级别特征，使用空间注意力机制为区域特征分配权重，并进行加权融合得到问题导向的区域特征表示，具体的计算过程如下：
[0034]
a)计算区域特征的注意力分数：
[0035][0036]
其中，h
q
为问题的词嵌入表示，w，w
q
和w
o
为参数矩阵，b
o
为偏置向量；
[0037]
b)对于每一个区域特征使用softmax函数对权重进行数值转换，计算公式如下：
[0038][0039]
c)根据权重系数对进行加权求和得到具有空间注意的视频帧级别特征，计算公式如下：
[0040][0041]
优选的，步骤s4所述获得最终的问题导向的视频帧级别特征表示的具体方法是：针对步骤s3计算得到的具有空间注意的视频帧级别特征表示n表示帧的个数，使用gru模型对其进行编码表示，记为：帧的个数，使用gru模型对其进行编码表示，记为：表示第i时刻编码的视频帧的隐状态特征，使用时间注意力机制筛选冗余帧，通过为每一个视频帧特征分配权重，并根据权重结果进行加权求和，得到问题导向的视频帧特征表示，具体的计算过程如下：
[0042]
a)计算所给视频帧特征的注意力分数：
[0043][0044]
其中，h
q
为问题的词嵌入表示，w、w
q
和w
f
为参数矩阵，b
f
为偏置向量；
[0045]
b)对于每一个视频帧特征使用softmax函数对权重进行标准化，计算公式如下：
[0046][0047]
c)根据权重系数对进行加权求和得到最终问题导向的视频帧级别特征表示，计算公式如下：
[0048][0049]
优选的，步骤s5所述获得问题导向的视频片段级别特征表示的具体的方法是：
[0050]
使用三维卷积神经网络c3d提取片段级别的视频特征表示，记为使用三维卷积神经网络c3d提取片段级别的视频特征表示，记为表示第i个片段特征表示，并使用gru模型对片段特征编码，记为表示第i个片段特征表示，并使用gru模型对片段特征编码，记为表示第i时刻编码的片段的隐状态特征表示，根据不同的视频片段与问题的相关性不同，使用时间注意力机制来计算每一个视频片段的权重，并根据计算结果进行特征的加权融合，得到问题导向的视频片段特征表示，具体的计算过程如下：
[0051]
a)计算视频片段特征的注意力分数：
[0052][0053]
其中，h
q
为问题的词嵌入表示，w、w
q
和w
c
为参数矩阵，b
c
为偏置向量；
[0054]
b)对于每一个视频片段特征使用softmax函数对权重进行标准化，计算公式如下：
[0055][0056]
c)根据权重系数对进行加权求和得到问题导向的视频片段级别的特征表示，计算公式如下：
[0057][0058]
优选的，步骤s6所述得到具有问题导向的视频特征表示，并生成答案的具体的方法是：
[0059]
对得到的具有问题导向的视频文本级别特征表示视频帧级别特征表示视频片段级别特征表示进行特征融合得到具有问题导向的视频特征表示，并使用softmax函数来计算答案集中单词的概率分布，最终答案预测的计算公式如下：
[0060][0061]
其中，[]表示向量的连接，w
a
是一个参数矩阵，b
a
是一个偏置向量。
[0062]
一种计算机，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现一种基于文本注意力和细粒度信息的视频问答方法的步骤。
[0063]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种基于文本注意力和细粒度信息的视频问答方法。
[0064]
本发明的有益效果如下：
[0065]
(1)与现有技术相比，本发明通过为视频生成文本描述的方式，缩小了视频与问题之间的模态差异。
[0066]
(2)通过提取视频的细粒度区域特征，可以更好地理解视频信息，增加了回答问题的准确度。
[0067]
(3)通过对视频帧特征和视频片段特征引入时间注意力机制，获得与问题相关的视频帧和视频片段，排除了冗余信息，进一步增加了回答问题的准确度并提高了问题推理的效率。
附图说明
[0068]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0069]
图1为本发明实施例一所述视频问答系统的结构示意图；
[0070]
图2为本发明实施例二所述视频问答方法流程示意图；
[0071]
图3为本发明实施例二所述视频问答方法原理示意图；
[0072]
图4为本发明视频问答方法的结果示意图。
具体实施方式
[0073]
为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0074]
实施例一：
[0075]
参照图1说明本实施方式，本实施例的一种基于文本注意力和细粒度信息的视频问答系统，包括，词嵌入获取模块、视频文本级别特征表示获取模块、视频帧级别特征表示获取模块、问题导向的视频帧级别特征表示获取模块、问题导向的视频特征表示获取模块、视频特征表示融合模块和生成答案获取模块；
[0076]
所述词嵌入获取模块用于针对问题语句，获取问题语句的词嵌入表示；
[0077]
所述视频文本级别特征表示获取模块用于将得到的问题语句的词嵌入表示，使用文本注意力机制为视频的每条文本描述生成一个注意力得分，以此为基础获得问题导向的视频文本级别特征表示；
[0078]
所述视频帧级别特征表示获取模块用于提取视频每一帧中的区域特征，构成视频帧的区域特征集合，根据问题语句的词嵌入表示，使用空间注意力机制为每个区域特征生
成一个注意力得分，以此为基础得到问题导向的具有空间注意的视频帧级别特征表示；
[0079]
所述问题导向的视频帧级别特征表示获取模块用于根据具有空间注意的视频帧级别特征，获得最终的问题导向的视频帧级别特征表示；
[0080]
所述问题导向的视频特征表示获取模块用于使用三维卷积神经网络c3d获取视频片段，获得问题导向的视频片段级别特征表示；
[0081]
所述视频特征表示融合模块用于将视频文本级别特征表示、视频帧级别特征表示和视频片段级别特征表示进行特征融合，得到具有问题导向的视频特征表示；
[0082]
所述答案获取模块用于使用softmax函数计算生成答案。
[0083]
实施例二：
[0084]
参照图2至图4说明本实施方式，本实施例的一种基于文本注意力和细粒度信息的视频问答方法，包括以下步骤：
[0085]
s1、针对问题语句，获得问题语句的词嵌入表示；
[0086]
具体的，针对一条问题语句，采用词嵌入方式获得问题语句的词嵌入表示，首先采用词向量编码网络word2wec获得问题语句中的每个单词的词嵌入向量表示，然后将每个词嵌入向量表示输入门控循环单元网络gru中，获得问题的隐状态表示h
q
作为问题的词嵌入表示。
[0087]
s2、针对一段视频，为每一个视频生成m句的视频文本描述,根据步骤s1得到的问题语句的词嵌入表示，使用文本注意力机制为视频的每条文本描述生成一个注意力得分，以此为基础获得问题导向的视频文本级别特征表示；
[0088]
具体的，针对一段视频，首先使用一个预训练的词汇全卷积神经网络lexical
‑
fcn为每一个视频生成m句的文本描述s1，s2，...，s
m
来概括视频中不同区域的内容，其次，使用gru模型对m句文本描述进行特征的编码表示，记为其中为第i时刻编码的文本描述的隐状态表示，i∈{1,2,...,m}；
[0089]
使用文本注意力机制来计算问题语句与每一句文本描述的相似度，生成每一句文本描述的权重，并进行加权融合得到问题导向的文本描述的文本特征表示，具体的计算过程如下：
[0090]
a)计算文本特征的注意力分数：
[0091][0092]
其中，h
q
为问题的词嵌入表示，上标t为矩阵的转置运算，w
s
是用来计算文本注意力得分的参数矩阵；
[0093]
b)对于每一个文本特征使用softmax函数对权重进行数值转换，计算公式如下：
[0094][0095]
c)根据权重系数对进行加权求和得到问题导向的视频文本级别特征表示，计算公式如下：
[0096][0097]
s3、针对一段视频，提取视频每一帧中的区域特征，构成视频帧的区域特征集合，根据步骤s1得到的问题语句的词嵌入表示，使用空间注意力机制为每个区域特征生成一个注意力得分，以此为基础得到问题导向的具有空间注意的视频帧级别特征表示；
[0098]
具体的，针对一段视频，使用预训练的视网膜网络retinanet提取视频每一帧中的区域特征，构成视频帧的区域特征集合，根据步骤s1得到的问题语句的词嵌入表示，使用空间注意力机制为每个区域特征生成一个注意力得分，以此为基础得到问题导向的具有空间注意的视频帧级别特征表示；
[0099]
具体的，使用预训练的视网膜网络retinanet提取每一个视频帧中的区域特征，记为：其中k表示每一帧中区域特征的数量，表示第i帧中的第j个区域特征，表示提取的第i帧的视频帧级别特征，使用空间注意力机制为区域特征分配权重，并进行加权融合得到问题导向的区域特征表示，具体的计算过程如下：
[0100]
a)计算区域特征的注意力分数：
[0101][0102]
其中，h
q
为问题的词嵌入表示，w、w
q
和w
o
为参数矩阵，b
o
为偏置向量；
[0103]
b)对于每一个区域特征使用softmax函数对权重进行数值转换，计算公式如下：
[0104][0105]
c)根据权重系数对进行加权求和得到具有空间注意的视频帧级别特征，计算公式如下：
[0106][0107]
s4、对于步骤s3所得到的具有空间注意的视频帧级别特征，获得最终的问题导向的视频帧级别特征表示；
[0108]
具体的，使用时间注意力机制，获得最终的问题导向的视频帧级别特征表示；
[0109]
具体的，针对步骤s3计算得到的具有空间注意的视频帧级别特征表示n表示帧的个数，使用gru模型对其进行编码表示，记为：n表示帧的个数，使用gru模型对其进行编码表示，记为：表示第i时刻编码的视频帧的隐状态特征，使用时间注意力机制筛选冗余帧，通过为每一个视频帧特征分配权重，并根据权重结果进行加权求和，得到问题导向的视频帧特征表示，具体的计算过程如下：
[0110]
a)计算视频帧特征的注意力分数：
[0111][0112]
其中，h
q
为问题的词嵌入表示，w，w
q
和w
f
为参数矩阵，b
f
为偏置向量；
[0113]
b)对于每一个视频帧特征使用softmax函数对权重进行标准化，计算公式如下：
[0114][0115]
c)根据权重系数对进行加权求和得到最终问题导向的视频帧级别特征表示，计算公式如下：
[0116][0117]
s5、使用三维卷积神经网络c3d获取视频片段，获得问题导向的视频片段级别特征表示；
[0118]
具体的，使用三维卷积神经网络c3d获取视频片段，使用时间注意力机制获得问题导向的视频片段级别特征表示；
[0119]
具体的，使用三维卷积神经网络c3d提取片段级别的视频特征表示，记为具体的，使用三维卷积神经网络c3d提取片段级别的视频特征表示，记为表示第i个片段特征表示，并使用gru模型对片段特征编码，记为表示第i个片段特征表示，并使用gru模型对片段特征编码，记为表示第i时刻编码的片段的隐状态特征表示，根据不同的视频片段与问题的相关性不同，使用时间注意力机制来计算每一个视频片段的权重，并根据计算结果进行特征的加权融合，得到问题导向的视频片段特征表示，具体的计算过程如下：
[0120]
a)计算视频片段特征的注意力分数：
[0121][0122]
其中，h
q
为问题的词嵌入表示，w，w
q
和w
c
为参数矩阵，b
c
为偏置向量；
[0123]
b)对于每一个视频片段特征使用softmax函数对权重进行标准化，计算公式如下：
[0124][0125]
c)根据权重系数对进行加权求和得到问题导向的视频片段级别的特征表示，计算公式如下：
[0126][0127]
s6、对步骤s2所获得的视频文本级别特征表示，步骤s3所获得的视频帧级别特征表示，步骤s5获得的视频片段级别特征表示进行特征融合，得到具有问题导向的视频特征表示，并生成答案。
[0128]
具体的，使用softmax函数来计算答案集中单词的概率分布。
[0129]
具体的，对得到的具有问题导向的视频文本级别特征表示视频帧级别特征表示视频片段级别特征表示进行特征融合得到具有问题导向的视频特征表示，并使用softmax函数来计算答案集中单词的概率分布，最终答案预测的计算公式如下：
[0130][0131]
其中，[]表示向量的连接，w
a
是一个参数矩阵，b
a
是一个偏置向量。
[0132]
对本发明提出的方法进行实验分析：
[0133]
在视频问答数据集activitynet
‑
qa上对本专利所提方法进行实验分析；
[0134]
activitynet
‑
qa源自于activitynet数据集，侧重于从用户产生的视频中识别出日常生活，高层次，面向目标的活动，包括了14429个视频剪辑，71961个自然语言描述和130161个问答对，视频的平均长度为180s，其中，问答对是根据给定问题模板由人工方式生成的，包括以下四种类型：motion类型问题，问题需要针对粗略的时间行为进行理解；spatial relationship类型问题，主要是基于静态视频帧进行空间推理；temporal relationship类型问题，需要发现连续视频帧之间的关系；free类型问题，包含两种及以上上述类型的组合，本发明根据答案属性将问题分为五类，分别是what、who、how、where和other。
[0135]
本发明将activitynet
‑
qa数据集划分为75％的训练集，5％的验证集和20％的测试集，并对问答对中的答案进行单词统计，选择了词汇表中前1000个出现次数最多的单词作为答案集。
[0136]
使用word2vec模型编码问题和答案，维度大小为300维，对于在词汇表中找不到的词，其词嵌入特征可以通过计算已有词嵌入特征的均值得到。
[0137]
为了客观地评价本发明的性能，按实施方式中描述的步骤，测试了本发明在activitynet
‑
qa数据集上的性能，所得的实验结果的准确率达到38.2％。
[0138][0139]
本发明的工作原理：
[0140]
1)使用一个预训练的lexical
‑
fcn模型为每一个视频生成m句文本描述,并采用文本注意力机制为每条文本描述生成一个注意力得分，以此得到问题相关的文本级别特征。
[0141]
2)提取视频中细粒度的区域特征,同时采用空间注意力机制对提取的区域特征打分,以此得到问题相关的帧级别特征。
[0142]
3)使用时间注意力机制得到与问题最相关的帧和视频片段，并利用视频文本级别特征、帧级别特征和片段级别特征预测最终答案。
[0143]
本发明缩小了视频和问题之间的模态差异，并充分利用视频的细粒度信息，可有效提高视频问答的准确率。
[0144]
本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于creo
软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
[0145]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0146]
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0147]
计算机可读存储介质实施例
[0148]
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于creo软件的可修改由关系驱动的建模数据的建模方法的步骤。
[0149]
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0150]
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。