本发明涉及deepfm模型油汽作业平台领域，尤其涉及一种基于注意力机制的deepfm模型浏览数据处理的方法及系统。
背景技术：
1、在电子商务中心，海量的商品信息会导致消费者得不到自己想要的商品从而不断流失客源，源于底层数据关联性弱，用户界面不友好等因素，而推荐系统可以根据用户的兴趣特点和购买行为，引导用户发现自己的信息需求，向用户推荐其感兴趣的信息和商品，极大地提升交易成交率。
2、近年来，受深度学习在计算机视觉和自然语言处理中取得成功的启发，基于深度学习的方法被提出用于ctr预测任务。这些深度学习方法遵循相似的嵌入层&mlp范式：首先将大规模稀疏输入特征映射为低维嵌入向量，然后以分组方式将其转换为定长向量，最后将其连接在一起，输入全连接层(也称为多层感知器，mlp)，学习特征之间的非线性关系。与常用的逻辑回归模型相比，这些深度学习方法可以减少大量的特征工程工作，大大增强模型能力。deepfm通过结合fm和深度神经网络来更好地学习低维和高维特征之间的交互，但是，没有考虑到对于不同的候选推荐商品而言，用户行为存在的差异性。
技术实现思路
1、本发明提供一种基于注意力机制的deepfm模型浏览数据处理的方法及系统，该方法解决了电子商务作用平台底层数据关联性弱，用户界面不友好，用户行为存在的差异性的问题。达到了用户对于不同的候选推荐商品而言，用户体验无差异化效果。
2、本发明提供一种基于注意力机制的deepfm模型浏览数据处理的方法，该方法包括如下步骤：
3、s1：获取数据集，将所述数据集中原始输入类别特征进行one-hot编码；通过嵌入层将one-hot向量转换为低维稠密的嵌入向量；
4、s2：注意力计算单元根据目标用户的历史行为特征和当前广告的相关性给用户的行为特征赋予相应的权重，得到用户每个行为特征的权重以后，再对用户所有的历史行为特征做加权和，便可以计算出代表用户兴趣的嵌入向量；
5、s3：将所述经过嵌入层得到的嵌入向量，以及经过注意力计算得到的代表用户兴趣的嵌入向量作为因子分解机fm层和全连接神经网络mlp层共同输入，因子分解机fm层输出低阶特征交互到的结果，全连接神经网络mlp层输出高阶特征交互的结果。
6、s4：输出单元输出最终的ctr预测值：输出单元将因子分解机fm层的输出和全连接神经网络mlp层的输出进行相加，再通过sigmoid函数得到模型最终预测的ctr值，通过ctr预测值的大小判断是否进行对该商品的推荐。
7、优选的，数据集包括用户信息、商品信息、上下文信息和用户实时行为信息；
8、其中，原始输入特征为是一个连续特征，则是按一个类别编号；one-hot编码结果通过嵌入层得到稠密的嵌入向量；是指将所述数据集中离散的特征取值到对应向量的映射，得到一个低维稠密的嵌入向量，所述低维稠密的嵌入向量是将高维的稀疏向量转换为低维的稠密向量。
9、嵌入层，是用于对高维稀疏的one-hot向量做嵌入，得到低维稠密的向量e；所述嵌入层以表示学习的方式为每一个取值学习一个用以表示所述取值特性的d维向量，嵌入层通过学习一个m x d大小的查询矩阵，m是离散特征取值的数目，查询矩阵作为模型训练中学习的参数，通过梯度的反向传播进行更新，将一个特征经过one-hot编码后得到的m维向量，用一个d维向量表示，通常所述经过one-hot编码后得到的m维向量远远大于所述取值特性的d维向量，将目标特征进行one-hot编码后得到的高维稀疏向量用一个低维稠密向量进行表示；每个one-hot向量对应自己的嵌入层，不同向量的嵌入过程相互独立；然后将每个稠密向量横向拼接，在拼接上原始的数值特征，然后作为全连接神经网络mlp与由因子分解机fm的输入。
10、优选地，s2：注意力计算单元根据目标用户的历史行为特征和当前广告的相关性给用户的行为特征赋予相应的权重，得到用户每个行为特征的权重以后，再对用户所有的历史行为特征做加权和，便可以计算出代表用户兴趣的嵌入向量，是指通过注意力计算单元得到所述目标用户兴趣的表示向量vu；所述注意力计算单元计算候选商品和所述目标用户历史行为的相关性权重，所述权重大小是代表所述目标用户历史行为对候选推荐商品的影响程度,再通过得到的相关性权重与代表目标用户历史行为的向量做加权求和，得到所述目标用户兴趣的表示向量vu；所述目标用户兴趣的表示向量具体计算过程如下所示：
11、
12、式中，(e1,e2,...,em)表示用户历史行为序列的嵌入向量，m为用户历史行为的个数，va表示候选推荐商品的嵌入向量，vu表示目标用户行为序列中所有行为的嵌入向量的加权，即表示用户兴趣；wi为ei的权重，其含义是行为序列中ei与当前候选推荐商品va，对目标用户兴趣表示vu的贡献程度；权重wi的大小是通过mlp网络计算得到，wi表示为g(ei,ea)。
13、优选地，注意力计算单元，是根据所述目标用户的历史行为特征和目标广告相关性给所述目标用户行为特征嵌入层向量加权；
14、其中，嵌入层向量加权是将上一层输出包含所述目标用户历史行为的嵌入层向量ei与广告嵌入层向量va两者做向量减法的计算，获得表示两者差异程度大小的向量ediff，ediff的计算方法可以表示为：ediff＝ei-va；ediff、ei、va经过concat层进行连接，作为全连接神经网络mlp的输入，全连接神经网络mlp层最终输出的结果即表示为对目标该条历史行为加权到的大小。
15、每个所述目标用户的历史行为的权重与其对应的嵌入向量相乘后再加权求和得到代表所述目标用户兴趣的用户个性化兴趣的嵌入向量。
16、优选地，s3：将所述经过嵌入层得到的嵌入向量，以及经过注意力计算得到的代表用户兴趣的嵌入向量作为因子分解机fm层和全连接神经网络mlp层共同输入，因子分解机fm层输出低阶特征交互到的结果，全连接神经网络mlp层输出高阶特征交互的结果；是将所有的嵌入向量和数值型信息进行拼接，输入到因子分解机和全连接神经网络；将所述因子分解机和所述全连接网络的输出通过所述输出单元得到ctr的预测值；将经过嵌入层得到嵌入向量以及目标用户兴趣的嵌入向量作为因子分解机层的输入；所述因子分解机的输出计算方式为：
17、
18、其中，w0为全局偏置值，m表示特征域的个数，表示一阶特征的线性组合，在二阶特征交叉部分为每个特征学习了一个隐权重向量，特征i对应的隐权重向量vi和特征j对应的隐权重向量vj的内积vitvj即为二阶交叉特征所对应的权重，所述嵌入向量不包含用户历史相关的嵌入向量。
19、优选地，全连接网络mlp层，是指所述低维稠密的嵌入向量被送至第一个隐藏层，并且通过h个隐藏层学习高阶交互；deepfm模型的深度神经网络的全连接神经网络mlp层前向计算表示为：
20、a(l+1)＝σ(w(l)a(l)+b(l))
21、ymlp＝σ(w|h|+1ah+b|h|+1)
22、式中，a(0)表示嵌入层的输出，a(l)表示全连接神经网络mlp层第l层的输出值；w表示权重矩阵,b为偏置值，σ为激活函数；|h|为隐藏层数量；
23、将所述因子分解机fm层的结果和全连接神经网络mlp层输出的结果的累加，再通过sigmoid函数得到训练好的模型最终模型，所述训练好的模型最终模型的输出结果即ctr预测值表示如下：
24、
25、其中，是最终的ctr预测值，yfm代表因子分解机fm层的输出，ymlp代表全连接神经网络mlp层的输出结果，sigmoid表示sigmoid激活函数。
26、优选地，因子分解机层的结果和全连接神经网络mlp输出的结果的累加，再通过sigmoid函数得到模型最终的输出结果是指输出单元首得到所述因子分解机fm层的输出结果与全连接神经网络mlp层的输出结果后，输出单元首先对这两个输出结果进行累加，然后通过sigmoid函数得到模型最终的输出，模型最终的输出即是ctr预测值；对本文中提出的基于注意力机制的deepfm模型进行迭代训练，并求出所有模型中在验证集中准确率大于阈值的模型作为训练好的最后模型；基于得到的最后模型对目标用户交互界面上展示。
27、本发明提供的一种基于注意力机制的deepfm模型浏览数据处理的方法，该方法采用fm与deep两部分联合训练，无需加入人工特征，更易部署；结构简单，复杂度低，两部分共享输入，共享信息，可更精确的训练学习；解决了电子商务作用平台底层数据关联性弱，用户界面不友好，用户行为存在的差异性的问题。能更好地学习低维和高维特征之间的交互，能够挖掘用户的潜在兴趣，同时在计算用户兴趣表示向量时引入了注意力机制来计算相应的权重，使能够对不同的候选商品生成自适应的用户兴趣表示向量，更加精准地发觉用户兴趣。
28、本发明一方面提供一种基于注意力机制的deepfm模型浏览数据处理的方法，另一方面提供一种基于注意力机制的deepfm模型浏览数据处理的系统，所述系统模型整体从下至上包括：稀疏特征输入层，dense嵌入层，注意力计算单元(activate unit)，因子分解机fm层，全连接神经网络mlp层、输出单元；
29、稀疏特征输入层将获取的数据集先one-hot处理得到的得到稠密的嵌入向量；将经过one-hot编码的类别特征与数值特征拼接；所述dense嵌入层于对高维稀疏的one-hot向量做嵌入，得到低维稠密的向量e；所述注意力计算单元计算所述目标用户历史行为的相关性权重与代表目标用户历史行为的向量做加权求和；得到所述目标用户个性兴趣的嵌入向量；所述目标用户个性兴趣的嵌入向量与嵌入层得到的其他嵌入向量作为因子分解机fm层和mlp层的共同输入，通过所述因子分解机fm层输出二阶特征之间交互的结果，通过所述全连接神经网络mlp层输出高阶特征交互的结果，再通过所述输出单元输出最终的ctr预测值，输出单元将fm层的输出和mlp层的输出进行累加，在通过sigmoid函数得到模型最终的ctr预测值；输出单元基于所述训练好的最后模型对作业平台上的目标用户进行商品推荐。
30、优选地，dense嵌入层：用于对高维稀疏的one-hot向量做嵌入，得到低维稠密的向量e，每个one-hot向量对应自己的嵌入层，不同向量的嵌入过程相互独立，然后将每个稠密向量横向拼接原始输入类别特征数值，然后作为全连接神经网络mlp与因子分解机fm的输入；
31、注意力计算单元：根据目标用户的历史行为特征和当前广告相关性给用户行为特征嵌入层加权，所述注意力计算单元的输入以下两个向量:
32、1)用户历史行为的嵌入层向量ei，其中i表示用户第i个行为；
33、2)广告嵌入层向量va；
34、首先对ei和va做向量减法计算得到新的向量ediff，其中，ediff＝ei-va；ediff表示了ei和va的差异；然后将ei，va和ediff三个向量经过concat层进行拼接，拼接后得到的向量作为全连接神经网络mlp层的输入，全连接神经网络mlp层的输出结果大小为表示对目标第i个历史行为加权的大小；
35、输出单元：将所述因子分解机层的结果与全连接神经网络层结果的累加，然后经过sigmoid函数得到最终的输出，即预ctr的预测值。
36、因子分解机fm层的输出计算方式为：
37、
38、其中w0为全局偏置值，m表示特征域的个数，表示一阶特征的线性组合，在二阶特征交叉部分为每个特征学习了一个隐权重向量，特征i对应的隐权重向量vi和特征j对应的隐权重向量vj的内积vitvj即为二阶交叉特征所对应的权重。
39、优选地，最后模型基于deepfm网络进行学习，所述deepfm网络由因子分解机fm和全连接神经网络mlp构成，共同学习二阶特征交互和高阶特征交互；
40、稠密嵌入向量被送至第一个隐藏层，并且h个隐藏层学习高阶交互；a(0)表示嵌入层的输出，a(l)表示全连接神经网络mlp层第l层的输出值；w表示权重矩阵,b为偏置值，σ为激活函数；|h|为隐藏层数量。deepfm的深度神经网络部分dnn前向计算表示为：
41、a(l+1)＝σ(w(l)a(l)+b(l))
42、ydnn＝σ(w|h|+1ah+b|h|+1)
43、将因子分解机fm层的输出与全连接神经网络mlp层部分的输出通过sigmoid函数得到模型最终的输出结果即ctr预测值，表示如下：
44、
45、其中，是最终的ctr预测值，yfm代表因子分解机fm层的输出，ymlp代表mlp层的输出结果，sigmoid表示sigmoid激活函数。
46、本发明提供的一种基于注意力机制的deepfm模型浏览数据处理的方法及系统，该方法采用fm与deep两部分联合训练，无需加入人工特征，更易部署；结构简单，复杂度低，两部分共享输入，共享信息，可更精确的训练学习；解决了电子商务作用平台底层数据关联性弱，用户界面不友好，用户行为存在的差异性的问题。能更好地学习低维和高维特征之间的交互，能够挖掘用户的潜在兴趣，同时在计算用户兴趣表示向量时引入了注意力机制来计算相应的权重，使能够对不同的候选商品生成自适应的用户兴趣表示向量，更加精准地发觉用户兴趣。
1.一种基于注意力机制的deepfm模型浏览数据处理的方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的一种基于注意力机制的deepfm模型浏览数据处理的方法，其特征在于，所述数据集包括用户信息、商品信息、上下文信息和用户实时行为信息；
3.根据权利要求1所述的一种基于注意力机制的deepfm模型浏览数据处理的方法，其特征在于，所述s2：注意力计算单元根据目标用户的历史行为特征和当前广告的相关性给用户的行为特征赋予相应的权重，得到用户每个行为特征的权重以后，再对用户所有的历史行为特征做加权和，便可以计算出代表用户兴趣的嵌入向量，是指通过注意力计算单元得到所述目标用户兴趣的表示向量vu；所述注意力计算单元计算候选商品和所述目标用户历史行为的相关性权重，所述权重大小是代表所述目标用户历史行为对候选推荐商品的影响程度,再通过得到的相关性权重与代表目标用户历史行为的向量做加权求和，得到所述目标用户兴趣的表示向量vu；所述目标用户兴趣的表示向量具体计算过程如下所示：
4.根据权利要求3所述的一种基于注意力机制的deepfm模型浏览数据处理的方法，其特征在于，所述注意力计算单元，是根据所述目标用户的历史行为特征和目标广告相关性给所述目标用户行为特征嵌入层向量加权；
5.根据权利要求4所述的一种基于deepfm模型浏览记录数据处理的方法，其特征在于，所述s3：将所述经过嵌入层得到的嵌入向量，以及经过注意力计算得到的代表用户兴趣的嵌入向量作为因子分解机fm层和全连接神经网络mlp层共同输入，因子分解机fm层输出低阶特征交互到的结果，全连接神经网络mlp层输出高阶特征交互的结果；是将所有的嵌入向量和数值型信息进行拼接，输入到因子分解机和全连接神经网络；将所述因子分解机和所述全连接网络的输出通过所述输出单元得到ctr的预测值；将经过嵌入层得到嵌入向量以及目标用户兴趣的嵌入向量作为因子分解机层的输入；所述因子分解机的输出计算方式为：
6.根据权利要求5所述的一种基于注意力机制的deepfm模型浏览数据处理的方法，其特征在于，所述全连接网络mlp，是指所述低维稠密的嵌入向量被送至第一个隐藏层，并且通过h个隐藏层学习高阶交互；deepfm模型的深度神经网络的全连接神经网络mlp前向计算表示为：
7.根据权利要求6所述的一种基于注意力机制的deepfm模型浏览数据处理的方法，其特征在于，所述因子分解机层的结果和全连接神经网络mlp输出的结果的累加，再通过sigmoid函数得到模型最终的输出结果是指所述输出单元首得到所述因子分解机fm层的输出结果与全连接神经网络mlp层的输出结果后，所述输出单元首先对这两个输出结果进行累加，然后通过sigmoid函数得到模型最终的输出，模型最终的输出即是ctr预测值；对本文中提出的基于注意力机制的deepfm模型进行迭代训练，并求出所有模型中在验证集中准确率大于阈值的模型作为训练好的最后模型；基于得到的最后模型对目标用户交互界面上展示。
8.一种基于注意力机制的deepfm模型浏览数据处理的系统，其特征在于，所述系统模型整体从下至上包括：稀疏特征输入层，嵌入层，注意力计算单元，因子分解机fm层，全连接神经网络mlp层、输出单元；
9.根据权利要求8所述的一种基于注意力机制的deepfm模型浏览数据处理的系统，其特征在于，所述嵌入层：用于对高维稀疏的one-hot向量做嵌入，得到低维稠密的嵌入向量；
10.根据权利要求9所述的一种基于注意力机制的deepfm模型浏览数据处理的系统，其特征在于，所述最后模型基于deepfm网络进行学习，所述deepfm网络由因子分解机fm和全连接神经网络mlp构成，共同学习二阶特征交互和高阶特征交互；
