(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111381076.X (22)申请日 2021.11.20 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区崇文路2号重庆 邮电大学 (72)发明人 王进　宋为　林兴　孙开伟　刘彬　 朴昌浩　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 代理人 黄宗波 (51)Int.Cl. G06Q 10/04(2012.01) G06F 16/735(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制的短视频点击率大数 据预估方法 (57)摘要 本发明涉及大数据分析技术领域， 公开了一 种基于注意力机制的短视频点击率大数据预估 方法， 步骤包括构建数据集， 并采用层次差异注 意力算法获得领域特定用户好友嵌入； 采用负责 控制信息流入的双门控网络将用户个人嵌入分 别与不同领域的用户好友信息嵌入融合； 根据不 同领域短视频嵌入为每个类型上下文嵌入分配 权重， 并通过加权融合得到对应领域的上下文嵌 入； 将各领域用户个人嵌入、 上下文嵌入以及短 视频嵌入输入到一个共享特征交叉式双MMoE网 络， 基于动态学习集成策略， 得到各领域点击率 预测值。 本发 明能够解决目前短视频跨域推荐算 法忽视不同领域之间的差异， 在 进行信息迁移的 过程中存在负迁移现象的问题。 权利要求书4页 说明书9页 附图3页 CN 114358364 A 2022.04.15 CN 114358364 A 1.一种基于注意力机制的短视频点击率大 数据预估方法， 其特 征在于： 包括以下步骤， S1、 构建包括用户个人嵌入、 用户好友信息、 多种领域短视频嵌入、 不同领域短视频共 享上下文嵌入和已标记点击行为的数据集， 并采用层次差异注意力算法获得领域特定用户 好友嵌入； S2、 采用负责控制信 息流入的双门控网络将用户个人嵌入分别与不同领域的用户好友 信息嵌入融合； S3、 根据不同领域短视频嵌入为每个类型上下文嵌入分配权重， 并通过加权融合得到 对应领域的上 下文嵌入； S4、 将各领域用户个人嵌入、 上下文嵌入以及短视频嵌入输入到一个共享特征交叉式 双MMoE网络， 基于动态学习集成策略， 得到各 领域点击率预测值。 2.根据权利要求1所述的一种基于注意力机制的短视频点击率大数据预估方法， 其特 征在于： 所述 步骤S1中的差异 注意力算法包括底层注意力计算和顶层注意力计算， 所述底层注意力计算获得用户好友对不同上下文类型的影响力， 所述影响力的计算采 用以上下文作为引导的差异注意力算法， 所述以上下文作为引导的差异注意力算法具体 为： 先以某种类型的上下文为引导计算好友之间比较向量， 再经过第一层MLP得到比较向量 的隐藏层表示； 以随机初始化上下文向量作为可学习参数Query来计算每个好友基于不同 类型上下文的比较 向量权重， 每个用户获得一个权重集合， 将基于不同类型上下文的比较 向量加权求和， 得到每个好友唯一一个比较 向量， 将底层的比较向量作为附加信息与好友 嵌入相加作为顶层注意力计算的输入； 所述顶层注意力计算获得用户好友对不同领域短视频的影响力， 所述影响力的计算采 用以短视频作为引导的差异注意力算法， 所述以短视频作为引导的差异注意力算法具体 为： 先计算好友基于 短视频嵌入的比较向量， 再经过第二层的MLP得到比较向量的 隐藏层表 示； 随机初始化一个新的上下文向量作为第二层的可学习参数Query计算每个好友基于不 同领域短视频 的比较向量权重， 然后根据权重聚合好友嵌入， 最终得到不同领域用户好友 嵌入， 用于表示用户的所有好友对不同领域短视频的偏好。 3.根据权利要求2所述的一种基于注意力机制的短视频点击率大数据预估方法， 其特 征在于： 所述 步骤S1中的底层注意力计算和顶层注意力计算具体包括以下步骤： A1、 在底层将目标领域短视频vi的n种类型上下文Ci＝{c1， c2， ...， cn}嵌入作为引导， 采 用公式1计算用户ui每个好友Fi＝{f1， f2， ...， fm}的比较向量 式中fj表示用户好友列表中当前好友的嵌入， fi表示除当前好友以外其 他好友嵌入； 采用公式2， 经 过一层MLP得到 zis作为比较向量的隐藏层表示， 式中Ww和bw分别表示第一层MLP权 重矩阵、 偏差项； 利用随机化上下文向量qw作为可学习参数Query来计算m个好友基于不同类 型上下文的 比较向量权重αi＝{αi1， αi2， ...， αin}(i＝{1， 2， ...， m})， 经过公式3中soft  max函数规范化权　利　要　求　书 1/4 页 2 CN 114358364 A 2后； 按照公式4对每 个好友基于不同类型的比较向量进行加权得到ei(i＝{1， 2， . ..， m})， A2、 利用公式5在顶层将底层 每个好友比较向量ei作为附加信息与好友嵌入fi进行求和 得到gi(i＝{1， 2， . ..， m})； gi＝ei+fi    (5)， 利用公式6以目标领域短视频嵌入vi作为引导计算m个好友的比较向量pik(k＝{1， 2， ...， m})， 式中j表示当前好友， k表示除当前好友以外其 他好友； 随机化上下文向量rs作为第二层可学习参数Query， 采用公式7， Ws和bs表示第二层MLP 的权重矩阵和偏差项， 计算tik作为第二层比较向量的隐藏层表示， 按照公式8计算m个好友比较向量的权重βi(i＝{1， 2， ...， m})， 并按照公式9加权聚合好 友嵌入fi， 最终得到特定领域用户好友嵌入hi， 4.根据权利要求1所述的一种基于注意力机制的短视频点击率大数据预估方法， 其特 征在于： 所述步骤S2中为每个领域设定一个专门的门控网络用来融合用户嵌入 特定领域好 友嵌入， 所述门控网络采用元素级注 意力机制， 具体为： 首先通过非线性全连接层以及残差 连接得到用户嵌入和用户好友嵌入的特征向量， 然后经过特定领域权重矩阵乘积和 sigmoid函数隐射得到每一个特征向量元素的权重， 并根据权重融合用户和用户好友特征 向量。 5.根据权利要求4所述的一种基于注意力机制的短视频点击率大数据预估方法， 其特 征在于： 所述步骤S2 为每个领域设定一个专门的门控网络用来融合用户嵌入特定领域好友 嵌入的计算方法采用公式10、 公式1 1、 公式12和公式13， φi＝relu(Wffi+bf)+fi   (11)权　利　要　求　书 2/4 页 3 CN 114358364 A 3