(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221041670 0.3 (22)申请日 2022.04.20 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路麓山门 (72)发明人 杨超　阮书琪　 (74)专利代理 机构 长沙新裕知识产权代理有限 公司 43210 专利代理师 梁小林 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/36(2019.01) G06F 16/28(2019.01) G06F 40/30(2020.01) G06N 5/02(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 17/18(2006.01) (54)发明名称 一种基于KPHAN的序列推荐方法 (57)摘要 本发明涉及推荐技术领域， 特别是涉及一种 基于KPHAN的序列推荐方法。 KPHAN主要包 括KGSP 以及LSPF模块。 在KGSP中， 使用知识嵌入技术编 码项目对应实体及实体上下文； 采用一种知 识双 向融合方式增强项目表示， 对项目序列建模捕获 用户全局短期偏好特征。 在LSPF中， 利用个性化 层级注意力机制捕获用户的长期偏好， 再融合用 户的短期偏好完成用户偏好训练与预测。 有益效 果在于： 为序列项目之间提供了语义关联， 提高 了项目辨识度并很好地揭示了项目之间的相似 性。 个性化层级注意力网络融合了用户的长短期 偏好， 获得了更加准确全面的个性化用户偏好。 命中率平均提高了10.7％， 归一化折损累计增益 平均提高了13.5％。 权利要求书4页 说明书10页 附图2页 CN 114780841 A 2022.07.22 CN 114780841 A 1.一种基于KPHAN的序列推荐方法， 其特征在于， KPHAN是指知识增强的个性化层级注 意力网络； 具体包括以下步骤： 步骤一： 通过使用 知识图谱嵌入建模增强项目的表示， 将知识图谱中的实体和关系在 保留知识图谱结构信息及语义关联的前提下将实体和关系编码为低维稠密向量； (1.1)首先使用KB4Rec中的实体链接方法， 在知识图谱中找到项目v对应的实体e∈Ε， 其中E为知识图谱所有实体集 合； (1.2)然后由该实体出发找到一阶子图(e,r,et)∈G， 其中(e,et)分别表示一阶子图G 中 的头结点和尾结点， r∈R表示 一阶子图中所有关系； (1.3)最后将一阶子图通过TransE模型进行训 练得到项目对应实体的低维稠密向量 一阶子图中其余实体嵌入 通过TransE模型将实体和关系表示为同一空间中， 使 得头结点向量与关系向量之和， 即e+r≈et， 因此TransE的得分函数为： 其中 表示L2范数 (1.4)为了训练TransE模型， 优化的目标函数使用了负采样和最大间隔策略的损失函 数， 使得正样本得分越来越高， 负 样本得分越来越低， 损失函数如下： 其中dpos表示正三元组的得分， dneg表示负三元组的得分， margin表示最大间隔， max 为最大值函数； 步骤二： 由于实体的一阶邻居， 通常是提供语义关联的重要特征， 因此在步骤一项目对 应的实体嵌入基础上引入了上 下文实体， 项目对应实体的上 下文实体定义 为： context(e)＝{et|(e,r,et)∈G} 对应的上 下文实体嵌入通过计算上 下文实体嵌入的平均值获得 其中 表示项目对应实体的上下文实体嵌入， |cont ext(e)|为上下文实体个数， ∑表示求和操作； 步骤三： 将模型交互序列的最大长度设为n,以滑动窗口的形式对用户交互序列进行最 大序列长度取值， 若交互序列不足n,那么在序列的左侧补0； 创建一个项目嵌入矩 阵M∈R |V|×d,其中d表示项目嵌入 维度,|v|表示项目的数量， 每次序列建模检索出对应的输入嵌入 矩阵 为每个项目添加一个可学习的位置嵌入 最终序列项目嵌入为 以前方法直接将 作为自适应注意力模块的输入， 然而这种只采用项目嵌入的 方式忽略了项目的语义特征， 因此将步骤一的项目对应的实体嵌入和步骤二中项目对应的 上下文嵌入融入项目以增强项目的表示提高项目辨识度， 这 里采用双向融合fBi‑interaction对 最终序列项目嵌入 融入知识得到知识增强后的序列项目嵌入 并对其使用 dorpout layer， 即训练时以一定的概率丢弃神经元， 来缓解深度神经网络过拟合问题， 其 中leakyReLU为非线性激活函数， W1和W2为可学习参数， e表示向量对应元 素乘；权　利　要　求　书 1/4 页 2 CN 114780841 A 2其中 是序列项目v对应的实体嵌入矩阵， 是项目v对应实体的上下文嵌入矩阵， 和 将项目对应的上下文实体嵌入与上下文实体通过同一全连接网络并施加tanh非线 性激活函数投影到项目同一空间中， W,W1,W2,b为可 学习参数； 步骤四： 在步骤三的基础上将知识增强后的序列项目嵌入 作为自适应注意力 模块的输入来获取用户的短期兴趣； 自适应注意力模块包括自注意力以及前馈神经网络 (FFN)； 其中自注意力部分采用标量 点积， 定义 为： S＝Attention(Q,K,V) 其中 Q 表 示q u e r i e s ， K 表 示 k e y s ， V 表 示 va l u e s ， 是可学习参数， layerNorm表示层归一化； 为了 确保序列的时间先后顺序， 在Q,K,V计算时采用mask即掩码机制， Qi和Kj满足i<j， Qi和Kj之 间的注意力权重计算的是项目i和项目j之 间的依赖 关系， 通过计算先前项目的注意力加权 和来捕获序列的顺序变化； 为了给模型增加非线性性， 自注意力之后进行前馈神经网络获得更深层特征， 采用两 层前馈神经网络， 具体为： F＝FFN(S)＝Relu(dropout(Relu(dropout(SW(1)+b)))W(2)+b)) 其中Relu为非线性激活函数， dropout是指在训练是按照一定的概率对神经元进行丢 弃， W(1)， W(2)， b为神经网络的可学习参数， S为自注 意力后序列表示； 在自注 意力模块和前馈 神经网络部分都使用了残差连接， 为了学习更复杂的依赖关系， 堆叠ω个自注意力块， 即 self attention和FFN， 第b个块， 且b>1， 定义 为： S(b)＝Attention(F(b‑1)) F(b)＝FFN(S(b)) 当b＝1时， S＝Attention(Q,K,V)， F＝FFN(S)， 为最后一个块 中最后一个项目的特 征向量， 其融合了之前所有项目的特征从而获得了更准确的当前项目特征， 而当前项目特 征对用户偏好预测十分重要， 因此将 视为用户的短期偏好； 步骤五： 除了用户的当前偏好对用户下一个项目的交互起作用外， 用户的长期静态偏 好也对预测用户下一个项目的交互起作用， 用户的长期偏好存在于用户曾交互过的项目 中， 这里将 与候选项目进行相似度计算获取用户的长期静态偏好， 每一 时刻项目与候选项目的相似度计算如下：权　利　要　求　书 2/4 页 3 CN 114780841 A 3