(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210065665.5 (22)申请日 2022.01.20 (71)申请人 电子科技大 学 （深圳） 高等研究院 地址 518000 广东省深圳市龙华区观澜街 道新澜社区观光路1301-78号银星智 界二期2号楼 (72)发明人 邵杰　梁爽　杨晨旭　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 代维凡 (51)Int.Cl. G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于图神经网络的多模态知识图谱表 示学习方法 (57)摘要 本发明公开了一种基于图神经网络的多模 态知识图谱表 示学习方法， 其包括获取多模态文 本特征、 视觉特征和数值特征并转换成超点； 从 超点中确认目标节点超点， 及其邻居节点超点； 计算得到邻居节点超点相对于目标节点超点的 关系注意力； 将目标节点和邻居节 点之间的边作 为邻边， 通过互相关方式融合邻居节点和邻边， 得到实体关系融合信息； 通过关系注 意力和实体 关系融合信息构建关系聚合函数； 基于关系聚合 函数更新超点和关系注意力， 直到得到收敛的关 系图神经网络模 型， 完成多模态知识图谱表示学 习； 本发明有效建模具有多模态信息的不同实体 同一模态内和不同模态间的信息交互； 以灵活的 形式处理不同实体不同数量的模态； 实现了更优 的图表示学习能力。 权利要求书2页 说明书8页 附图2页 CN 114443858 A 2022.05.06 CN 114443858 A 1.一种基于图神经网络的多模态知识图谱表示学习方法， 其特 征在于， 包括以下步骤： S1、 获取多模态知识图谱的模态信息， 并通过预训练编码器学习模态信息， 得到文本特 征、 视觉特征和数值特 征； S2、 将文本特 征、 视觉特征和数值特 征转换成超点； S3、 从超点中确认目标节点超点， 并确认目标节点超点的邻居节点超点； S4、 构建初始关系图神经网络， 计算得到邻居节点超点相对于目标节点超点的关系注 意力； S5、 将目标节点和邻居节点之间的边作为邻边， 通过互相关方式融合邻居节点和邻边， 得到实体关系融合信息； S6、 通过关系注意力和实体关系融合信息构建 关系聚合 函数； S7、 基于关系聚合函数更新超点和关系注意力， 直到得到收敛的关系图神经网络模型， 完成多模态知识图谱表示学习。 2.根据权利要求1所述的基于图神经网络的多模态知识图谱表示学习方法， 其特征在 于， 步骤S1中： 模态信息包括文本信息、 视 觉信息和数值信息； 预训练编码器包括用于获取文本特征和数值特征的BERT模型和两个全连接层， BERT模 型包括12个Transformer层， 每个Transformer层包括768个隐藏神经元和12个多头自注意 单元； 通过BERT模型将文本信息换成初始文本特征， 通过第一全连接层将数值信息转换成 数字信息， 并通过第二全连接层将初始文本特征和数字信息进行映射处理， 得到包含数值 特征的768维文本特 征； 预训练编码器包括用于获取视觉特征的VGG ‑16卷积神经网络模型， VGG ‑16卷积神经网 络模型包括一个特征模块和一个分类模块， 特征模块包括 13层的3*3卷积核神经网络， 分类 模块包括2个全连接层； 输入为2 24*224的RGB图像， 得到4096维视 觉特征。 3.根据权利要求1所述的基于图神经网络的多模态知识图谱表示学习方法， 其特征在 于， 步骤S2中超点的表达式为： 其中em为第m个超点， xt,m为第m个文本特征， xv,m为第m个视觉特征， xn,m为第m个数值特 征， 为第m个文本特征的第i个低秩因子， 为第m个视觉特征的第i个低秩因子， 为第m个数值特征的第i个低秩因子， 为哈达玛乘积， r为低秩因子总数， m∈M， M为超 点数。 4.根据权利要求1所述的基于图神经网络的多模态知识图谱表示学习方法， 其特征在 于， 步骤S4中关系注意力的表达式为： 权　利　要　求　书 1/2 页 2 CN 114443858 A 2bkjr(l)＝Wa[ek(l)||rkj(l)||ej(l)] 其中αijr(l)为第l层关系图神经网络第k个目标节点超点ek(l)和第j个邻居节点超点ej(l) 关系注意力， exp( ·)为以自然常数e为底的指数函数， bkjr(l)为第l层关系图神经网络中， 节 点j通过关系r链接节 点k的注意力分数， bknr(l)为第l层关系图神经网络， 节 点j通过关系r链 接节点n的注意力分数， rkj(l)为第l层关系图神经网络第k个目标节点与第j个邻居节点的关 系邻边， Wa[·]为注意力权重矩阵， 为目标节点的邻居节点集合， 为邻边集合， ||为 拼接操作， k∈M， j∈M， M为超点数。 5.根据权利要求4所述的基于图神经网络的多模态知识图谱表示学习方法， 其特征在 于， 步骤S5中得到实体关系融合信息的具体过程 为： 根据公式： 得到实体关系融合信息 其中 为rkj(l)的复共轭， *为卷积。 6.根据权利要求5所述的基于图神经网络的多模态知识图谱表示学习方法， 其特征在 于， 步骤S6中构建 关系聚合 函数的具体过程 为： 根据公式： 得到第l+1层关系图神经网络的第k个目标节点超点 其中R为关系集合； N为第k个 目标节点超点通过 关系邻边rkj(l)连接的邻居节点集合； 为正则化项； 为 第l层关系图神经网络第k个目标节点超点与第j个邻居节点超点之间的权重矩阵； 关系邻 边rkj(l)通过公式： 进行更新； 其中 为关系权 重矩阵。权　利　要　求　书 2/2 页 3 CN 114443858 A 3