(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111412999.7 (22)申请日 2021.11.25 (71)申请人 天津市测绘院有限公司 地址 300381 天津市西青区李七 庄昌凌路9 号 申请人 天津大学 (72)发明人 汪少初　崔凯　井佩光　王少一　 王晓华　周树旺　马骏　王燕午　 张恺　吕沐　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李素兰 (51)Int.Cl. G06Q 10/04(2012.01) G06N 3/04(2006.01)G06K 9/62(2022.01) (54)发明名称 基于多模态图卷积网络的时尚兼容度预测 方法 (57)摘要 本发明公开了一种基于多模态图卷积网络 的时尚兼容度预测方法， 进行服饰单品的多模态 信息的挖掘利用； 利用服饰属性信息作为高级语 义并融合视觉信息引导类别子空间生成， 通过动 态图卷积网络进行多模态特征数据之间的交互 融合； 加入自注意机制模块将标题文本特征引入 到多模态融合中， 最终将服饰单品的多模态特征 表示通过时尚兼容度预测器获得服饰套装的兼 容度分数。 与现有技术相比， 本发明通过充分利 用服饰单品的视觉、 文本及属性等多模态信息， 构建时尚兼容度预测器实现兼容度分数的精确 计算； 为解决时尚兼容度预测问题 提供了新的方 法思路， 有效地增强特征表示能力， 保证多模态 特征的一致性和完备性。 权利要求书2页 说明书7页 附图1页 CN 114565119 A 2022.05.31 CN 114565119 A 1.一种基于多模态图卷积网络的时尚兼容度预测方法， 其特征在于， 该方法包括以下 步骤： 步骤1、 从包含多种模态信息的服饰单品数据中分别提取服饰单品包括上衣服饰单品 和下衣服饰单品的视觉特征、 标题文本特征， 同时对所有单品的类别属 性进行编码表示获 取类别属性特 征向量， 实现服饰单品的多模态信息的挖掘利用； 步骤2、 构建包含图像视觉特征、 标题文本特征及类别属性特征向量的三元组数据集， 划分成训练集、 验证集和 测试集， 将上衣服饰单品、 下衣服饰单品的图像视觉特征分别嵌入到服饰类别属性特征向量 中， 得到融合视觉信息的类别子空间表示， 并以此作为图节 点输入到动态图卷积网络中， 不 断更新图节点特 征表示与节点关联关系， 获取不同类别子空间下的高级视 觉语义表示； 步骤3、 利用自注意力机制模块从服饰单品对应的标题文本特征中生成类别子空间权 重， 用于强化文本语义信息； 步骤4、 将类别子空间权重与不同类别子空间下的高级视觉语义表示进行融合， 获得上 衣服饰单品、 下衣服饰单品的多模态特 征表示； 步骤5、 将经过上述阶段融合后的多模态特征表示通过时尚兼容度 预测器， 计算得到最 终的兼容度分数。 2.如权利要求1所述的一基于多模态图卷积网络的时尚兼容度预测方法， 其特征在于， 对视觉特征的提取采用VGGNet16模 型， 对标题文本特征的提取采用TextCNN模 型， 对类别属 性信息的特 征编码表示采用Gl ove Embedding模型。 3.如权利要求1所述的一种基于多模态图卷积网络的时尚兼容度预测方法， 其特征在 于， 在所述步骤2中， 采用动态图卷积网络生成不同类别子空间下 的高级视觉语义表示， 如 下式所示： 其中， 表示第i个上衣服饰单品经过动态图卷积网络后更新的节点特征矩阵表示， LReLU(·)表示激活函数LeakyReLU， 表示第l‑1层动态图卷积网络的图节点特征表示， 表示第l层动态图卷积的邻 接矩阵， 表示动态图卷积网络的状态更新权值， 表示Zt的第m列向量， C表示所有服饰类别属性的数量， dz表示动态图卷积网络 的图节点 特征维度； 同样地， 得到第j个下衣服饰单品关于不同类别子空间下的高级视觉语义表示 表示实数集， 分别表示实数集的大小为C ×dz与dh×2dh。 4.如权利要求1所述的一种基于多模态图卷积网络的时尚兼容度预测方法， 其特征在 于， 在所述 步骤3中， 类别子空间权 重矩阵 如下式所示： 其中， 表示第i个上衣服饰单品子空间权重矩阵， 表示提取到的标题文本特征， 表示生成查询矩阵的权重， 表示生成键矩阵的权重， 表示生成值矩阵的权重， 表权　利　要　求　书 1/2 页 2 CN 114565119 A 2示 的第m列向量， dk为比例缩放因子； 同样 地， 得到下衣服饰单品的子空间权重矩阵 表示实数集， 表示实数集大小为C ×1。 5.如权利要求1所述的一种基于多模态图卷积网络的时尚兼容度预测方法， 其特征在 于， 在所述 步骤4中， 进行融合后的上衣服饰单品的多模态特 征表示如下式所示： 其中， 表示第i个上衣服饰单品的多模态特征表示向量， 表示第i个上衣服饰单品 的视觉特征表示向量， 表示第i个上衣服饰单品的视觉特征重构矩阵， 表示上衣关于 不同类别子空间下的高级视觉语义表示矩阵， 表示上衣子空间权重矩阵， de表示多模态 特征表示的维度； 同样地， 得到下衣服饰单品的多模态特征表示向量 表示实数集， 表示实数集 为de维的列向量。 6.如权利要求1所述的一种基于多模态图卷积网络的时尚兼容度预测方法， 其特征在 于， 在所述 步骤5中， 兼容度分数的计算公式如下式所示： 其中， y表示服饰搭配的兼容度分数， 和 分别上衣服饰单品和下衣服饰单品的多模 态特征表示， ReLU( ·)表示激活函数ReLU， σ( ·)表示Sigmoid函数， W1表示第一层全连接层 的权重， b表示第一层全连接层的偏置项， W2表示第二层全连接层的权 重。权　利　要　求　书 2/2 页 3 CN 114565119 A 3