(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210406335.8 (22)申请日 2022.04.18 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310052 浙江省杭州市滨江区长河街 道网商路69 9号4号楼5楼5 08室 (72)发明人 章宦记　孙可嘉　李彤　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 孙明子　刘戈 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 商品分类方法、 设备及计算机存 储介质 (57)摘要 本发明实施例提供了一种商品分类方法、 设 备及计算机存储介质。 方法包括： 获取待处理的 商品信息， 商品信息包括图像信息和文本信息； 利用图文融合特征模型对商品信息进行特征提 取， 获得与商品信息相对应的图文融合特征； 利 用图像特征提取模型对图像信息进行特征提取， 获得与商品信息相对应的图像特征； 利用文本特 征提取模型对文本信息进行特征提取， 获得与商 品信息相对应的文本特征； 利用深度神经网络模 型对图文融合特征、 图像特征和文本特征进行处 理， 获得与商品信息相对应的品类信息。 本实施 例提供的技术方案， 通过多个不同的特征提取模 型提取商品信息的不同特征， 并基于深度神经网 络模型对不同特征进行处理， 能够稳定地获得商 品品类信息 。 权利要求书3页 说明书19页 附图6页 CN 114548323 A 2022.05.27 CN 114548323 A 1.一种商品分类方法， 其特 征在于， 包括： 获取待处 理的商品信息， 所述商品信息包括图像信息和文本信息； 利用图文融合特征模型对所述商 品信息进行特征提取， 获得与 所述商品信 息相对应的 图文融合特 征； 利用图像特征提取模型对所述图像信 息进行特征提取， 获得与 所述商品信 息相对应的 图像特征； 利用文本特征提取模型对所述文本信 息进行特征提取， 获得与 所述商品信 息相对应的 文本特征； 利用深度神经网络模型对所述图文融合特征、 所述图像特征和所述文本特征进行处 理， 获得与所述商品信息相对应的品类信息 。 2.根据权利要求1所述的方法， 其特征在于， 利用图文融合特征模型对所述商品信 息进 行特征提取， 获得与所述商品信息相对应的图文融合特 征， 包括： 对所述图像信息进行切分处 理， 获得与所述图像信息相对应的多个子图像； 确定所述多个子图像各自对应的图像位置； 对所述文本信息进行切词处 理， 获得与所述文本信息相对应的多个切词序列； 确定所述多个切词序列各自对应的切词位置； 利用所述图文融合特征模型对所述多个子 图像、 图像位置、 多个切词序列和所述切词 位置进行 特征提取， 获得与所述商品信息相对应的图文融合特 征。 3.根据权利要求2所述的方法， 其特征在于， 利用所述图文融合特征模型对所述多个子 图像、 图像位置、 多个切词 序列和所述切词位置进 行特征提取， 获得与所述商品信息相对应 的图文融合特 征， 包括： 对所述多个切词序列的部分进行遮 掩处理， 获得部分切词序列； 利用所述图文融合特征模型对所述多个子图像、 图像位置、 多个切词序列、 部分切词序 列和所述切词位置进行 特征提取， 获得与所述商品信息相对应的图文融合特 征。 4.根据权利要求1所述的方法， 其特征在于， 在利用深度神经网络模型对所述图文融合 特征、 所述图像特征和所述文本特征进行处理， 获得与所述商品信息相对应的品类信息之 前， 所述方法还 包括： 识别所述图文融合特征的维度、 所述图像特征的维度与所述文本特征的维度是否一 致； 在所述图文融合特征的维度、 所述图像特征的维度和所述文本特征的维度不一致时， 则将所述图文融合特 征的维度、 所述图像特 征的维度和所述文本特 征的维度调整一 致。 5.根据权利要求1所述的方法， 其特征在于， 在利用深度神经网络模型对所述图文融合 特征、 所述图像特征和所述文本特征进行处理， 获得与所述商品信息相对应的品类信息之 前， 所述方法还 包括： 根据所述图文融合特征、 所述图像特征和所述文本特征， 确定与所述商品信息相对应 的特征中心点； 基于所述图文融合特征、 所述图像特征、 所述文本特征和所述特征中心点， 确定与所述 商品信息相对应的目标图文特 征、 目标图像特 征和目标文本特 征。 6.根据权利要求5所述的方法， 其特征在于， 根据所述图文融合特征、 所述图像特征和权　利　要　求　书 1/3 页 2 CN 114548323 A 2所述文本特 征， 确定与所述商品信息相对应的特 征中心点， 包括： 将所述图文融合特征、 所述图像特征和所述文本特征的特征平均值， 确定为与所述商 品信息相对应的特 征中心点。 7.根据权利要求5所述的方法， 其特征在于， 基于所述图文融合特征、 所述图像特征、 所 述文本特征和所述特征中心点， 确定与所述商品信息相对应的目标图文特征、 目标图像特 征和目标文本特 征， 包括： 获取所述图文融合特征与 所述特征中心点之间的第 一距离、 所述图像特征与 所述特征 中心点之间的第二距离、 所述文本特 征与所述特 征中心点之间的第三距离； 基于所述第 一距离、 第二距离和所述第三距离， 分别确定与所述图文融合特征、 所述图 像特征、 所述文本特 征相对应的第一 概率、 第二概率和第三 概率； 基于所述第一概率、 第二概率、 第三概率、 所述图文融合特征、 所述图像特征和所述文 本特征， 确定与所述商品信息相对应的目标图文特 征、 目标图像特 征和目标文本特 征。 8.根据权利要求7所述的方法， 其特征在于， 基于所述第一概率、 第二概率、 第三概率、 所述图文融合特征、 所述图像特征和所述文本特征， 确定与所述商品信息相对应的目标图 文特征、 目标图像特 征和目标文本特 征， 包括： 将所述第一 概率与所述图文融合特 征之间的乘积值， 确定为所述目标图文特 征； 将所述第二 概率与所述图像特 征之间的乘积值， 确定为所述目标图像特 征； 将所述第三 概率与所述文本特 征之间的乘积值， 确定为所述目标文本特 征。 9.根据权利要求1所述的方法， 其特征在于， 利用深度神经网络模型对所述图文融合特 征、 所述图像特征和所述文本特征进行处理， 获得与所述商品信息相对应的品类信息， 包 括： 对所述图文融合特 征、 所述图像特 征和所述文本特 征进行拼接处 理， 获得拼接后特 征； 利用深度神经网络模型对所述拼接后特征进行处理， 获得与 所述商品信息相对应的品 类信息。 10.根据权利要求1所述的方法， 其特征在于， 在利用深度神经网络模型对图文融合特 征、 图像特征和文本特征进 行处理， 获得与所述商品信息相对应的品类信息之前， 所述方法 还包括： 获取用于限定所述深度神经网络模型的至少两个网络层； 确定各个网络层中所包括的隐藏节点数量， 其中， 后一个网络层中所包括的隐藏节点 数量少于前一个网络层中所包括的隐藏节点数量； 基于各个网络层中所包括的隐藏节点数量， 确定用于对图文融合特征、 图像特征和文 本特征进行处 理的所述深度神经网络模型。 11.根据权利要求10所述的方法， 其特征在于， 在获取用于限定所述深度神经网络模型 的至少两个网络层之后， 所述方法还 包括： 获取网络层的节点与相邻网络中的节点之间的连接概 率； 基于所述连接概率， 确定相邻网络层中用于与所述网络层中节点相连接的目标节点， 所述目标节点至少包括所述相邻网络层中的部分节点。 12.根据权利要求11所述的方法， 其特征在于， 基于所述连接概率， 确定相邻网络层中 用于与所述网络层中节点相连接的目标节点， 包括：权　利　要　求　书 2/3 页 3 CN 114548323 A 3