(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210074401.6 (22)申请日 2022.01.21 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 毛晓飞　黄灿　 (74)专利代理 机构 北京英创嘉友知识产权代理 事务所(普通 合伙) 11447 代理人 贾会玲 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) G06V 40/10(2022.01) G06V 20/62(2022.01) (54)发明名称 对象属性识别方法、 装置、 可读存储介质及 电子设备 (57)摘要 本公开涉及一种对象属性识别方法、 装置、 可读存储介质及电子设备。 方法包括： 获取目标 图像， 目标图像中包含目标对象和目标对象 的对 象描述信息； 从目标图像中提取目标对象的关键 信息特征序列和目标对象的目标属性对应的多 模态特征序列， 多模态特征序列包括目标属性的 视觉特征序列和语义特征序列； 根据关键信息特 征序列和多模态特征序列， 确定目标对象的多个 对象属性。 这样， 在对目标图像中的目标对象进 行属性识别时， 不但参考了目标对象的关键信息 特征， 还参考目标属性的视觉特征和语义特征， 使得目标对象的特征维度更加丰富， 信息更加全 面， 从而提升了对象属性识别的准确度和对象属 性的丰富度。 权利要求书3页 说明书13页 附图6页 CN 114429552 A 2022.05.03 CN 114429552 A 1.一种对象属性识别方法， 其特 征在于， 包括： 获取目标图像， 其中， 所述目标图像中包 含目标对象和所述目标对象的对象描述信息； 从所述目标图像中提取所述目标对象的关键信息特征序列和所述目标对象的目标属 性对应的多模态特征序列， 其中， 所述多模态特征序列包括所述 目标属性的视觉特征序列 和语义特 征序列； 根据所述关键信 息特征序列和所述多模态特征序列， 确定所述目标对象的多个对象属 性， 其中， 所述多个对象属性包括所述目标属性。 2.根据权利要求1所述的方法， 其特征在于， 所述从所述目标图像中提取所述目标对象 的目标属性对应的多模态特 征序列， 包括： 将所述目标图像输入到预先训练好的多模态特征提取模型中， 得到所述目标对象的目 标属性对应的多模态特 征序列。 3.根据权利要求2所述的方法， 其特 征在于， 所述多模态特 征提取模型包括： 第一目标检测模块， 用于从所述目标图像中提取所述目标对象的目标属性的标识所在 的第一区域； 第一预处理模块， 与所述第一目标检测模块连接， 用于将所述第一区域归一化为第一 预设尺寸的图像， 并将归一 化后所得的图像拉直成第一预设长度的一维行向量； 第一全连接模块， 与所述第一预处理模块连接， 用于根据所述第一预设长度的一维行 向量， 生成所述目标属性的视 觉特征序列； 文本识别模块， 与第一目标检测模块连接， 用于对所述第 一区域进行文本识别， 得到所 述目标属性的属性描述文本； 多语种语言子模型， 与所述文本识别模块连接， 用于从所述属性描述文本中提取所述 目标属性的语义特 征序列； 拼接模块， 与所述第一全连接模块、 所述多语种语言子模型分别连接， 用于将所述目标 属性的视 觉特征序列和所述语义特 征序列进行拼接， 得到拼接序列； 第一编码模块， 与所述拼接模块连接， 用于对所述拼接序列进行编码， 得到第 一编码序 列； 第二全连接模块， 与所述第 一编码模块连接， 用于对所述第 一编码序列进行降维处理， 得到所述目标属性对应的、 预设维度的多模态特 征序列。 4.根据权利要求1所述的方法， 其特征在于， 所述从所述目标图像中提取所述目标对象 的关键信息特 征序列， 包括： 对所述目标图像进行文本识别， 得到识别文本， 其中， 所述识别文本为多语种文本或单 语种文本； 将所述识别文本输入到预先训练好的多语种语言模型中， 得到所述目标对象的关键信 息特征序列。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述关键信 息特征序列和所述多 模态特征序列， 确定所述目标对象的多个对象属性， 包括： 将所述关键信息特征序列和所述多模态特征序列输入到预先训练好的多模态融合模 型中， 得到所述目标对象的多个对象属性； 其中， 所述多模态融合模型包括：权　利　要　求　书 1/3 页 2 CN 114429552 A 2第二编码模块， 用于对所述关键信 息特征序列和所述多模态特征序列构 成的第一特征 矩阵进行编码， 得到第二编 码序列， 其中， 所述关键信息特征序列和所述多模态特征序列的 维度均为预设维度； 与所述多个对象属性的属性类别一一对应的多个第 一解码模块， 分别与所述第 二编码 模块连接， 用于根据所述第二编码序列， 生成所对应的属 性类别下 的对象属 性， 其中， 每一 所述对象属性的属性类别均不相同。 6.根据权利要求1 ‑5中任一项所述的方法， 其特 征在于， 所述方法还 包括： 从所述目标图像中提取 所述目标对象的外观特 征序列； 所述根据 所述关键信 息特征序列和所述多模态特征序列， 确定所述目标对象的多个对 象属性， 包括： 根据所述关键信息特征序列、 所述多模态特征序列以及所述外观特征序列， 确定所述 目标对象的多个对象属性。 7.根据权利要求6所述的方法， 其特征在于， 所述从所述目标图像中提取所述目标对象 的外观特 征序列， 包括： 将所述目标图像输入到预先训练好的外观特征提取模型中， 得到所述目标对象的外观 特征序列， 所述外观特征提取模 型包括依次连接的第二目标检测模块、 第二预 处理模块、 第 三编码模块以及第三全连接模块； 其中， 所述第二目标检测模块， 用于从所述目标图像中提取所述目标对象的外观所在 的第二区域； 所述第二预处理模块， 用于将所述第二区域归一化为第二预设尺寸的图像， 并将归一 化后所得的图像拉直成第二预设长度的一维行向量； 所述第三编码模块， 用于对所述第二预设长度的一维行向量进行编码， 得到第三编码 序列； 所述第三全连接模块， 用于对所述第 三编码序列进行降维处理， 得到所述目标对象的、 预设维度的外观特 征序列。 8.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 从所述目标图像中提取 所述目标图像的全局视 觉特征序列； 所述根据所述关键信息特征序列、 所述多模态特征序列以及所述外观特征序列， 确定 所述目标对象的多个对象属性， 包括： 根据所述关键信息特征序列、 所述多模态特征序列、 所述外观特征序列以及所述全局 视觉特征序列， 确定所述目标对象的多个对象属性。 9.根据权利要求8所述的方法， 其特征在于， 所述从所述目标图像中提取所述目标对象 的全局视 觉特征序列， 包括： 将所述目标图像输入到预先训练好的全局视觉特征提取模型中， 得到所述目标图像的 全局视觉特征序列， 所述全局视觉特征提取模型包括依 次连接的第三预处理模块、 第四全 连接模块、 第四编码模块以及第二 解码模块； 其中， 所述第 三预处理模块， 用于将所述目标图像调整为第 三预设尺寸， 按照第四预设 尺寸将调整尺寸后所得的目标图像分割为多个图像块， 之后， 将每一所述图像块拉直成第 三预设长度的一维特征向量， 将每一所述第三预设长度的一维特征向量组成第二特征矩权　利　要　求　书 2/3 页 3 CN 114429552 A 3